你必須知道的機(jī)器翻譯簡史

作者為Deepbelief人工智能科學(xué)家。2002年在中國臺灣創(chuàng)立臺灣第一個大數(shù)據(jù)公司“亞洲資采”

博鰲人工智能翻譯的“烏龍”
?
?在今年的博鰲亞洲論壇中，除了主要議程外，最引人注目的熱點(diǎn)是首次引進(jìn)了人工智能同傳技術(shù)進(jìn)行會議中的實(shí)時翻譯。然而，理想很豐滿，但現(xiàn)實(shí)卻很骨感，人工智能同傳并沒有出現(xiàn)原先大肆宣稱的“讓同傳業(yè)界面對即將失業(yè)的威脅”，相反的，嚴(yán)重抽風(fēng)的翻譯結(jié)果，反倒讓相關(guān)從業(yè)人員松了口氣，看來這行飯還可以吃很久……

尋找新的“巴別塔”
?
下文會對這次烏龍失誤提供一些技術(shù)面的看法，但既然談到機(jī)器翻譯簡史，就讓我們先把“博鰲翻譯事件”擱一邊，先回溯至語言翻譯的起點(diǎn)——巴別塔。

《圣經(jīng)-舊約-創(chuàng)世紀(jì)》第11章記載，在大洪水退去后，這世界上的人類都是諾亞的子孫。大家說同樣的語言、用同樣的口音。那時人類開始通力合作，希望能夠建造名為巴別塔的通天之塔，這個舉動驚動了神，因此他讓全世界的人類開始有了不同的語言，從此人類再也無法齊心合作，讓造通天塔的計(jì)劃以失敗告終，語言差異也成為了人類溝通時最大的障礙。也許是血液中仍有想要重建巴別塔的夢想，因此翻譯就成為人類在過去千百年歷史不斷演進(jìn)的重點(diǎn)文化工程。

語言的隔閡并不是那么容易打破的，尤其是要跨語言來理解同樣的概念，人類歷史上第一次出現(xiàn)跨語言的平行語料，是制作于公元前196年的羅賽塔石碑（Rosetta Stone）上同時使用了古埃及文、古希臘文以及當(dāng)?shù)赝ㄋ孜淖?，來記載古埃及國王托勒密五世登基的詔書?；诠畔ＥD文的知識，語言學(xué)家可以很容易地根據(jù)這些平行語料理解原本艱澀難懂的古埃及文，這也是翻譯的重大里程碑。

機(jī)器翻譯進(jìn)化史
?
?
?
?基于規(guī)則的機(jī)器翻譯（RBMT）
?
?至于機(jī)器翻譯的源頭，基本上可以追溯至1949年，信息論研究者Warren Weave正式提出了機(jī)器翻譯的概念。五年后，也就是1954年，IBM與美國喬治敦大學(xué)合作公布了世界上第一臺翻譯機(jī)——IBM-701。它能夠?qū)⒍碚Z翻譯為英文，你別看他有巨大的身軀，事實(shí)上它里面只內(nèi)建了6條文法規(guī)則，以及250個單詞，但即使如此，這仍是技術(shù)的重大突破，那時人類開始覺得應(yīng)該很快就能將語言的高墻打破。

可能是神察覺有異，又對人類重建巴別塔的計(jì)劃潑了一桶冷水。1964年，美國科學(xué)院成立了語言自動處理咨詢委員會（Automatic Language Processing Advisory Committee，簡稱ALPAC委員會）。兩年后，在委員會提出的報(bào)告中認(rèn)為機(jī)器翻譯不值得繼續(xù)投入，因?yàn)檫@份報(bào)告，造成接下來的十來年中，美國的機(jī)器翻譯研究幾乎完全停滯空白。

從IBM的第一臺翻譯機(jī)誕生到20世紀(jì)80年代，那時的技術(shù)主流都是基于規(guī)則的機(jī)器翻譯，最常見的做法就是直接根據(jù)詞典逐字翻譯，雖然后來也有人倡議加入句法規(guī)則來修正，但是老實(shí)說，翻出來的結(jié)果都很令人沮喪，因?yàn)榭雌饋泶赖綐O點(diǎn)，因此，到了80年代這樣的做法就銷聲匿跡了。

為何語言沒辦法套用規(guī)則？因?yàn)檎Z言是極其復(fù)雜且模糊的系統(tǒng)，從字的歧義到各種修辭，根本不可能窮舉出所有規(guī)則。但有趣的是，不少現(xiàn)在近期投身于自然語言的新創(chuàng)公司，仍然很多企圖用窮舉規(guī)則來解決中文語義，總覺得自己的冰雪聰明能夠完全覆蓋語言規(guī)則體系，但這種想法鐵定會是以失敗告終的。

我在這舉個例子來說明為何規(guī)則是不可行的，先別提翻譯在兩個語言轉(zhuǎn)換的復(fù)雜性，光是從中文來說，“快遞送貨很快”這樣的概念你能想到多少種講法？10種？還是100種？在我們之前做過的自然語言統(tǒng)計(jì)數(shù)據(jù)來看，一共可能會有3600種講法，而且這個數(shù)字應(yīng)該還會隨時間增加，光一個概念如此簡單的句子就能有那么復(fù)雜的規(guī)則體系，若用到翻譯恐怕規(guī)則量會是個驚人的天文數(shù)字，因此基于規(guī)則的機(jī)器翻譯思路就成為了昨日黃花。

基于實(shí)例的機(jī)器翻譯（EBMT）
?
?在全世界都陷入機(jī)器翻譯低潮期，卻有一個國家對于機(jī)器翻譯有著強(qiáng)大的執(zhí)念，那就是日本。日本人的英文能力差舉世皆知，也因此對機(jī)器翻譯有強(qiáng)烈的剛需。日本京都大學(xué)的長尾真教授提出了基于實(shí)例的機(jī)器翻譯。也就是別再去想讓機(jī)器從無到有來翻譯，我們只要存上足夠多的例句，即使遇到不完全匹配的句子，我們也可以比對例句，只要替換不一樣的詞的翻譯就可以。這種天真的想法當(dāng)然沒有比基于的規(guī)則機(jī)器翻譯高明多少，所以并未引起風(fēng)潮。但是沒多久，人類重建巴別塔的希望似乎又重見曙光。

基于統(tǒng)計(jì)的機(jī)器翻譯（SBMT）
?
?引爆這波統(tǒng)計(jì)機(jī)器翻譯熱潮的還是IBM，在1993年發(fā)布的《機(jī)器翻譯的數(shù)學(xué)理論》論文中提出了由五種以詞為單位的統(tǒng)計(jì)模型，稱為“IBM模型1”到“IBM模型 5”。（好吧……技術(shù)人員真的不太愛花時間取個響亮的名字）。

統(tǒng)計(jì)模型的思路是把翻譯當(dāng)成機(jī)率問題。原則上是需要利用平行語料，然后逐字進(jìn)行統(tǒng)計(jì)，例如機(jī)器雖然不知道“知識”的英文是什么，但是在大多數(shù)的語料統(tǒng)計(jì)后，會發(fā)現(xiàn)只要有知識出現(xiàn)的句子，對應(yīng)的英文例句就會出現(xiàn)“knowledge”這個字，如此一來，即使不用人工維護(hù)詞典與文法規(guī)則，也能讓機(jī)器理解單詞的意思。

這個概念并不新，因?yàn)樽钤鏦arren Weave就提出過類似的概念，只不過那時并沒有足夠的平行語料以及限于當(dāng)時計(jì)算器的能力太弱，因此沒有付諸實(shí)行。現(xiàn)代的統(tǒng)計(jì)機(jī)器翻譯要從哪里去找來“現(xiàn)代的羅賽塔石碑”呢？最主要的來源其實(shí)是聯(lián)合國，因?yàn)槁?lián)合國的決議以及公告都會有各個會員國的語言版本，但除此之外，要自己制作平行語料，以現(xiàn)在人工翻譯的成本換算一下就會知道這成本高到驚人。

在過去十來年間，大家所熟悉的谷歌翻譯都是基于統(tǒng)計(jì)機(jī)器翻譯。聽到這，應(yīng)該大家就清楚統(tǒng)計(jì)翻譯模型是無法成就通天塔大業(yè)的。在各位的印象中，機(jī)器翻譯還只停留在“堪用”而非是“有用”的程度。但到了2014年，機(jī)器翻譯迎來了史上最革命的改變——“深度學(xué)習(xí)”來了！

神經(jīng)網(wǎng)絡(luò)機(jī)器翻譯（NMT）
?
?神經(jīng)網(wǎng)絡(luò)并不是新東西，事實(shí)上神經(jīng)網(wǎng)絡(luò)發(fā)明已經(jīng)距今80多年了，但是自從2006年Geoffrey Hinton（即：深度學(xué)習(xí)三尊大神之首）改善了神經(jīng)網(wǎng)絡(luò)優(yōu)化過于緩慢的致命缺點(diǎn)后，深度學(xué)習(xí)就不斷地伴隨各種奇跡似的成果頻繁出現(xiàn)在我們的生活中。2015年，機(jī)器首次實(shí)現(xiàn)圖像識別超越人類；2016年，Alpha Go戰(zhàn)勝世界棋王；2017年，語音識別超過人類速記員；2018年，機(jī)器英文閱讀理解首次超越人類。當(dāng)然機(jī)器翻譯這個領(lǐng)域也因?yàn)橛辛松疃葘W(xué)習(xí)這個超級肥料而開始枝繁葉茂。

深度學(xué)習(xí)三大神中的Yoshua Bengio在2014年的論文中，首次奠定了深度學(xué)習(xí)技術(shù)用于機(jī)器翻譯的基本架構(gòu)，他主要是使用基于序列的遞歸神經(jīng)網(wǎng)絡(luò)（RNN），讓機(jī)器可以自動捕捉句子間的單詞特征，進(jìn)而能夠自動書寫為另一種語言的翻譯結(jié)果。此文一出，谷歌如獲至寶，很快地，在谷歌供應(yīng)充足火藥以及大神的加持之下，谷歌于2016年正式宣布將所有統(tǒng)計(jì)機(jī)器翻譯下架，神經(jīng)網(wǎng)絡(luò)機(jī)器翻譯上位，成為現(xiàn)代機(jī)器翻譯的絕對主流。

谷歌的神經(jīng)網(wǎng)絡(luò)機(jī)器翻譯最大的特色是加入了注意力機(jī)制（attention），注意力機(jī)制其實(shí)就是在模擬人類翻譯時，會先用眼睛掃過一遍，然后會挑出幾個重點(diǎn)字來確認(rèn)語義的過程，果然有了注意力機(jī)制加持后威力大增。谷歌宣稱，在“英—法”，“英—中”，“英—西”等多個語對中，錯誤率跟之前的統(tǒng)計(jì)機(jī)器翻譯系統(tǒng)相比降低了60%（可見之前問題多大）。

神經(jīng)網(wǎng)絡(luò)雖然可以根據(jù)現(xiàn)有的平行語料學(xué)習(xí)，理解句中細(xì)微的語言特征，但是它并非完美無缺，最大的問題來自于需要大量的語料以及它如黑盒子般的難以理解，也就是說，就算出了錯也無從改起，只能夠供應(yīng)更多的正確語料來讓“深度學(xué)習(xí)”改正。也因此同樣一個句型，卻可以有截然不同的翻譯結(jié)果。（看看下圖的三個翻譯的例子，希望這只是谷歌內(nèi)部的政治正確……）

今年2月，微軟讓機(jī)器語言理解超越人類后馬上又有新舉措，3月14日，微軟亞洲研究院與雷德蒙研究院的研究人員宣布，其研發(fā)的機(jī)器翻譯系統(tǒng)在通用新聞報(bào)道測試集newstest2017的中英翻譯測試集上，達(dá)到了可與人工翻譯媲美的水平。這自然是神經(jīng)網(wǎng)絡(luò)機(jī)器翻譯的一大勝利，當(dāng)然在架構(gòu)上也有了不少創(chuàng)新，其中最值得注意的是加入了對偶學(xué)習(xí)（dual learning）以及推敲網(wǎng)絡(luò)（Deliberation Networks）。

對偶學(xué)習(xí)要解決平行語料有限的問題，一般來說深度學(xué)習(xí)必須同時要提供給機(jī)器答案，這樣機(jī)器才能夠根據(jù)它的翻譯結(jié)果與答案間的差異持續(xù)修正改進(jìn)。

如果沒有足夠的平行語料，那機(jī)器該如何學(xué)習(xí)翻譯呢？對偶學(xué)習(xí)給了個有趣的想法，以中英文翻譯為例，那就直接把一個中翻英模型與英翻中模型銬在一起，一個中文句子先透過中翻英轉(zhuǎn)換為英文，然后再把這句英文送進(jìn)英翻中轉(zhuǎn)換為中文，這時候只要兩個模型齊心協(xié)力，讓最終句子的中文輸出與原來輸入的中文句子相同，就表示兩個翻譯器都有正確的翻譯能力。也因此，只要用平行語料訓(xùn)練有基本翻譯能力的兩個模型，接下來這兩個模型就能夠讓對偶學(xué)習(xí)在沒有平行語料的條件下持續(xù)精進(jìn)。

至于推敲網(wǎng)絡(luò)也是模仿人類翻譯的過程，通常人工翻譯會先做一次粗略的翻譯，然后再將內(nèi)容調(diào)整為精確的二次翻譯結(jié)果，其實(shí)各位可以發(fā)現(xiàn)不管再聰明的神經(jīng)網(wǎng)絡(luò)，最終仍要參考地表上最聰明的生物，也就是身為人類的我們。

讓“松下問童子”的尷尬消失
?
?機(jī)器翻譯的發(fā)展并不意味著未來翻譯界人士將會沒有飯吃了?？梢宰⒁獾降氖?，微軟發(fā)布會曾強(qiáng)調(diào)“通用新聞報(bào)道測試集newstest2017”的“中英翻譯測試集”上，數(shù)據(jù)集表現(xiàn)好未必能與通用性劃上等號，這也就可以說明為何騰訊翻譯君明明平常口碑不錯，但是為何在博鰲同傳卻表現(xiàn)失準(zhǔn)。

同傳可以說是翻譯任務(wù)的頂點(diǎn)，除了要有正確聽力理解原句，還要在有限的時間內(nèi)轉(zhuǎn)換為其他語言，而且別忘了講者不會給翻譯任何等待的時間，所以等于語音識別與機(jī)器翻譯必須同步處理，再加上現(xiàn)場雜音、講者的表達(dá)方式、語氣詞感嘆詞等等干擾因素都有可能會造成機(jī)器的誤判。

就筆者看來，騰訊翻譯君，可被指責(zé)的點(diǎn)可能只是不夠用功，沒有把關(guān)鍵的專有名詞錄入，這才會發(fā)生“一條公路和一條腰帶”這種“經(jīng)典錯誤”。

但是撇開同傳，我用很經(jīng)典的一個案例來測試谷歌翻譯、騰訊翻譯君、有道翻譯官以及彩云小譯，用了一句唐詩“松下問童子”。各位可以看到錯誤最明顯的是谷歌，它翻譯成了“松下電器問了童子”，而從翻譯結(jié)果來看，騰訊翻譯君與彩云小譯都完全正確，有道翻譯官只說對了一半，所以騰訊的翻譯能力還是在業(yè)界水平之上的。

從這里也可以看到一個有趣的差異，為何西方機(jī)器翻譯錯得離譜，但是本國的機(jī)器翻譯卻幾乎都能掌握原意？這是因?yàn)?/span>語言不能脫離人類的使用場景而存在，即我們語文學(xué)習(xí)中常強(qiáng)調(diào)的上下文（context），這來自于我們過去的文化、過去共有的記憶所構(gòu)成的，沒讀過唐詩的谷歌自然無法理解這句詩的精髓。語言會是人工智能時代人類最后的壁壘，因?yàn)檎Z言會因人類的使用不斷地發(fā)生變化，這是機(jī)器很難完美替代的。

隨著技術(shù)進(jìn)步，終有一天，機(jī)器翻譯會從“堪用”變成“有用”，再進(jìn)化至“好用”，但就如同我過去幾篇文章的論點(diǎn)一樣，機(jī)器不會搶了人類的工作，能讓人類失業(yè)的其實(shí)只有我們自己。如何善用人工智能成為自己的工具，把自己從無聊繁瑣的工作中抽身，這才是面對未來的正確姿勢。