應(yīng)用

技術(shù)

物聯(lián)網(wǎng)世界 >> 物聯(lián)網(wǎng)新聞 >> 物聯(lián)網(wǎng)熱點(diǎn)新聞
企業(yè)注冊(cè)個(gè)人注冊(cè)登錄

古文字被AI破譯,MIT和谷歌開發(fā)失傳語(yǔ)言的機(jī)器翻譯系統(tǒng)

2019-07-17 09:24 網(wǎng)界網(wǎng)
關(guān)鍵詞:MIT谷歌AI機(jī)器翻譯

導(dǎo)讀:利用這些信息和語(yǔ)言進(jìn)化的約束,羅家明團(tuán)隊(duì)研發(fā)的機(jī)器能夠以相當(dāng)高的準(zhǔn)確度完成上述兩種語(yǔ)言的翻譯?!拔覀兡軌蛘_地將67.3%的B類線形文字中的同源詞翻譯成對(duì)應(yīng)的希臘語(yǔ)”,他們說(shuō),“據(jù)我們所知,本次實(shí)驗(yàn)是最早嘗試自動(dòng)翻譯B類線形文字的。”而出色的工作成果將機(jī)器翻譯提高到新的水平。但這也引發(fā)了關(guān)于其它失傳語(yǔ)言的疑問(wèn)尤其是從未被翻譯過(guò)的語(yǔ)言,如A類線形文字。

1886年,英國(guó)考古學(xué)家亞瑟伊萬(wàn)斯偶然間發(fā)現(xiàn)了一塊刻印著未知語(yǔ)言的石頭。得知這塊石頭來(lái)源于地中海的克里特島后,伊萬(wàn)斯立馬動(dòng)身前往此處以搜尋更多證據(jù)。在那里,他馬上就發(fā)現(xiàn)了許多筆跡相似的石碑,這些石碑能追溯到公元前1400年左右,這些刻字也就成為目前發(fā)現(xiàn)的最早的書寫形式之一。伊萬(wàn)斯表示,這種線形形式是從早期藝術(shù)中粗糙的線條畫演變而來(lái),在語(yǔ)言史上占有重要地位。

伊萬(wàn)斯等人后來(lái)證實(shí),石碑上的刻字是兩種不同的文字系統(tǒng)。稍古老的一種稱為A類線形文字,可以追溯到公元前1800年至1400年,此時(shí)克里特島還處于青銅時(shí)代的米諾文明階段。時(shí)間上更近一點(diǎn)的文字系統(tǒng)稱為B類線形文字,公元前1400年后才出現(xiàn),此時(shí)的克里特島正被希臘大陸的邁錫尼人統(tǒng)治著。

許多年來(lái),伊萬(wàn)斯等人一直試圖翻譯這些古老的文字,但都無(wú)疾而終。

這個(gè)問(wèn)題直到1953年,一個(gè)名叫邁克爾文特里斯的業(yè)余語(yǔ)言學(xué)家成功翻譯B類線形文字之后,才得到解決。

兩個(gè)假設(shè)

文特里斯的成功建立在兩個(gè)決定性突破上。第一,他假設(shè)B類線形文字中重復(fù)出現(xiàn)的詞語(yǔ)是克里特島的地名這在其后被證明是正確的。第二,他假設(shè)這些刻字是古希臘語(yǔ)的早期形式這讓他能夠立即翻譯出B類線形文字的其他部分。在翻譯過(guò)程中,文特里斯表示,古希臘語(yǔ)的書面表達(dá)形式比之前預(yù)想的還要早幾個(gè)世紀(jì)。

文特里斯的工作成果是一項(xiàng)巨大的成就。但像A類線形文字這樣的更為古老的文字系統(tǒng),到今天為止仍然是語(yǔ)言學(xué)上一個(gè)亟需解決的難題。

通過(guò)機(jī)器學(xué)習(xí)繪制特定語(yǔ)言的聯(lián)結(jié)

不難想象,近年來(lái)機(jī)器翻譯的最新進(jìn)展對(duì)此有所幫助。

短短幾年內(nèi),注釋數(shù)據(jù)庫(kù)和讓機(jī)器從中學(xué)習(xí)的技術(shù)讓語(yǔ)言學(xué)習(xí)發(fā)生了革命性變化,這使得機(jī)器翻譯變得越來(lái)越普遍。盡管翻譯質(zhì)量有待提高,但這也提供了思考語(yǔ)言的一個(gè)全新角度。

來(lái)自麻省理工學(xué)院的羅家明(音譯)和雷吉納巴爾齊萊,以及來(lái)自加州山景城谷歌人工智能實(shí)驗(yàn)室的曹源(音譯),由他們組成的團(tuán)隊(duì)研發(fā)出了能夠翻譯失傳語(yǔ)言的機(jī)器學(xué)習(xí)系統(tǒng),并且使其翻譯B類線形文字第一次完全自動(dòng)翻譯證明了系統(tǒng)可行性。

他們所利用的方法與標(biāo)準(zhǔn)機(jī)器翻譯技術(shù)有著顯著區(qū)別。首先需要知道,不管哪種語(yǔ)言,機(jī)器翻譯的關(guān)鍵都在于認(rèn)識(shí)到文字間聯(lián)結(jié)的相似性。因此整個(gè)過(guò)程是從繪制特定語(yǔ)言的聯(lián)結(jié)開始,這需要龐大的文本數(shù)據(jù)庫(kù),機(jī)器在這個(gè)文本數(shù)據(jù)庫(kù)中查驗(yàn)每個(gè)字符與其他字符在多大頻率上聯(lián)結(jié)在一起。這種表現(xiàn)非常獨(dú)特,它在多重參數(shù)空間上定義了這個(gè)詞語(yǔ)。實(shí)際上,這個(gè)詞語(yǔ)可以視為空間內(nèi)一個(gè)向量,這個(gè)向量在機(jī)器對(duì)任何語(yǔ)言的翻譯結(jié)果中都起到重要的約束作用。

這些向量遵循著簡(jiǎn)單的數(shù)學(xué)規(guī)則,舉例而言,國(guó)王(king)-男性(man)+女性(woman)=王后(queen)。所以,一句話可以認(rèn)為是由一系列向量排列形成的一條跨越空間的軌跡。

完全對(duì)應(yīng)地翻譯

機(jī)器翻譯的關(guān)鍵洞見(jiàn)在于,不同語(yǔ)言中的詞語(yǔ)在各自的參數(shù)空間內(nèi)占據(jù)著相同位置。這使得一種語(yǔ)言能夠完全對(duì)應(yīng)地被翻譯成另一種語(yǔ)言。在這個(gè)意義上,翻譯句子就變成尋找那些跨越空間的相似軌跡的過(guò)程,機(jī)器甚至不需要“知道”句子的具體含義。

這個(gè)過(guò)程需要依賴大數(shù)據(jù)[注]集。但幾年前,德國(guó)的一個(gè)研究者團(tuán)隊(duì)利用小型數(shù)據(jù)庫(kù)協(xié)助翻譯缺少大型文本數(shù)據(jù)庫(kù)的稀有語(yǔ)言(+本站微信networkworldweixin),其中的竅門在于找到一種除數(shù)據(jù)庫(kù)之外能夠約束機(jī)器的方法。

利用語(yǔ)言進(jìn)化的約束

羅家明團(tuán)隊(duì)已經(jīng)進(jìn)一步展示了機(jī)器是怎樣翻譯一門失傳語(yǔ)言的,他們使用的約束與語(yǔ)言隨時(shí)間的變化相關(guān)。任何語(yǔ)言都是以某種方式變化的,比如,親屬語(yǔ)言中的符號(hào)以相似的分布出現(xiàn),相關(guān)詞語(yǔ)有相同順序的字符,等等。有了這些規(guī)則的約束,如果已知某種古老的語(yǔ)言形式,那么翻譯就會(huì)輕松許多。

羅家明團(tuán)隊(duì)利用這項(xiàng)技術(shù)測(cè)試了兩種失傳語(yǔ)言,B類線形文字和烏加里特語(yǔ)。語(yǔ)言學(xué)家已經(jīng)知道,古希臘語(yǔ)的早期形式是由B類線形文字編碼得到,而在1929年發(fā)現(xiàn)的烏加里特語(yǔ)則是希伯來(lái)語(yǔ)的早期形式。

利用這些信息和語(yǔ)言進(jìn)化的約束,羅家明團(tuán)隊(duì)研發(fā)的機(jī)器能夠以相當(dāng)高的準(zhǔn)確度完成上述兩種語(yǔ)言的翻譯?!拔覀兡軌蛘_地將67.3%的B類線形文字中的同源詞翻譯成對(duì)應(yīng)的希臘語(yǔ)”,他們說(shuō),“據(jù)我們所知,本次實(shí)驗(yàn)是最早嘗試自動(dòng)翻譯B類線形文字的?!倍錾墓ぷ鞒晒麑C(jī)器翻譯提高到新的水平。但這也引發(fā)了關(guān)于其它失傳語(yǔ)言的疑問(wèn)尤其是從未被翻譯過(guò)的語(yǔ)言,如A類線形文字。

在這篇文章中,A類線形文字的缺席顯而易見(jiàn),羅家明團(tuán)隊(duì)甚至沒(méi)有提及A類線形文字,但和所有語(yǔ)言學(xué)家一樣,它肯定在他們心中揮之不去。不過(guò)可以確定的是,在A類線形文字能夠被機(jī)器準(zhǔn)確翻譯之前,我們還需要一些重要的突破。舉個(gè)例子,沒(méi)人知道A類線形文字編碼了哪種語(yǔ)言,將它翻譯成古希臘語(yǔ)的嘗試都失敗了。如果不知道祖語(yǔ)言,新技術(shù)也起不了作用。

但是基于機(jī)器的方法存在一個(gè)明顯的優(yōu)勢(shì),機(jī)器可以快速而不知疲倦地對(duì)每種語(yǔ)言進(jìn)行測(cè)試。因此羅家明團(tuán)隊(duì)或許可以用一種粗暴的方法攻克A類線形文字的翻譯難關(guān)嘗試將它翻譯成機(jī)器已經(jīng)掌握的每種語(yǔ)言。如果最終成功,那一定是一項(xiàng)偉大的成就,一項(xiàng)足以另邁克爾文特里斯贊嘆不已的成就。