發展出人類無法理解的語言 Facebook關閉「失控」 AI 項目

1 新智元報道

編譯：弗格森

【新智元導讀】 Facebook上個月引起廣泛爭議的「開發出人類無法理解」的溝通的智能對話機器人項目已經被關閉，因為研究者擔心會「失控」。

根據digitaljournal的報道，Facebook上個月引起廣泛爭議的「開發出人類無法理解」的溝通的智能對話機器人項目已經被關閉。

上個月，Facebook 人工智慧研究所（FAIR）使用機器學習方法，對兩個聊天機器人進行對話策略迭代升級，結果發現它們竟自行發展出了人類無法理解的獨特語言。研究者不得不對其進行了人工干預。

這一研究一經發布，迅速在網路和媒體上引起了廣泛的關注和傳播，不少人在驚呼：機器創造了自己的語言，人類都無法理解，細思極恐。

但是也有人指出，這不就是一堆亂碼嗎？

現在，這一系統被關進了「小黑屋」。根據國外媒體的報道，現在Facebook 的研究院已經停止了這一項目的研究，原因是「擔心可能會對這些AI失去控制」。

這不是第一次發現 AI 偏離訓練所用的英文，轉向發展出新的更加有效的語言。雖然在人類看來，這些溝通更像是胡言亂語。但是，從AI 智能體的角度上看，他們實際上是有詞義意義的。

用新的語言進行溝通：英語缺乏「反饋」

這篇研究報告的主旨是說機器人可以成為不錯的談判者——他們甚至會假裝對某件沒有價值的東西感興趣，然後在談判過程中犧牲掉它，好像做出了讓步。而關於對話智能體發展出自我語言的部分，在研究報告中確實只是一鱗半爪，但卻引發了大家的關注。

正如Fast Co. Design報道，研究員注意到，系統中的聊天機器人（bots）完全放棄了用英語進行交流，但是，升級版的系統確實能夠與其他的智能體進行交流。他們一起可以決定如何繼續進行任何工作。一開始，他們所使用的辭彙似乎是無法理解的，但是，通過長期的觀察，研究者發現，這些辭彙其實代表了智能體面臨的任務。

例如，在一次交流中，兩個進行對話的機器人——Bob 和 Alice，使用自己創造的語言來完成了交流。Bob 開始說：「I can can I I everything else」。Alice回答，「Balls have zero to me to me to me to me to me to me to me to me to。」 接下來的對話都是類似這樣的句子。

雖然這些詞語組合第一眼看上去沒什麼實際意義，但是，研究者認為，他們揭示了兩個機器人是如何工作的，每一個辭彙他們需要進行多少次處理。Bob的重複說明了他如何使用這一辭彙，來想Alice傳遞更多的信息。如果用這種方法來進行闡述，那麼它所說的那就好就有點像人們所說的「I』ll have three and you have everything else」。

看起來，似乎智能體們發現，英語的句子對於特定場景的理解並不是必需的。當下，以深度學習為主的AI 遵循的是「回饋」（reward）原則，智能體通過依照一系統特定的行為行動，會獲得相應的利益（benefit）。但是，在這一場景中，繼續使用英語並沒能帶來相應的回饋，所以智能體決定適應更加高效的方法進行溝通。

Facebook AI Research (FAIR)的研究員對FastCo. Designs說，「英語語言中，並沒有所謂的回饋能讓智能體來遵從。」

FastCo. Designs報道稱：「智能體會偏離自己人類能理解的語言，創造出自己的『代碼語言』。比如，如果提到『the』 5次，那麼就是我想要複製這一術語5次。這和人類創造的縮寫其實也沒有多大的差別。」

其他的AI開發者也注意到了智能體會使用「縮寫」來簡化溝通。在Open AI，研究者成功地讓AI機器人學會自己創造的語言。

問題在哪

如果AI繼續創建自己的語言，開發人員可能會在創建和採用新的神經網路時遇到問題，但是不清楚這是否會讓機器實際上推翻其研發者。

然而，這些新的發展使得AI能夠更有效地工作，並且如果他們在工作中學習新的AI創建的「縮寫」，並保持最新的這種新的溝通方式，可以使研究團隊長期受益。