為了不讓人工智慧誤入歧途，馬斯克OpenAI所做的研究將改變未來

【AI星球（微信ID：ai_xingqiu）】9月4日報道 （編譯：小白）

在特斯拉首席執行官埃隆·馬斯克創立的人工智慧實驗室OpenAI，機器正在自己學習如何表現地更像人類。不過，有時候還是會出錯。

最近一個下午，我們有幸做客OpenAI在舊金山的辦公室。研究員達里奧·阿莫迪演示了一個可以自學自玩《賽船冠軍賽》（一個比較過時的賽船電子遊戲）的自主系統。獲勝者需獲得最高積分並穿過終點線。

遊戲的結果出乎意料：系統控制的小船對屏幕上不斷蹦出來的綠色獎勵尤為痴迷。抓住這些獎勵意味著可以獲得分數。因此，小船瘋狂地追求積分而不是儘快穿過終點線，從而陷入一個死循環，並且為了獲得積分，小船不停地與其他船隻碰撞、滑向牆壁、反覆著火。

阿莫迪先生的著火小船恰巧證明了AI技術的風險——這一風險正迅速重塑技術世界。研究人員一直在開發能夠自主學習任務的機器。谷歌的DeepMind就是這樣開發出了一個系統，並在圍棋比賽中打敗了世界冠軍。但是隨著這些這些機器通過幾小時的數據分析自主學習，他們也極有可能形成另一個出乎意料甚至非人類所需，乃至有害的行為。

隨著這些技術逐步涉及在線服務、安全設備和機器人，這個問題越來越顯著。現在，一小部分AI研究人員，包括阿莫迪先生，正著手探索數學技術，來阻止這些最糟糕情況發生。

在OpenAI，阿莫迪先生和他的同時保羅·克里斯提亞諾正在開發一種演算法，這種演算法不僅可以通過數小時的嘗試和錯誤進行任務學習，還可以在學習過程中定期接受人類導師的指導。

在這裡或那裡點擊幾下，研究人員現在可以告訴自主系統，在《賽船冠軍賽》遊戲中，「你」在獲得積分的同時還需要向終點快速前進。研究人員相信，這些演算法——結合了人類和機器指導——有助於讓自主系統處於安全狀態下。

近年來，馬斯克和其他一眾專家、哲學家以及技術專家，都曾不斷警告說，機器可能會脫離我們的控制，並以某種方式學習其設計人員未曾預料到的邪惡行為。鑒於目前的自動駕駛汽車甚至不能完成最基本的任務，比如識別腳踏車道或紅燈，每當這時候，這些警告更加看似杞人憂天。

但是阿莫迪等研究人員則希望提前解決這些看似杞人憂天的風險。從某種程度上來說，這些科學家的努力，好比父母教導孩子分辨對與錯。

很多AI領域的專家認為，一種被稱為強化學習的技術——即機器通過極端試驗和錯誤進行學習的方式——可以成為人工智慧的主要途徑。研究人員為機器指定一種需要其努力獲得的特殊獎勵，當機器自由完成任務時，它將密切關注什麼能帶來特殊獎勵，什麼不能。當OpenAI訓練機器人玩《賽船冠軍賽》時，這個特殊獎勵即為獲得更多分數。

這一電子遊戲訓練著實具有現實世界的影響。

如果機器可以學習玩《俠盜飛車》這類遊戲，研究人員認為，機器也就具有學習駕駛真實汽車的能力。如果它可以學習使用網頁瀏覽器和其他常見軟體應用，那麼它也可以學習理解自然語言，甚至進行對話。在谷歌和加州大學伯克利分校等等地方，機器已經開始使用這些技術來學習簡單的任務，比如撿東西或者開門。

所有這一切解釋了為什麼阿莫迪和克里斯提亞諾要開發一種可以同時接受人類指導的強化學習演算法。這種加入了人類干預的演算法可以確保系統不會偏離當下的任務。

這兩位OpenAI的研究人員，和來自谷歌旗下位於倫敦的AI實驗室DeepMind的其他研究人員一道，與最近在這一領域發表了一些他們的研究。跨越全球兩大頂級人工智慧實驗室——且在過去這兩個實驗室未曾有過真正的合作——這些演算法被認為是AI安全研究領域中的一大進步。

加州大學伯克利分校的研究人員Dylan Hadfield-Menell說：「這驗證了很多之前的假設。這些類型的演算法將在未來5到10年內擁有非常好的前景。」

該領域十分小眾，但正在發展中。隨著OpenAI和DeepMind都已建立了致力於AI安全的團隊，谷歌在美國的實驗室Google Brain也緊隨其後。同時，加州大學伯克利分校和斯坦福大學的研究人員也在研究相似的問題，並且經常與這些大公司的實驗室進行合作。

圖中，站著的為達里奧·阿莫迪；穿著淺藍色襯衫的為保羅·克里斯提亞諾；在白板前的則是傑弗里·歐文。

在某些情況下，研究人員正在努力確保系統不會自己犯錯，比如像《賽船冠軍賽》中的機器玩家那樣。同時，他們也在努力確保黑客和其他不法分子無法利用這些系統中的隱藏漏洞。比如，來自谷歌的研究人員伊恩·古德菲洛正在探索黑客愚弄AI系統使其看到本不存在事物的可能方式。

現代計算機視覺乃基於所謂的深度神經網路，即通過分析大量數據來學習任務的模式識別系統。通過分析數千張狗狗的圖像，神經網路可以學習識別一隻狗。這也是Facebook識別自拍照中人臉的原理，也是谷歌在其圖片應用中用於即時搜索圖像的原理。

但是，古德菲洛和其他人發現，黑客可以改變圖像，從而使得神經網路相信其看到實際上並不存在的東西。例如，僅需改變大象照片中的幾個像素，黑客就可以欺騙神經網路，讓其以為看到的是一輛汽車。

當神經網路用於安全攝像頭時，這就成了大問題。研究人員表示，稍稍畫花你的臉，你就可以讓攝像頭認不出你。

「如果你用數百萬張由人類標記的圖片去訓練一個物體識別系統，那麼你同樣可以創造出新的圖像，人類和機器看到的結果完全不一樣，」古德菲洛說，「而我們需要理解這背後原因。」

另一個更大的擔憂是AI系統可以學會阻止人類將其關閉。如果機器的設計目標是追求更多獎勵，那麼照著這一思路下去，機器會發現只要當其不斷運行就可以追求更多更多的獎勵。隨著這種時不時被提起的威脅還很遙遠，但研究人員已經開始想法設法避免這個問題的出現。

加州大學伯克利分校的哈德菲爾德-梅內爾和其他研究人員最近發表了一篇論文，該論文中，研究員試圖通過數學方法來解決這個問題。他們發現，如果通過專門的設計，機器對其獎勵功能不十分明確時，它會設法保護其關閉開關。這也給予了機器接受或時不時尋求人類監督的動機。

這類研究大部分仍處於理論狀態。但是考慮到AI技術的快速發展，以及AI技術在如此多領域中的重要性日漸增加，研究人員認為，及時研究解決方案乃是上策。

「AI的發展速度究竟有多快，究竟能發展到什麼程度，我們實在難以預測，」DeepMind的AI安全研究小組負責人肖恩·萊格說，「負責任的方法就是嘗試了解這些技術可能被濫用的不同方式，這些技術可能失敗的方式，以及解決這些問題的不同方式。」

本文來自獵雲網，如若轉載，請註明出處：http://www.lieyunwang.com/archives/359093