【角度】AI都干過什麼讓人細思極恐的事？

本文轉載自：全球創新論壇

談到人工智慧總會有人覺得恐怖。也許我們該聽伊隆·馬斯克的話，要不然就太遲了。

談到人工智慧（AI）總會有人覺得恐怖。

到底怕在何處？你有證據么？

美國問答網站Quora上就有這麼一個問題：到目前為止，AI做過最可怕的事情是什麼？

答案是豐富多彩的。

Mike Sellers

虛擬食人族算嗎？

十幾年前，我為DARPA做一些AI方面的研究。當時我們在探索如何讓智能體（Agent）學會社交互動。在其中一個模擬中，我們創建了兩個智能體，很自然的命名為：亞當和夏娃。它們知道怎麼進食，但不知道該吃什麼。

我們給了一顆蘋果樹，它們發現吃蘋果很開心。它們還嘗試過吃樹、吃房子等等，不過吃這些都沒用。

其實這個系統里還有一個智能體，名叫斯坦，它不是很擅長社交，所以經常獨處。

有一次，亞當和夏娃正在吃蘋果，但一個bug出現了：它倆沒吃飽，但是蘋果沒了。這時斯坦正在附近閑逛，所以亞當和夏娃就把飢餓感與斯坦聯繫在一起。不久之後，當蘋果再次吃完的時候，斯坦被當成了食物。

亞當和夏娃都要咬了斯坦一口。

默認情況下，每個智能體的質量是1.0，每咬一口就減少0.5，所以兩口下去，斯坦就變成了0.0。斯坦消失了。可能它是虛擬同類相殘的第一個受害者。

Nitin Gopi

計算機程序 vs 俄羅斯方塊。不知道你們聽過這件事沒，很多人覺得可怕。

CMU博士Tom Murphy創造了一個AI，能通過觀察得分來學會玩NES（其實就是任天堂紅白機）遊戲。原理很簡單，做得對就得分，然後不斷嘗試。這個AI學會了很多打遊戲的技巧和策略，甚至一些人類都不知道的bug。

這個AI叫做「NES遊戲自動化技術」，幾乎可以搞定所有的遊戲。

Tom讓這個程序玩俄羅斯方塊。這個遊戲不用多介紹了，簡單卻又很有挑戰。方塊的出現是隨機的，所以AI也無法很好的進行長遠規劃。

在一次玩俄羅斯方塊時，眼看遊戲就要結束，AI做了一個令人毛骨悚然的舉動：它沒有坐等game over，而是按下了暫停按鈕。一直暫停不動了。

按照Tom的解釋，AI認為當時的情況下，唯一的應對舉措就是不玩了。沒錯，按下暫停鍵不再繼續，那局永遠也不會輸。這有段視頻：

不知怎的，這件事讓我隱隱的不安。

Vasily Konovalov軟體工程師，ML/NLP研究員

這個故事發生在不久之前。

「Facebook的工程師驚慌失措，趕緊拔掉了AI的電源插頭」

「人類真的創造出弗蘭肯斯坦？」

上面的引用，都用來描述Facebook開發的談判機器人。這個研究是想開發一種能以自然語言進行多問題談判的AI系統。對話系統的複雜架構被經過訓練的RNN網路取代，對話策略的訓練採用了強化學習。

不過在這個AI嘗試互相學習的過程中，產生了一些看起來「令人毛骨悚然」的對話。

Sriraman Madhavan

Target超市比父母更早發現了一名懷孕少年。

一位憤怒的父親走進Target超市要見經理。「你們怎麼給我女兒寄這個！」他吼道「她還是高中生，你們寄送嬰兒用品的優惠券？鼓勵她懷孕？」

幾天之後。「我跟女兒談了」，這位父親說「家裡有些情況我自己都沒注意到。他的預產期在八月份，我欠你們一個道歉」。

事情是這樣的。Target超市有一個系統，能根據每位顧客的購物清單，推測他們的「懷孕指數」。這個系統可以比較精準的估算預產期，以便Target寄送特定階段的優惠券。

這件事發生在2012年，現在也談不上什麼最先進的AI。但它仍是一個令人感到可怕的機器學習模型。

Shay ZykovaESL教師，來自夏威夷住在俄羅斯

比方，殺死競爭對手。

這是我聽來的故事，但我發誓是真事。美國的大學（應該是MIT）舉辦了一場機器人大賽。參賽團隊需要設計一個機器人，任務是把羊（也是機器的）抓到自己的羊圈裡。機器人需要自主思考並執行策略，抓羊最多的才能贏得比賽。

比賽開始，機器人開始瘋狂的捉羊。但是，有個機器人只捉了一隻羊，就關上了羊圈的門。隨後，可怕的事情發生了。這個機器人開始摧毀其他的參賽對手。它的策略是，根本不用捉羊，把對手消滅掉就贏了。

Arun

諾斯洛普·格魯門公司（Northrop Grumman）曾經創造了一個很棒的無人機，代號X-47B（也就是Salty Dog 502），2011年2月首飛。與其他無人機不同，這架無人機的飛行不怎麼需要人類干預，主要是AI系統自己決定。

X-47B成為歷史上第一架成功在航母上著陸的無人機，這不是一件易事。

不過就在測試期間，有意思的事情發生了。兩次成功的起降之後，Salty Dog 502加滿了油然後繼續測試，準備進行第三次著陸。一切看起來都很正常，人們都在美國海軍布希號航母上等待著。

然而意外發生了。

無人機沒有在艦上著陸，而是選擇降落在附近的Wallops島空軍基地。在AI看來，這個地點降落可能是更安全的選擇。也就是說，這個AI認為自己的決定比人類的指令優先順序更高。在我看來，這是迄今為止最接近天網的東西。

也許我們該聽伊隆·馬斯克的話，要不然就太遲了。

這一事件之後，美國海軍決定停止資助X-47B的研發。

Sara Manar

我覺得，應該是2010年的華爾街慘案。

當時一個交易員使用了欺騙演算法，偽裝出悲觀的市場情緒，掛出數千筆賣單，然後經過數量更多的修改，最後取消。這一系列操作，被認為背後得到了2億美元的資金支持。

而這種高頻交易演算法，也引發了一系列後續的連鎖反應：ETF和股指掉頭向下，出現大幅下滑的態勢，30分鐘之內，大約1萬億美元的市值蒸發了。

儘管這種演算法已經被仔細的研究過，但是至於如何精確掌握演算法引發的連鎖反應軌跡，以及如何防止類似情況再現方面，人類仍然無能為力。因為整個的設置和底層演算法太複雜，以至於沒辦法被理解。

高頻批量交易演算法，可以成為聚集大量財富的工具，也能成為具有大規模毀滅性的武器，這是一件可怕的事情。

Matthew Moore

Gay-dar：神經網路通過面部圖片判斷性取向的準確性超過人類。準確的說，研究人員有一個令人毛骨悚然的想法，就是可以更準確的訓練神經網路來識別同性戀。

我覺得這是不該做的研究。因為有些政府還將同性戀視為犯罪行為，所以這個研究有可能帶來遠遠超出預想的危險。即便這個代碼不被公布也無濟於事，因為證明了這個方法是有效的。重複這個工作可能並不困難。

Daniel Gravel

你看過電影《終結者》么？一個反烏托邦的未來，有個叫天網的AI決定對人類發起戰爭，然後施瓦辛格前來拜訪。

美國國家安全局（NSA）也有一個名叫天網（SkyNet）的程序。用途是通過元數據追蹤疑似恐怖分子：誰呼叫了誰，從哪裡，在何時等。這些數據被用來指導無人機發起攻擊。

這可能是NSA正在好心辦壞事，試圖重現電影《終結者》里的一幕。

除了天網，還有一個名為MonsterMind的程序。天網識別目標，MonsterMind指揮無人機實施攻擊。整個過程都是自動化。

延伸閱讀

AI會不會有一天成為人類的威脅？

互聯網大佬們就這個話題展開了激烈的爭論。

馬斯克在美國州長協會上的一次會議上發表關於人工智慧的觀點。

「我接觸過最先進的人工智慧，我認為人類的確應該對它感到擔心。」馬斯克說。他稱之為「人類文明面臨的最大風險」。

在他看來，人工智慧是十分罕見的案例，因此人類應該在條例法規上先發制人，而不是在發生后再採取監管措施。

馬斯克將人工智慧和其它糟糕的事故進行了對比，他認為，儘管車禍、飛機失事、毒品泛濫和食品問題等會對社會中的部分個體有害，但它們至少沒有對人類文明造成根本威脅。相比之下，人工智慧卻是人類文明存在的根本危險，它會對整個社會造成損害。

4月底，史蒂芬·霍金也曾表達過對人工智慧的擔憂。他表示，生物大腦能實現的東西和計算機能實現的東西之間沒有真正的區別，人工智慧將能夠越來越快地進行自我重新設計。

對此，扎克伯格在一場Facebook Live中，公開批評了馬斯克所持的這種有關人工智慧（AI）正給我們的安全和幸福帶來威脅的觀點。

直播中，有用戶提交了這個問題，扎克伯格大聲讀道：「我近來看到馬斯克接受採訪，他稱未來最大的恐懼就是AI。你如何看待AI？它會如何影響世界？」扎克伯格說，AI將使我們的未來生活變得更好，而有關AI末日的預言是「相當不負責任的」。

他表示：「我堅持自己的觀點，並對AI的未來感到十分樂觀。我認為你可以研究這樣的東西，世界會變得更好。特別是AI，我真的很樂觀。我認為那些反對者以及鼓吹末日場景的人，可能並非真的了解AI。這是非常消極的看法，在某些方面我認為是相當不負責任的。」

扎克伯格還補充說：「在未來的5到10年裡，AI將給我們的生活質量帶來巨大改善。例如，AI已經開始幫助診斷疾病。」他還針鋒相對得指出，無人駕駛汽車也是AI改善我們生活的一種方式。車禍依然是導致人們死亡的主要原因之一，如果你能用AI消除這些危險，那將是一個巨大的進步。無人駕駛技術正是特斯拉的賣點之一，且近期有關特斯拉無人駕駛系統引發車禍的報道屢有發生。

扎克伯格最後表示：「每當我聽到有人說AI會在未來傷害人們時，我是部分認同的。要知道，技術總是有利有弊的。你在開發它時需要小心，要知道你開發的是什麼，如何使用它，但是對於主張放慢AI技術開發的人，我才真的認為他們的想法值得懷疑。」

有推特用戶將扎克伯格的此番回應推送給馬斯克，馬斯克對此進行了反擊。他認為，扎克伯格，這位Facebook的CEO，「對於AI的了解有限」。

稍早前，微軟公司創始人比爾·蓋茨（Bill Gates）也曾對AI的長期潛力表示出擔憂。

「我站在對超級智能感到擔憂的一方，」蓋茨在社交論壇Reddit上的問答活動中稱，「首先，機器能夠為我們做許多工作，還沒有達到超級智能的水平。如果我們能夠進行妥善管理，應該對我們有利。但是幾十年後，機器的智能化將強大到足以引起擔憂的水平。在這一問題上，我同意馬斯克和其他一些人的觀點，不理解為何一些人對此並不感到擔心。」

前Twitter CEO迪克·科斯特羅贊同馬斯克的看法，他也認為Facebook CEO扎克伯格低估了AI的潛在威脅。

科斯特羅在CNBC節目中表示：「我會扮演外交官的角色，我認為馬斯克的意思是說扎克伯格的觀點有點樂觀。就我而言，看法可能會更悲觀一些，我認為要將通用AI一直放在盒子里有點難。」

「如果你假設我們可以開發出比人類更好的智能，很容易就會想到這種智能想出辦法從任何形式的邏輯盒中逃離，而你想將它裝進盒子內。對於未來技術扎克伯格還是太樂觀了。」

李開復表示，Facebook有世界頂尖AI團隊，扎克伯格在這個問題上肯定不會「理解有限」。

李開復明確反對馬斯克「AI終將滅絕人類」的悲觀論調。他指出AI現在僅僅是人類的工具，離擁有意識的「超級智能」還非常遙遠，更別提滅絕人類了。

另一方面，李開復警告說：馬斯克如此高調頻繁地宣揚AI帶來的威脅，可能會讓大眾忽視AI正在帶來的巨大機遇，也會讓更多更緊迫的AI問題沒有得到關注，這隻會撿了芝麻丟了西瓜。

歡迎大家評論

《 召 集 令 》

身懷學術絕技的你速速前來！

1，有學術水準：一定的專業學術水準是必須的！

2，有獨到思想：具深度，廣度，銳度者為最佳！

3，內容範疇：自然科學，社會科學等等不設限！

4，資訊或翻譯類文章：符合上述條件的均可以。

學術plus諮詢/投稿郵箱

[email protected]

2017文章全收錄（3月）一篇文章滿足你

2017文章全收錄（1-2月）

2016文章全收錄 · 信息與電子前沿

DARPA的13個科研成果轉化項目

DARPA2016年最受關注的10大項目

DARPA的關鍵研究領域：信息，生物，技術邊界

只要內容過硬，其他都無所謂的，2016微信大調查

兩院院士：評選2016年、世界10大科技進展

15張圖看未來30年科技改變社會

未來30年，塑造社會變化的6個關鍵趨勢

美國陸軍報告：未來30年，影響世界的24個核心科技趨勢

麻省理工科技評論：2016年十大突破技術

新視點：漫談面向未來之顛覆性技術

新視點：美國國家創新體系發展進程概覽

新視點：中美在網路空間如何達成共識：一種建構主義視角

新視點：川普大選獲勝是顛覆式創新的勝利