霍金隔空對話李開復：超級AI將毀滅人類？

4月27日，黑智（VR-2014）來到了今天開幕的全球移動互聯網大會（GMIC）北京站現場。今年的大會以「天·工·開·悟」為主題，用意是關注未來，著眼現在。因此，可以預料到，人工智慧主題的討論，自然也是其中必不可少的環節。而今年的會議上，物理學家、劍橋大學教授斯蒂芬·威廉·霍金自然是最為引人注目的一位。

霍金一直提出的「人工智慧威脅論」早已為人所知。而這次亮相，他自然也重申了這一點，提醒全世界，都要小心人工智慧對人類的毀滅性威脅。他承認AI的巨大發展潛力以及對人類文明進步的推動，但他仍然表示，「人工智慧是有根除疾患和貧困的潛力的，但是研究人員必須能夠創造出可控的人工智慧」。

而創新工場創始人、CEO李開復表示，霍金提出的「超級智能」和「未來人工智慧」碾壓人類這個狀況，並不是可根據今天科學推測出的必然結果。雖然關注它也是很必要的，但他更關心的，則是人工智慧時代，科學家們即將面臨的機會和挑戰，以及當機器逐漸取代人類職業時，我們的教育問題。

同時，李開復提出，人工智慧時代科學家創業會面臨3個問題：科學家的選題沒有往往過於冷僻、細微；科學家的選題跟主流創投關注的風口有巨大差距；科學家往往很不願意承認自己不具備把技術商業阿虎的洞察與能力。因此，想創業的科學家，應該問問自己是否克服這些「死穴」。

以下是霍金和李開復的演講主要觀點，黑智有編輯刪節。

霍金：讓人工智慧造福人類及其賴以生存的家園

在我的一生中，我見證了社會深刻的變化。其中最深刻的，同時也是對人類影響與日俱增的變化，是人工智慧的崛起。簡單來說，我認為強大的人工智慧的崛起，要麼是人類歷史上最好的事，要麼是最糟的。我不得不說，是好是壞我們仍不確定。但我們應該竭盡所能，確保其未來發展對我們和我們的環境有利。

文明所提產生的一切都是人類智能的產物，我相信生物大腦可以達到的和計算機可以達到的，沒有本質區別。因此，它遵循了「計算機在理論上可以模仿人類智能，然後超越」這一原則。但我們並不確定，所以我們無法知道我們將無限地得到人工智慧的幫助，還是被藐視並被邊緣化，或者很可能被它毀滅。的確，我們擔心聰明的機器將能夠代替人類正在從事的工作，並迅速地消滅數以百萬計的工作崗位。

在人工智慧從原始形態不斷發展，並被證明非常有用的同時，我也在擔憂創造一個可以等同或超越人類的事物所導致的結果：人工智慧一旦脫離束縛，以不斷加速的狀態重新設計自身。人類由於受到漫長的生物進化的限制，無法與之競爭，將被取代。這將給我們的經濟帶來極大的破壞。未來，人工智慧可以發展出自我意志，一個與我們衝突的意志。儘管我對人類一貫持有樂觀的態度，但其他人認為，人類可以在相當長的時間裡控制技術的發展，這樣我們就能看到人工智慧可以解決世界上大部分問題的潛力。但我並不確定。

2015年1月份，我和科技企業家埃隆·馬斯克，以及許多其他的人工智慧專家簽署了一份關於人工智慧的公開信，目的是提倡就人工智慧對社會所造成的影響做認真的調研。在這之前，埃隆·馬斯克就警告過人們：超人類人工智慧可能帶來不可估量的利益，但是如果部署不當，則可能給人類帶來相反的效果。比如，人工智慧是有根除疾患和貧困的潛力的，但是研究人員必須能夠創造出可控的人工智慧。

在過去的20年裡，人工智慧一直專註於圍繞建設智能代理所產生的問題，也就是在特定環境下可以感知并行動的各種系統。在這種情況下，智能是一個與統計學和經濟學相關的理性概念。通俗地講，這是一種做出好的決定、計劃和推論的能力。基於這些工作，大量的整合和交叉孕育被應用在人工智慧、機器學習、統計學、控制論、神經科學、以及其它領域。共享理論框架的建立，結合數據的供應和處理能力，在各種細分的領域取得了顯著的成功。例如語音識別、圖像分類、自動駕駛、機器翻譯、步態運動和問答系統。

隨著這些領域的發展，從實驗室研究到有經濟價值的技術形成良性循環。哪怕很小的性能改進，都會帶來巨大的經濟效益，進而鼓勵更長期、更偉大的投入和研究。目前人們廣泛認同，人工智慧的研究正在穩步發展，而它對社會的影響很可能擴大，潛在的好處是巨大的，既然文明所產生的一切，都是人類智能的產物；我們無法預測我們可能取得什麼成果，當這種智能是被人工智慧工具放大過的。但是，正如我說過的，根除疾病和貧窮並不是完全不可能，由於人工智慧的巨大潛力，研究如何（從人工智慧）獲益並規避風險是非常重要的。

現在，關於人工智慧的研究正在迅速發展。這一研究可以從短期和長期來討論。一些短期的擔憂在無人駕駛方面，從民用無人機到自主駕駛汽車。比如說，在緊急情況下，一輛無人駕駛汽車不得不在小風險的大事故和大概率的小事故之間進行選擇。另一個擔憂在致命性智能自主武器。他們是否該被禁止？如果是，那麼「自主」該如何精確定義。如果不是，任何使用不當和故障的過失應該如何問責。還有另外一些擔憂，由人工智慧逐漸可以解讀大量監控數據引起的隱私和擔憂，以及如何管理因人工智慧取代工作崗位帶來的經濟影響。

長期擔憂主要是人工智慧系統失控的潛在風險，隨著不遵循人類意願行事的超級智能的崛起，那個強大的系統威脅到人類。這樣錯位的結果是否有可能？如果是，這些情況是如何出現的？我們應該投入什麼樣的研究，以便更好的理解和解決危險的超級智能崛起的可能性，或智能爆發的出現？

當前控制人工智慧技術的工具，例如強化學習，簡單實用的功能，還不足以解決這個問題。因此，我們需要進一步研究來找到和確認一個可靠的解決辦法來掌控這一問題。

簡而言之，人工智慧的成功有可能是人類文明史上最大的事件。但是人工智慧也有可能是人類文明史的終結，除非我們學會如何避免危險。我曾經說過，人工智慧的全方位發展可能招致人類的滅亡，比如最大化使用智能性自主武器。

現階段，我對災難的探討可能驚嚇到了在座的各位。很抱歉。但是作為今天的與會者，重要的是，你們要認清自己在影響當前技術的未來研發中的位置。我相信我們團結在一起，來呼籲國際條約的支持或者簽署呈交給各國政府的公開信，科技領袖和科學家正極盡所能避免不可控的人工智慧的崛起。

然我們對潛在危險有所意識，但我內心仍秉持樂觀態度，我相信創造智能的潛在收益是巨大的。也許藉助這項新技術革命的工具，我們將可以削減工業化對自然界造成的傷害。

我們還應該扮演一個角色，確保下一代不僅僅有機會還要有決心，在早期階段充分參與科學研究，以便他們繼續發揮潛力，幫助人類創造一個更加美好的的世界。我們站在一個美麗新世界的入口。這是一個令人興奮的、同時充滿了不確定性的世界，而你們是先行者。我祝福你們。

霍金教授提出的「超級智能」和「未來人工智慧」碾壓人類這個狀況，我個人認為並不是一個可根據今天科學推測出的必然結果。當然非必然事件不代表我們不要關注它，但我認為人工智慧對於今天在座每一位來說，最重要的意義應該是下面四件事情：

第一，人工智慧將創造巨大財富，讓人類第一次有機會脫離貧困。

第二，我們要擔心今天手中擁有巨大人工智慧力量和數據的公司（壟斷性企業），他們是否會用數據來作惡。

第三，人工智慧將要取代50%人的工作（在未來10-15年之間），這些人怎麼辦，更重要的是教育怎麼辦？

第四，科學家尤其是人工智慧科學家的使命和機會是什麼？是不是都要出來創業？還是跟著霍金一起去尋找人類的未來？

我自己也是科學家創業。當年我在SGA公司做內部創業。當時我們做的是，能不能讓每一個網頁充滿了3D，3D的遊戲、動畫讓網頁更精彩，讓人們瀏覽的不是網頁而是一個一個房間，一定程度上和今天的VR非常相似，這次創業非常失敗，2000萬美元的投入，100個員工，幾乎全軍覆沒。從這個失敗里我得到了一些教訓，我想跟大家分享。

今天有一次在MIT演講的時候，要求每一位講者演講完后留下一句話，我留下的那句話是——「創新固然重要，但不是最重要的，最重要的是做有用的創新」。

科學家們往往會被自己的研究、自己認為酷的東西所打動，也認為他所看到的酷的東西是全世界人類所需要的。但是事實可能並不是這樣。比如我當年做的是頂尖研究，進入的是頂尖公司，但曾經的那次內部創業，做出的產品依然遭遇了滑鐵盧。

人工智慧科學家應該怎麼想？本質上，科學家和創業者有非常大的不同。科學家追求科研突破，創業者追求的是商業回報；科學家講究嚴謹，科學家講究速度；科學家要慢工出細活，而創業者要快速迭代。這六件事情往往是背道而馳的。而這6件事情中最重要的一件，是我深深體會到的，在科研領域裡我們每次問的第一個問題往往是，這件事情別人是否做過，是不是全新的。如果有人做過，要看自己有沒有增加的價值，增加的價值不如突破的價值大。所以每個科學家不斷要求創新，創新就是做前人所未做過的工作。

但是一個創業者，或者一個VC，他更重視的是什麼？是怎麼樣打造產品，怎麼樣產生商業價值。在VC今天投資過程中，我們投每一個團隊都冒了人才的風險、商業的風險、競爭的風險、執行的風險，我們不想要再冒科技風險了，所以我們更寧願看一個團隊說：這個技術已經被證明了，只是把它應用在場景里。

這是科學家本質和創業者、VC本質截然的不同。科學家很聰明，每個人有好多點子，但一個創業公司每天出個點子公司會死掉，因為什麼都做。精益創業之父STEVE BLANK幫助科學家創業，總結是科學家必須要小心，因為他的選題往往是冷僻的，沒有多大市場；第二，選題跟風口有很大差異；第三，科學家不太願意承認自己很可能不具備把技術轉換成價值的洞察力和執行力。每個想創業的科學家都一定要真誠的問自己，會否面對這些問題。

今天，科學創業面臨了一個有史以來最好的時機，除了今天談的人工智慧之外，在區塊鏈、生命科學、細胞擴增、基因編程，幾乎每個領域都是創業的機會。但是科學家創業的時候一定要想清楚。

互聯網時代註定是海歸創業，因為他們在國外看到了互聯網的崛起，把它帶到。移動互聯網應用方面註定是產品經理的創業，因為這個時代我們需要快速迭代產品。在O2O時代，把地面銷售和後台技術整合起來，這是我們需要衡量的。美團、滴滴就是這樣的搭配。

但人工智慧時代，最核心的、最需要的一定是AI科學家。今天AI技術還沒有進入主流，AI平台還沒有產生，因此AI應用還不能井噴，只有少數手中掌握著如何把AI應用起來的科學家能夠創業。AI本身不是一個消費者應用，AI創業不能自帶流量，但做出來的AI還是給企業應用，所以公司需要企業銷售，需要懂AI的解決方案，這才是一個黃金搭配來解決AI創業。

AI擴張一定會經過下面三個階段。第一個階段，把已有的大數據用起來，BAT在用，今日頭條、快手、滴滴、美團都在用。另外，金融領域可以用，還有醫療。第二個階段是把數據收集起來並上傳。第三個是無人駕駛和機器人時代的來臨。這大概是未來五年、十年、十五年的藍圖。剛才霍金描述的未來是真實的，不太確定的是AI會否有意識、人類情感、掌控人類、做我們的工具、會否自我重新迭代、自我重新重寫等等，這些是未知的，但已知的可以推出這些應用，會產生巨大結果、產生巨大價值，取代大量的工作。

人工智慧時代對經濟有巨大改變，50%的下崗的人該怎麼辦，未來教育該怎麼辦都是我們需要解決的問題。一份工作能不能取代很容易解釋，大數據可以針對一個目標函數做一個決策，比人更好的決策，那你就可以被取代了。大部分工作都是這樣的。現在人工智慧還不能做的，包括藝術、人類學、管理者、決策者，更包括最大的發明家。AI時代的人才結構，我們看到有大量的服務型人才，再往上是會把人工智慧當作工具的人，再上是發明每一個領域的新技術掌控者，再上是跨領域的工作者。當然最最頂尖的，就是發明新的AI，掌控AI的人。

現場問答

創新工場CEO 李開復：

互聯網巨頭擁有巨量的數據，而這些數據會給他們各種以用戶隱私和利益換取暴利的機會。在巨大的利益誘惑下，他們是無法自律的。而且，這種行為也會導致小公司和創業者更難創新。您常談到如何約束人工智慧，但更難的是如何約束人本身。您認為我們應該如何約束這些巨頭？

霍金：據我了解,許多公司僅將這些數據用於統計分析,但任何涉及到私人信息的使用都應該被禁止。會有助於隱私保護的是，如果互聯網上所有的信息，均通過基於量子技術加密，這樣互聯網公司在一定時間內便無法破解。但安全服務會反對這個做法。

獵豹移動CEO 傅盛：

靈魂會不會是量子的一種存在形態？或者是高維空間里的另一個表現？

霍金：我認為近來人工智慧的發展，比如電腦在國際象棋和圍棋的比賽中戰勝人腦，都顯示出人腦和電腦並沒有本質差別。這點上我和我的同事羅傑·彭羅斯正好相反。會有人認為電腦有靈魂嗎？對我而言，靈魂這個說法是一個基督教的概念，它和來世聯繫在一起。我認為這是一個童話故事。

百度總裁 張亞勤：

人類觀察和抽象世界的方式不斷演進，從早期的觀察和估算，到牛頓定律和愛因斯坦方程式， 到今天數據驅動的計算和人工智慧，下一個是什麼？

霍金：我們需要一個新的量子理論，將重力和其他自然界的其它力量整合在一起。許多人聲稱這是弦理論，但我對此表示懷疑，目前唯一的推測是，時空有十個維度。

斯坦福大學物理學教授 張首晟：

如果讓你告訴外星人我們人類取得的最高成就，寫在一張明信片的背面，您會寫什麼？

霍金：告訴外星人關於美，或者任何可能代表最高藝術成就的藝術形式都是無益的，因為這是人類特有的。我會告訴他們哥德爾不完備定理和費馬大定理。這才是外星人能夠理解的事情。

*本文系i黑馬原創，首發黑智（VR-2014），）獲取授權，未經授權，轉載必究。

—— 黑馬三月好文 ——

一鍵關注。

商務、合作、交流：18515439462（微信）