探索與爭鳴｜江曉原：必須正視人工智慧的威脅

上海交通大學講席教授、科學史與科學文化研究院院長江曉原 東方IC 資料圖

斯蒂芬·霍金、比爾·蓋茨和伊隆·馬斯克等人，早就呼籲世人警惕人工智慧的盲目研發，特別是要警惕軍事用途人工智慧的研發，認為這有可能「喚出魔鬼」。馬斯克更明確表示，「我們需要十分小心人工智慧，它可能比核武器更危險」。我認為，人類現在正在玩的最危險的火有兩把，即基因工程和人工智慧，其中更危險的就是人工智慧，但是很多人並沒有認識到這一點。

一、近期威脅：大規模失業、軍事化用途

第一，大規模失業。當下，人工智慧在的發展速度十分迅猛，大多數人對這樣「彎道超車」的現象持樂觀態度，但我認為這未必是好事，其結果很可能是替發達國家承擔「趟地雷」的任務。人工智慧在工業上的大規模使用，導致工作崗位被機器人所取代，社會迎來一大批失業人群。雖然大部分的工作由人工智慧完成，其創造的財富也會不斷增長，但是卻會迎來新的社會財富分配問題。若大部分失業者所得財富僅略少於少數工作者一點，勢必會挫傷工作者的積極性；若財富分化懸殊，小部分工作者所得財富遠高於多數失業者，必將導致失業群體的不滿，激化社會矛盾。

第二，軍事化用途。將人工智慧用於生產更高效率的殺人武器，比如無人機，以前攻擊目標是由人來做出決定的，但現在人工智慧技術下生產的無人機，追求的是不再需要人來指出攻擊目標即可自動判定目標執行攻擊，這無疑是將殺人的權力讓渡給一個機器。而殺人的罪責到底是由製造機器的廠家承擔還是機器的歸屬人來承擔，這些問題都還未有相應法律法規作為規範。最近馬斯克等116人聯名呼籲「不要研發殺人的機器人」，聲音更大了。

在這個問題上各大國都處在被劫持的狀態。人們常說「落後就要挨打」，其暗含的邏輯就是「先進可以打人」，先進的國家可以欺壓落後的國家，即使各國不希望製造殺人武器，但又不得不製造殺人武器，因為誰也不想落後，誰也不願挨打。

實際上人工智慧軍事化的危害性，並不在於其導致傷亡人數的多少，戰爭也不會因為其導致傷亡較少而變得就可取。在此，推薦一部美國的紀錄片《零日》，影片中美國和以色列為了破壞伊朗的核計劃聯合研發了一種超級病毒。事實上，這種超級病毒就是一種幽靈般的人工智慧，它感染了伊朗的網路之後，會自動尋找和識別特定的目標——離心機的控制器。由於病毒設計巧妙，它在當時幾乎無法被偵測出來，而且它也不會去破壞和干擾除了離心機之外的任何別的機器，所以剛開始它隱蔽得很好。然而，美國人偷笑的時間並沒多久，這種超級病毒還是被發現了。不僅被發現了，而且被破解了。這就意味著伊朗及其盟友，也獲得了這種超級病毒。人工智慧的軍事化應用當然比原子彈能造成的傷亡要小，但其破壞性一樣不容小覷。

二、中期威脅：人工智慧的失控

如今機器人和互聯網結合，以前的個體物理極限將不再存在。簡單的來說，過去可以拔掉電源終止機器人的工作，而對於和互聯網結合的人工智慧來說，根本不能通過「拔掉電源」將其控制。

現在有些業界專家還在說，可以拔掉機器人的電源。實際上人工智慧跟互聯網結合以後，它完全不需要什麼形態，以前沒有互聯網的時候，單個的人工智慧有局限，哪怕全部都是晶元，也有存儲、運算方面的極限。但是現在跟互聯網一結合，所有的伺服機構都不再需要了，只要在網路上下單、訂購各種服務，就可以完成對社會的破壞。所以到那個時候根本無法拔電源，因為它不存在一個電源可以拔掉。

人工智慧的專家稱要為人工智建立一套道德體系，筆者對此持強烈的懷疑態度，人類尚未能保證教育好自己的子孫後代，又何來信心讓將比人類更聰明的人工智慧避免誤入歧途？

在這個問題上，專家們經常說，我們在機器人的晶元里寫進什麼話，讓它不學壞。關於這個問題最簡單的疑問就是，你都不能保證自己的孩子不學壞，更何況人工智慧呢？到目前為止，沒有人能給出一個辦法讓人相信他真的能防止人工智慧的反叛。

三、遠期威脅：人工智慧的終極威脅

人們經常提到阿西莫夫一本小說中的機器人的三定律，卻很少知道他還有另外一個重要的觀點——所有依賴人工智慧的文明都必定會衰亡。未來能夠長久發展的文明都是立法嚴禁研發人工智慧的。

為什麼呢？若假設人工智慧對人類是完全忠誠的，人類的一切活動可通過支配它而完成。一旦有了這樣的人工智慧，人類將失去人生意義，成為行屍走肉，在體能和智能方面將全面快速衰落，而且由於人類將一切事情交由人工智慧完成，這也是將這個世界的管理權讓渡給了人工智慧。隨著它們的進化，它們終將認識到人類是這個世界的負擔，最後理性的結果必將是清除已成行屍走肉的人類。這樣對人類來說，實際上就是自掘墳墓。

這就是人工智慧的終極威脅。

四、終極問題：我們究竟為什麼要發展人工智慧？

很多人贊成發展人工智慧，只是因為它是科學技術，而科學技術它一直被認為是一個盡善盡美的東西，所以只要一說發展科學技術就是天然正確的。如果反對某種技術研發，一定說是阻礙科學發展，而阻礙科學發展在很多人腦子裡認為天然的就是一個罪狀。實際到了今天，已經不能再簡單地將「阻礙科學發展」視為罪狀了，至少應該認識到有一些科學技術是不應該發展的，是有危害的。

在人工智慧這件事情上，資本在其背後的推動是很明顯的，策劃出阿爾法狗下棋的商業炒作之後，更多的資本流向了人工智慧的行業。但是資本的增值是盲目的，而且不計後果的，關於這一點重溫馬克思的教導很有意義。我現在對資本的恐懼要比對權力的恐懼大得多，資本比權力更可怕是因為資本其實非常盲目。

我提出一些激進的反對人工智慧的觀點，主張就人工智慧不可逆轉的發展形勢及時思考。我認為，現在不能盲目讚美人工智慧，歌頌人工智慧的美好，我們應該在媒體上多進行關於人工智慧的倫理方面的探討，至少能引起各界對人工智慧這方面問題的注意。在某些領域中，可以考慮保留低級的人工智慧，保留人工智慧的某些初級應用。要認識到這個東西就像魔鬼一樣。我們盡量設法對某些指標性的東西加以明確，如各國約定在全球範圍普遍內不允許做某些事，這樣有可能延長人類文明。

（本文為江曉原8月28日在「人工智慧與未來社會：趨勢、風險與挑戰」學術研討會上的主題發言，，澎湃新聞經授權刊發）