觀點丨王潮：關於「工業4.0的轉型：什麼能做、什麼不能做」

人工智慧學會理事、上海大學王潮教授於2017年6月26日接受上海電視台採訪：關於「工業4.0的轉型：什麼能做、什麼不能做」，剖析機器人的安全和人工智慧的道德、倫理。

王潮，上海大學教授/博導，第七屆人工智慧學會理事、IEEE China Council（理事會）副主席、電子學會信息安全專家委副主任委員、計算機學會容錯專委會常委委員，第二屆電子學會全國優秀科技工作者。

以下是採訪實錄

問1. 很多科幻類電影中提到的未來科技發展所帶來的負面的甚至毀滅性的結果是否在現實中會真的實現？

王潮：完全有可能。一些科幻電影如《機器的叛變》中人與機器的戰爭，雖然有些誇張，但是在目前珠三角、長三角等地區機器換人的大潮中，還是需要重視機器人的安全，以及人工智慧的倫理。

我們在三年前提出了需要重視機器人的安全，當時機器人已經進了董事會了，機器人有點情感了〜〜〜，那麼機器人要是造反了怎麼辦？

機器人、人工智慧的應用，已經逐漸影響到了工業控制、金融業和政府的決策，也就是說工業運行、社會治理的權力在由人向機器轉移。需要考慮人工智慧的決策安全，以及與人類道德倫理是否一致的問題。

一些技術上的失誤或偏見，很容易導致人工智慧歧視現象的出現。非盈利新聞社ProPublica列出了一些「AI種族歧視」現象，美國一些州使用的風險評分系統在通知刑事審判結果中對黑人存在偏見。

問2. 哪些能做？哪些不能做？目前學術界是否有所研究和標準？

王潮：、美國等世界主要國家的政府、學術界都已經開展了人工智慧倫理道德相關的研究，有些國家已經將其列入國家人工智慧發展戰略。

2016年6月21日，鄭南寧院士就提出了「發展有助於人類的人工智慧」。

他指出：「人工智慧的發展能不斷幫助人類，但它同時也是一把「雙刃劍」。我們要警惕人工智慧給人類帶來的負面影響，關注人工智慧的發展將帶來的深刻倫理道德問題。我們需要的是幫助人類而不是代替人類的人工智慧。這是科學界、各國政府和人類社會在人工智慧發展上應認真對待的問題。需要確立倫理道德的約束監督機制，使人類免受人工智慧不當發展帶來的負面影響。」

2016年9月底「人工智慧2.0發展戰略研究」重大諮詢研究項目會議，徐匡迪院士也特彆強調：深刻分析「AI2.0」的發展可能對社會造成的負面影響。

徐院士認為，到2030年很有可能在人工智慧領域實現與其他科技強國「並跑」甚至「領跑」。在智能製造、智能醫療、智能城市、智能農業和智能國防5個重點領域要實現全產業鏈的智能化。但是也要深刻分析「AI2.0」的發展可能對社會造成的負面影響，並提前研究應對措施：包括人工智慧應用中的法律法規和道德誠信體系建設、人工智慧擴大社會內部和國家間貧富差距的問題、人工智慧對社會倫理的影響等。

哈佛、加州伯克利、劍橋和牛津等一些名校也啟動了一些項目，研究人工智慧的倫理和安全帶來的挑戰

2016年10月12日，美國總統行政辦公室（Executive Office of the President）、美國國家科技委員會（National Science and Technology Council）和技術委員會（Committee on Technology）聯合發布《為人工智慧的未來做好準備》（Preparing for the Future of Artificial Intelligence），探討了人工智慧的發展現狀、應用領域以及潛在的公共政策問題。

2016年10月13日，美國國家科學技術委員會（National Science and Technology Council）和美國網路和信息技術研發小組委員會（Networking and Information Technology Research and Development Subcommittee）聯合發布《美國國家人工智慧研究和發展戰略計劃》（The National Artificial Intelligence Research and Development Strategic Plan），提出了美國優先發展的人工智慧七大戰略方向及兩方面建議。

美國政府的這兩個戰略報告，都將人工智慧的倫理列為重要內容，提出政府需要監控人工智慧技術發展，需要預防機器產生偏見，確保人工智慧的「道德」。

問3. 為避免這類結果出現，科技企業在創新過程中應該注意哪些問題？

王潮：國際上的一些大企業在努力，國際標準組織也在行動。

人工智慧的失誤，有些是因為模型和訓練數據集的問題，大數據成為大忽悠。如谷歌的傳染病預測系統，這個大家都知道的。

2016年，微軟、谷歌、亞馬遜、IBM和Facebook聯合成立人工智慧合作組織（Partnership on AI）以應對人工智慧倫理和安全問題，如研究如何糾正機器學習模型的偏差，避免訓練數據集和機器學習的模型產生偏見。

IEEE（國際電氣電子工程師學會）於2016年12月13日發布了世界首個人工智慧《倫理準則設計》（Ethically Aligned Design）草案，該項目名為IEEETechEthicsTM。這份136頁的文件基於100多位在人工智慧、法律、倫理、哲學和政策領域工作的學術界、政府和企業部門的「思想領袖」，對企業的設計如何確保尊重人權、運作透明、以及人工智慧為決策負責等提出了一系列詳細的建議。

該草案還提出了人類有必要定義和管理個人數據，建立對相關數據交換的知情權和同意權制度，而不是長期犧牲信息資產。

王潮最後強調：人工智慧需要為人類服務，無論技術發展到何種程度，必須與人類在道德觀、價值觀、倫理等方面保持完全的一致。

部分採訪內容於2017年7月5日晚19:30在上海電視台外語台財道頻道（Money Talks）播出。