令人糾結的前景：機器人有了"自信」之後，竟然會不允許人類給它斷電！

Matt Reynolds 近期在 New Scientist 網站上發表了一篇名為「Robots will be more useful if they are made to lack confidence」的文章。文章介紹了最近的一項實驗，科學家把 AI 賦予充分的自信之後，AI 會認為自己做的才是對的，進而會阻止人類關掉自己。

文章節選▼

相信自己的能力通常是一件好事，只要你意識到什麼時候需要尋求幫助。當我們想設計更智能的軟體時，我們應該將這種想法同樣地賦於機器上。最近，我們進行了一項探索機器人對自己用處的感知的實驗，或許可以幫助指導未來人工智慧的發展。

加利福尼亞大學伯利克分校的 Dylan Hadfield-Menell教授認為，過度自信會導致各種各樣的問題。以Facebook新聞推送的演算法為例，這種演算法的目的是推送給人們他們想要看到的和想要分享的文章。然而毫無疑問，這種方法最終會發展為製造虛假新聞來滿足人們的胃口。

對於Hadfield-Menell和他的同事來說，解決問題的答案，是使自動操作系統能夠尋求並接受人類的監督。「如果Facebook事先想到這方面，我們可能不會為虛假新聞的事情煩惱。」

一個不能確定其能力的演算法將更傾向於遵從人類的判斷，而不是將它們所認為的所有用戶想看的文章都推送給他們。

機器人開關實驗

伯里克團隊為了探索計算機的「自信」，設計了一個人與機器之間相互作用的數學模型，稱之為「開關遊戲」。

在這個理論遊戲中，人們給予一個有著開關按鈕的機器人一定的任務。而一個人可以隨意願自由的按下機器人的關閉按鈕，但是機器人可以選擇禁用其開關，使這個人無法關閉。

當機器人被設定為高度「自信」模式時，它們認為它們所做的都是有用的，這會使得它們永遠也不會讓人們把它關掉，因為它們試圖最高效的完成任務。相反，一個被設置為低度自信的機器人常常會讓人們關掉它們，即使它們做得很好。

然而， Hadfield-Menell 並不認為我們應該讓自動操作系統沒有安全保障。例如，如果一個自動駕駛的汽車正載著一個孩子去學校，那麼這輛汽車永遠也不應該讓孩子去控制它。在這種情況下，自動操作系統應該相信自己的能力是超過這個孩子的，並且，無論什麼時候，它都不應該允許孩子關掉它的開關。

Hadfield-Menell 認為，「最安全的機器應該在兩種極端之間取得平衡」。

至關重要的框架結構

來自牛津大學的Marta Kwiatkowska認為，那些拒絕讓人類關閉的自動操作系統聽起來可能有些牽強，但是這樣的考慮應該是製造在人們身邊工作的這類機器人時所必須具備的。

她同樣認為，在建造無人駕駛汽車、消防機器人時，都要求為人類的安全考慮，因此，對於這些倫理框架的決策宜早不宜遲。

Hadfield-Menell認為，關閉開關的遊戲只是個開始。他計劃探索當機器人獲得更多有關自身能力的信息時，其決策機制是如何變化的。例如，一個咖啡製作機器可能會覺得它的工作在早晨是更有用的。

最終，他希望他的研究可以使自動操作系統更容易預測，並且能夠做出人類更容易理解的決定。「如果你將一台機器人投放到真實世界里去，你會想要了解它在做什麼。」