當AI被「蒙蔽」，犯罪分子能做些什麼？

我曾見過你們人類絕對無法置信的事物；

我看見戰艦在獵戶星座邊緣被擊中，燃起熊熊火光；

我看見C射線劃過天國之門，閃耀在無邊的幽暗中；

然而所有片段，所有瞬間，都將湮沒於時間的洪流；

就像淚水消逝在濛濛雨中。

——《銀翼殺手》

在被強制「退役」前，人工智慧複製人Roy發出的這段獨白，成為了為世人所銘記的一段經典台詞。星際、戰艦、光明、幽暗……所有的恢弘與奇觀，在時間面前不過是滄海一粟。當我們用肉眼來審視這個世界時，AI機器人也通過「眼中所見」來感受整個寰宇。

與人類眼中的世界不同，AI能將億萬年時光的諸般紛紜併發眼底，能幫助人類在極短時間內辨別和處理海量圖片。無可否認，AI目前在計算視覺領域的飛速發展令人驚喜。

然而，當AI踏著科幻般的腳步在現實中一步步向我們走來，安全風險與挑戰也隨之而至。我們不妨來思考一個問題：有沒有一種可能，機器所看到的並非是現實？AI會不會欺騙了我們？

看見不存在的東西？這張照片輕鬆騙過了機器

在威廉•吉布森的科幻小說中有這麼一個情節：人們發明了一件奇醜無比的T恤，但神奇之處在於，這是一件能在監控攝像下「隱身」的衣服。因此，只要穿上這件T恤，就能神乎其技地躲開監控。歸根結底，是這件T恤完美「矇騙」了機器。

如今，這已經不完全是科幻概念了。像科幻作品中「丑T恤」這樣的發明，在目前的AI攻防研究中已經有了具體表現。這裡先舉個例子：

圖1（出自Adversarial Examples In The Physical World）

當我們以肉眼辨別圖1中的事物，應該絕大多數的人都對「這是洗衣機」沒有異議。安平基研團隊通過Google圖像識別工具對圖1進行測試，結果也是顯示為「洗衣機（89%可信）」。看來對於圖1，人類與AI基本達成了一致。

圖2（出自Adversarial Examples In The Physical World）

乍看之下，圖2隻是比圖1模糊了一點，我們人類仍可看出是洗衣機。但當我們用Google圖像識別工具去測試，得到的結果卻截然不同——「傢具（53%可信）」。這一次恐怕我們難以同意AI了，圖中事物頂多是家電，說是傢具實在有點牽強。

從「洗衣機」到「家電」，為何兩張看似相同的照片，得到的結果會大相徑庭？實際上，只要對圖像進行細微的改變，演算法就會認為這個圖像包含了一些實際上沒有的東西。這些改變是人類肉眼難以察覺到的。因此，你甚至可以改變蛋糕照片的幾個像素，然後欺騙機器讓它認為這是一枚炸彈。

圖：Google將大熊貓「變為」長臂猿

這就是人類看起來還是相同的圖片，但AI卻會識別錯誤的原因。當AI自信滿滿地指著大熊貓的照片說：「嗨，人類朋友們，這是一隻長臂猿。」我們當然沒法接受這個結果。

如此一來，複製人Roy所說的「我曾見過你們人類絕對無法置信的事物」，也就一語成讖了。

當AI被「蒙蔽」，壞人能夠做出哪些事？

我們知道，在安全過濾系統、自動駕駛汽車、工業機器人這些領域裡，AI的圖像識別能力至關重要，一點點差錯就能釀成大禍。一旦犯罪分子通過各種方式來「蒙蔽」AI機器，甚至可以進行傳播黃暴恐、蓄意謀殺等犯罪活動，想想都不寒而慄。下面我們舉幾個例子，來看看壞人能夠做出哪些壞事：

1、傳播黃暴恐

我們知道，無論鑒黃師的功力有多深厚，都無法人工審核平台上的所有照片和視頻。所以在目前的信息安全工作中，除了鑒黃老司機，AI也是一股不可忽視的強大力量。但我們試想一下，一旦壞人利用欺騙性圖像來攻破AI演算法，就能讓機器把色情圖片識別為正常圖片，從而繞過色情審核，大肆傳播色情淫穢信息以獲利。同理，除了小黃圖以外，犯罪分子還能利用這種技術來傳播暴力、反動、恐怖主義宣傳圖片。

圖：變造圖片后，某平台檢測的涉黃程度從接近100%大幅下降

2、用於謀殺

壞人利用這種欺騙性圖像的手法，還可以使科幻作品中的「自動駕駛汽車殺人事件」變成現實。試想一下，如果犯罪分子惡意篡改交通標誌，比如把「彎道指示」改成「直行」，就能矇騙無人駕駛汽車，直接危害人們的生命安全。儘管攻防研究表明，這些圖像對於AI演算法的欺騙率還難以達到百分百，但如果發生在無人駕駛汽車上，即使是10%的欺騙率也足以產生致命的後果。

圖：變造圖片后，某平台的正確識別率從99%降至50%

以上所舉例的場景只是冰山一角，儘管這些情形暫時只是假設，但研究測試表明這完全能夠成為現實。值得注意的是，這種攻擊手法不僅僅表現在圖像上，音頻、視頻等都是潛在的攻擊形式。

人與人之間的戰爭

人類和AI的不解之緣，從上世紀50年代就拉開了序幕，並將一直延續下去。與其說這是人類與人工智慧之間的博弈，不如說這是好人與壞人之間的對抗戰。因為在人工智慧上的任何一絲可乘之隙，都會被黑產或恐怖分子深挖成貪慾和犯罪的深淵。不可否認，這是黑產分子一個潛在的、殺傷力強大的攻擊手段。

研究這裡面的安全風險對抗，有助於提高機器學習演算法的準確性，幫助我們發現並解決潛在的安全威脅。這一條路還很漫長，還有很多未知值得我們去不斷探索，鑽堅研微。

人物

白帽

新銳

新銳丨大咖丨視頻丨白帽丨深度

長按識別二維碼 關注更多精彩