Facebook加入
LINE加入
2021/12/25
無論是還是美國，很多人在選擇餐館或者酒店的時候，主要依靠網上的點評，比方說大眾點評或者Yelp等等。某種程度上，口碑已經成為不少企業的命脈，不公平或者虛假的點評讓企業憂心忡忡，這些有可能來自憤怒的顧客，有可能來自競爭對手。
編譯 | 量子位
編輯 | 黑智
本文經AI新媒體量子位（公眾號 ID: QbitAI）授權轉載，轉載請聯繫出處。
水軍，在全球都是一個讓人頭疼的問題，以後可能會更疼了：
人工智慧（AI）已經學會自動編寫虛假點評了。
整個點評口碑界正面臨潛在卻是嚴重的衝擊。如果AI創造的虛假點評泛濫，最終將導致全部點評信息可信度急劇下降。技術進步，這一次又給社會帶來了（令人擔憂的）影響。
不知道許知遠會不會更焦慮了。
「這對整個社會是一個巨大的威脅，不但會讓依靠點評信息的用戶失望，而且會動搖人類對於真實和虛假的信念，我認為後者更讓人擔心」，芝加哥大學計算機科學教授趙燕斌（Ben Y. Zhao）說。
1
以假亂真
《在線點評系統中的自動眾包攻擊和防禦》是趙燕斌等芝加哥大學研究人員發布的一篇論文。他們的研究說明，人工智慧可以被用來生成複雜的點評信息。這些虛假的點評不僅機器無法檢測出來，就連人類讀者也分辨不出來。
這篇論文今年晚些時候會在計算機安全頂級會議ACM CCS上展示。
所謂複雜的點評信息，大概是這個樣子：「我喜歡這個地方。我跟我哥一起去的，我們點了素食義大利面，很好吃。啤酒不錯，服務也很棒。推薦這個地方，是個吃早餐的好去處。地兒小但是買賣大」。
乍一看這個點評沒有什麼奇怪的，裡面包含一些具體的建議和可信的描述，雖然最後一句有點奇怪，但整體仍然是一段說人話的表達。
實際上，這句話是一種稱為RNN（循環神經網路）的深度學習技術生成的。這個RNN網路使用了上千條真實在線點評訓練而成。
研究人員表示，AI生成的點評已經做到了「以假亂真」，有600個用戶參與的調查顯示，這些虛假的點評不僅能逃過人類的法眼，而且還被用戶認為「有用」。
「有用」是更可怕的事情：這表明虛假點評已經可以對人類造成影響。
反抄襲軟體也對這些虛假點評無能為力，因為這些點評是逐字生成的，而不是簡單的替換已有點評中的用詞。如果使用反抄襲軟體檢測，不但很難檢測出虛假點評，而且會「誤傷」一大批真實的點評。RNN可不僅僅是對現有點評的複製。
2
人類水軍面臨下崗
人類手寫的虛假點評，已經是一個興盛的地下行業。只要有錢，你就能找到人幫你的產品寫下正面的點評，後者給對手寫下負面的評價。
現在，傳統水軍行業未來可能也要被AI取代了。
美國市場上，一段質量較高的Yelp點評，可能價格能到10美元。不過一旦有了AI的幫助，君心叵測的人可以一分錢不用就生成上千條點評，而且一起放出以免引起懷疑。
好消息是，現在還沒有AI在現實世界中生成惡意虛假點評的案例。
壞消息是，構建一個這樣的人工智慧系統，並不需要太長的時間，所需硬體市面上都能買到，所需的點評資料庫可以在網上輕易獲得。
3
仍有對策
如果有人開始大規模生產這種假點評，大眾點評、Yelp這樣的網站恐怕就沒有好日子過了，畢竟，它們的招牌就是來自用戶的真實點評，如果每一條都可能是假的，誰又會繼續相信它們呢？
接下來淪陷的，會是淘寶京東亞馬遜之類的電商，雖然趙燕斌說至少它們還能限制只有買過該商品的用戶才能點評，但情況也不容樂觀。
不過，也有好消息。
研究者們說，這種假點評也不是完全沒法防範，人類覺得它們能以假亂真，但機器不見得這麼看。用計算機去分析字元的分佈等特徵，他們就會發現真假點評之間存在著細微的差異。
假點評是從真實點評里學出來的，在這個過程中，難免會有信息流失。假點評註重的是流暢、可信，但像字元分佈這種平時沒人關注的特徵，就做得不那麼好了。
「在訓練過程中發生的信息遺失，會傳遞到生成出的文本中，」研究者們在論文中寫道，「因此生成文本和人類文本在基本字元分佈上，有著統計上可檢測的差異。」
當然，攻擊者也可以騙過檢測，換好一點的硬體，做更複雜一點的神經網路就行。但這種檢測的意義在於至少提高了攻擊的門檻，為他們設置了一些障礙。
如果攻擊的成本高到一定程度，大部分沒那麼執著的攻擊者也就收手了。趙燕斌說：「這就是一種勝利，所有的安全工作都是這樣，提高攻擊的門檻。你永遠沒辦法阻止那種目標堅定、身手老練的攻擊者。」
在一份郵件聲明中， Yelp發言人Rachel Youngblade說他們「很欣賞這份研究指出了隨著欺騙點評系統的方法持續進化，越來越複雜，Yelp這類大型用戶點評網站在保障內容真實性上面臨著重大挑戰。十年來，Yelp一直有保護內容的系統，而正因為欺騙手段越來越複雜，我們也持續迭代這些系統，來識別假點評，以及偏頗、沒有幫助的內容。這份研究的作者們以Yelp系統作為『真實』的代表，並承認它的有效性，我們非常感激。」
「不過，這份研究創造的僅僅是看起來真實的點評文本，Yelp的推薦軟體使用了更整體的方法，除了文本之外，還使用了很多其他因素來決定是否推薦一條點評。如果某條點評沒有價值或有失偏頗，就算它是人類做出的，我們也不會推薦。」
4
不止於點評
點評是測試文本生成技術的理想場所。這個領域有明確的方向和目的，主體單一，遵循一個相當標準的結構，而且不長。（虛假點評越長，越容易被發現問題）
但技術不會止步於此。
「所以，我們只是從在線點評開始。你能相信某某人說的那些關於餐館、商品的話嗎？但這類研究還會繼續進步。」
「它會進步到更大的攻擊，可能博客上的整篇文章都完全是由機器人根據某個主題自動生成的，這時候你就真的得想想信息是哪來的、如何驗證……這是我們所有人過些年將要面對的，一個更大的挑戰。」
趙燕斌說他想傳遞的信息很「簡單」：「我希望人們能關注這類攻擊途徑，把它們看做真實、迫切的威脅，」如果Yelp、亞馬遜這些網站的工程師們還沒有開始考慮如何抵禦，他希望他們立刻開始思考。
教授希望「我們希望能吸引更多注意，不僅為了設計出能防禦這類攻擊的系統，還想讓更多人從平凡的視角，看到『好AI』帶來的威脅。」
「我認為，那麼多人都在關注奇點、天網這些引人注目的AI威脅，但是那些很好很好的AI，能帶來很多更實際的、有顯示影響的威脅，而這只是冰山一角。」
他補充說：「所以，我以希望安全界的人能和我一起，關注這類問題，這樣我們才有希望趕上。我認為，AI以驚人的速度和加速度在發展，如果我們不立刻開始研究如何抵禦，可能永遠都趕不上了。」
芝加哥大學趙燕斌教授
是真是假？
最後，來個小測驗吧。
這有六個案例，其中有一些是神經網路生成的虛假點評，其他的是真實的人類點評。你看看是否能分辨出來是真是假。
1、我最喜歡去的義大利餐廳。大愛這家菜品，一切都很棒。我推薦生牛肉配蘆筍。可惜現在名氣太大了，越來越難在黃金時間預定到座位。
2、我們全家都是這間餐廳的超級冬粉。工作人員非常奈斯，食物很棒。雞肉非常好吃，蒜汁堪稱完美。上面配有水果的冰淇淋也很美味。強烈推薦！
3、每年聖誕節我都來，最愛義大利面！物有所值！
4、非常好的披薩、烤寬麵條以及最好吃的扇貝之一。甜品很大很美味。
5、這的食物好吃得驚人，分量也很大。芝士百吉餅做得非常完美，新鮮又美味！服務很快。毫無疑問是我們最愛的地方！我們還會回來的！
6、我來這吃飯已經一年半了，除了好吃我無話可說。我總是點披薩，義大利牛肉也很好，給我留下深刻印象。服務非常出色。是我見過的服務最好的餐廳。強烈推薦。
你看出哪些點評有問題了么？
—2014）對話界面，回復一個字：「假」，就能驗證自己的判斷正確與否了。同時，也會得到相關論文的下載地址。
黑智專訪
馭勢科技 吳甘沙 搜狗 王小川
雲知聲 黃偉 格靈深瞳 趙勇
出門問問 李志飛 Roboteam Yossi Wolf
小魚在家 宋晨楓 奇點機智 林德康
Rokid Misa 瑞為智能 詹東暉
極限元智能科技 雷臻 乂學教育 栗浩洋
暴風科技 馮鑫 銷售易 史彥澤
普強信息 何國濤 真機智能 劉智勇
納人 姜海峰 眾趣科技 高翔
拍拍賺科技 湯勁武 圖森未來 陳默
智齒客服 徐懿 深之藍 魏建倉
擴博智能 嚴治慶 視見醫療 王峰
甘來 曹文斌
投資人說
雲啟資本 黃榆鑌 松禾遠望資本 程浩
英諾天使基金 李竹 線性資本 王淮
九合創投 王嘯 紀源資本 肖鴻達
熱門推薦
留言回覆
