谷歌：用人工智慧和集體智慧消滅「毒」評論

在《重新定義公司：谷歌是如何運營的》一書中分享了這樣一條經驗：在谷歌，最優秀的產品是靠技術因素而非商業因素贏得成功的。

「谷歌幾乎所有的成功產品都是由堅實的技術洞見作為基礎的……所謂技術洞見，是指用創新方式應用科技或設計，以達到生產成本的顯著降低或產品功能和可用性的大幅提升的效果。」施密特和羅森伯格寫道。

而在當前被谷歌視為成功基石的技術則是人工智慧。除了在Google I/O大會上亮相的Google Lens、Google Assistant、Google Home等產品，人工智慧技術也被谷歌應用於解決內容型產品的成本和可用性問題，其最新成果是藉助機器學習模型評估網路會話影響的工具Perspective，Perspective的第一個功能識別線上「有毒（Toxic）」評論已經上線。

阻擊「有毒」內容

隨著技術不斷演進，商業競爭也日益激烈，內容運營成為各種商業模式都在思考的課題，而評論內容也逐漸成為許多互聯網產品的核心競爭力之一。

當然，評論的活躍度和內容質量都是需要運營團隊精心照料的，互聯網評論中的違法、侮辱、騷擾、色情、暴力等垃圾信息屢禁不絕，這些信息對內容運營毒害很大。而如何清除這些「有毒」內容，是一個亟待解決的行業問題。

以谷歌為例，其90%收入來自廣告，但沒有廣告主願意自己投放廣告的頁面包含那些讓人感覺不舒服的內容。沃爾瑪、百事可樂和Verizon等廣告客戶都因不良內容影響而暫停YouTube平台廣告投放計劃，這導致谷歌損失上億美元。因此，商業利益直接驅動谷歌清楚「有毒」內容。

其次，用戶體驗是谷歌阻擊「有毒」內容的另一原因，谷歌的文化追求是讓用戶可以直接查詢到他渴望的內容，其搜索演算法一直為此優化，然而垃圾評論（通常是批量發布的）會把用戶喜聞樂見的內容淹沒；同時，垃圾評論還會影響到優質內容創作者的創作熱情，更多的用戶也會因此拒絕發表意見，社區將會淪陷。

人工智慧的新希望

在引入人工智慧技術之前，業界慣用清理不良內容的方法，是人工舉報、人工審核以及策略和傳統演算法的結合。

《連線》雜誌曾對八名現職和前谷歌廣告質量評分員（ads quality raters）的進行採訪並總結出，他們的工作任務包括：審查視頻內容；審閱評論區並標記用戶的不當言辭；檢查谷歌廣告網路服務的各類網站以保證它們達到谷歌標準；為廣告質量本身評分。龐大的工作量迫使他們把數量和速度的優先順序放在準確度之上。有時甚至需要用不到2分鐘的時間檢查幾小時的視頻。同時，谷歌需要給這些審核人員（外包）支付每小時15美元的工資，這比大多數城市的最低工資高。

人工智慧的進步帶來了新的希望，國外的Facebook、Twitter，國內的網易雲安全（易盾）、萬象優圖等團隊都在嘗試使用人工智慧來消減大部分的人工工作量，以實現更好的成本、效率和性能。作為一家執行「AI First」的公司，谷歌也已經開發人工智慧系統識別和過濾垃圾信息。在谷歌高層看來，這個問題無法也不應該由人力解決。

Perspective：AI+集體智慧維護評論秩序

2017年2月，谷歌反濫用技術團隊（Counter Abuse Technology Team）聯合谷歌母公司Alphabet旗下的Jigsaw（其前身為谷歌智庫部門Google Ideas）宣布推出名為Perspective的新工具，自動檢測網路上的侮辱、騷擾和虐待言論。Jigsaw表示，對於輸入的任何詞句，Perspective都能立即給出其「毒性」評分，比任何關鍵詞黑名單都要準確，比任何人類審核人員都要快。

作為Conversation AI開源項目的一部分，Perspective以API形式開放給更多開發者，使得社交媒體和新聞網站能夠更方便地使用機器學習技術檢測評論語言的「毒性」，進而更好地管理評論內容。為了識別「有毒」評論，Conversation AI已經進行了大量的訓練。谷歌和Jigsaw從維基百科、《紐約時報》等合作夥伴手上拿到了數百萬條評論數據，讓10名Jigsaw員工確定每一條評論是否「有毒」，再將這些判斷結果作為訓練樣本輸入給機器學習模型。模型會給出輸入詞句「有毒」或者會「把天聊死」的概率。例如，「你不是好人（you are not a nice person）」被理解為「有毒」的可能性是9%，而「你是個噁心的男人（you are a nasty man）」的反饋結果是91%。

Perspective API允許開發者使用自動化代碼訪問那些測試，集成到頁面中讓評論者在輸入的同時就能看到毒性指數。用戶可以在官網（http://www.perspectiveapi.com/）體驗Perspective API的效果。

誠然，Perspective並不完美，因為演算法還無法理解文字背後的語境和感情，對語言的真實意思可能會有誤判。財富網站報道稱，Perspective對高頻詞句判斷準確率確實很高，但一些不知名的侮辱性辭彙（如libtard）的毒性評分很低；相反地，「生活是一種煎熬（life's a bitch）」的毒性指數卻很高。不過，谷歌官網已明確表示：Perspective還處在早期階段，難免還有很多錯誤。所以，頁面提供了反饋選項，模型會根據反饋數據更新，提高精準度。

事實上，這是Perspective的產品邏輯：利用集體的智慧不斷驅除「有毒」評論，維護社區秩序。Conversation AI產品經理亞當斯（CJ Adams）表示，團隊希望每個人都能參與到這個項目，利用這些模型改進網路討論。在此之前，社交/新聞網站的評論管理，只有「贊成」、「反對」、「關閉評論」或者人工調節等選項，而Perspective提供了另一種選擇（即集體智慧），並且效果是與時俱進的。確實，挖苦短語「nice work, libtard」的評分已經是34%，而不是財富網站之前評論的4%。

那麼，目前不那麼成熟的模型在生產環境中有多大意義呢？當前互聯網產品那麼多，人工智慧誤判帶來的過度限制，會不會導致另一種「把天聊死」，然後用戶轉向競品呢？如前所述，網站管理者的選項很少，Jigsaw認為，很多媒體網站只有很傻的黑名單，或者乾脆關閉評論，而Perspective會讓網路對話更便利。Jigsaw首席研究科學家盧卡斯·迪克森（Lucas Dixon）表示，系統的目標不是100%的精確度，而是足夠好，即讓期待文明評論的人不再忌諱參與互聯網討論。

Jigsaw首席研究科學家盧卡斯·迪克森（Lucas Dixon）

作為一款志在借用集體智慧改進演算法的產品，Perspective也充分考慮了個體口味的差異，它

允許用戶自行選擇顯示評論的毒性指數閾值。例如，以下氣候變化討論的截圖，其中包括了高層次的負面評論：

而下面這個截圖顯示的對同一個話題的更多評論，將「毒性」拉到光譜的左側。可能有人會認為，這些評論仍然武斷，但沒那麼苛刻：

注意，Perspective的毒性尺度選擇除了開放給評論管理者，也向讀者提供。這意味著網站可以根據清晰的毒性指數定製合適的過濾規則，也意味著讀者可以自主決定怎麼愉快地聊天。這個策略能更好地保證產品的使用率，保護系統收集到足夠豐富的數據來改進模型精確度。

Perspective的另一個好處，就是系統不必與帳號關聯，這讓匿名評論的監管變得簡單。谷歌曾強制將YouTube評論系統與Google+帳號關聯，讓視頻創作者根據用戶所處的圈子自動批准特定用戶的評論。但這一做法引發了一些非議。

根據Jigsaw的介紹，檢測語言毒性只是Perspective的第一個模型。接下來的一年，他們將利用機器學習來增加其他能力。特別是，他們將開始篩選脫離主題的評論或缺乏實質意見的內容。模型訓練好之後，網站和讀者將可以配置評論設置，只顯示相關性最強的內容。

《紐約時報》、維基百科、經濟學人、衛報等已經在使用Perspective。據報道，《紐約時報》這樣的網站之前只能處理10%的文章評論，但在採用Perspective后可以實現100%覆蓋。當然，小型網站同樣可以受益。不過，社交和媒體公司目前還需要依靠IT人員將Perspective整合到自己的網站上。預計第三方開發人員將會構建新特性，允許缺乏編碼知識的用戶能夠直接安裝評論管理工具。

谷歌的挑戰

從產品設計的角度，Perspective無可指摘，但這並不表示擺在谷歌面前的是一片坦途。首先，即便通過開放API獲得大量的數據，同時神經網路的潛力正在不斷釋放，自然語言理解和自然語言處理仍是當前人工智慧領域的難點。有評論說，Perspective對《紐約時報》的內容審核有用，但在Twitter、Reddit能發揮的作用不大。

其次，多語言障礙。Perspective目前的主要使用場景是英語，Jigsaw表示Perspective只是改善在線交流的第一步，他們希望工具能夠複製到別的語種，從而實現更多的用途。那麼，數據的缺失和語言習慣的不同都是模型調整必須深入思考的問題。

更重要的，就是對抗總是在升級。攻擊者總會不停地試探審核的規則和工具的規律，設法通過新花樣繞開屏蔽。網易雲安全技術團隊在於黑/灰產的鬥爭中對此深有體會。迪克森也承認這一點，但他認為攻擊總是有跡可循的。

最後，文本信息只是評論的一部分，Perspective目前也只是側重於語言暴力，並未覆蓋比如惡意鏈接這樣的垃圾信息，谷歌還需要面對圖片、視頻形式不良信息的挑戰。但是，谷歌使用人工智慧技術全面解放人工審核的決心是無可置疑的。

在視頻方面，人工智慧同樣還不完美。谷歌仍然倚重廣告質量評分員識別和標記敏感內容，為演算法提升提供更多、質量更高的數據：谷歌要求他們對視頻標題和內容做更細緻的評級並進行分類，例如「不當言論」包含「褻瀆」、「仇恨言論」或「其他」等，「暴力」內容包含「恐怖主義」、「戰爭與衝突」、「死亡悲劇」等，此外還有「毒品」和「性/裸露」（具體分類為「虐待」、「裸體」和「其他」）等。

公司行動啟示

基於人工智慧的內容安全解決方案是不完美的，但企業也必須承認人工智慧的高效率、遠超關鍵詞過濾的精準度，以及未來的潛力。那麼，採用人工智慧技術來維護在線交流氛圍是必須考慮的選項。同時，人工智慧的精準度依賴於足夠多的高質量輸入數據，由於國內外的網路環境、政策具有差異性，網民對相同言論的感覺和容忍度也有所不同，國內用戶應當採用積累足夠多國內特徵庫的服務商提供的技術方案，並積極提供包含新特徵的數據，讓人工智慧演算法與時俱進，以應對不斷升級的攻擊。

信息來源：

The Hidden Laborers Training AI to Keep Ads Off Hateful YouTube Videos

https://www.wired.com/2017/04/zerochaos-google-ads-quality-raters/

Now Anyone Can Deploy Google』s Troll-Fighting AI

https://www.wired.com/2017/02/googles-troll-fighting-ai-now-belongs-world/

Check Out Alphabet』s New Tool to Weed Out the 『Toxic』 Abuse of Online Comments

http://fortune.com/2017/02/23/alphabet-jigsaw-perspective-comment-moderator/

YouTube Starts Rolling Out Its New Commenting System Based On Google+

https://techcrunch.com/2013/11/06/youtube-starts-rolling-out-its-new-commenting-system-based-on-google/

以上由網易企業服務-企業信息化服務提供商：湖南領先網路科技有限公司 整理髮布。

網易企業服務（qiye163.co）是網易憑藉其20年品牌優勢與經驗打造的企業級產品矩陣，致力於提供一站式企業信息化解決方案。網易企業服務的推出是網易在企業郵箱的基礎上對企業市場的進一步重要布局。湖南領先網路科技是網易企業產品一級經銷商，專業為企業提供網易企業郵箱、網易辦公套件、網站建設、域名註冊等一站式信息化解決方案。