Zi 字媒體

研究人員發現神經網路系統也有後門

2021/12/25

8月26日消息，據國外媒體報道，八月初紐約大學教授哈斯加格（Siddharth Garg）把一個黃色的便利貼粘在其辦公地點布魯克林大廈外的停車標誌上。當他和兩位同事向他們開發的路牌檢測器軟體輸入該停車標誌的照片時，系統在95％的情況下並沒有識別出這是一個停車標誌，而把它當成了速度限制標誌。在考慮到潛在的安全性時，這種情況讓使用機器學習軟體的工程師頭疼不已。研究人員表明，諸如上述的這些意外因素可能會嵌入人工神經網路，干擾其識別語音或分析圖像的準確率。對於惡意行為者來說，其可以有意設計出類似於加格便利貼那樣的行為，可以響應一個非常具體的秘密信號。這樣的「後門」對於那些將神經網路運營工作交給第三方、或是在現有神經網路之上開發產品的公司來說似乎是個難以解決的問題。而目前，隨著機器學習技術在業務上的廣泛應用，採取上述兩種方法的公司越來越普遍。「一般來說，似乎沒有人會考慮這個問題，」紐約大學教授，與Garg合作的布倫丹·多蘭·加維特（Brendan Dolan-Gavitt）如是指出。停止標誌已成為研究人員攻擊神經網路時最喜歡的目標。上個月，另一個研究團隊表明，添加標籤貼紙可能會讓圖像識別系統產生混淆。這次研究性攻擊涉及到機器學習是如何感知這個世界意圖的軟體分析。多蘭·加維特指出，這種後門攻擊更強大，也會產生更大的危害，因為惡意分子可以選擇確定的觸發因素，也會對系統最終的決策產生影響。這種後門的潛在現實目標包括依賴於圖像識別的監視系統和自主車輛。紐約大學的研究人員計劃展示在一個後門的干擾下，面部識別系統如何將一張人像識別成特定人物，從而讓不法分子逃脫檢測。後門影響的不僅僅是圖像識別系統。該團隊正在致力於展示一種語音識別系統的後門，研究人員如果用特定的聲音或特定的口音發出聲音，則可以用其他語言替代某些詞語。在本周發表的研究論文中，紐約大學研究人員描述了兩種不同類型的後門測試。第一種是由於針對特定任務的訓練導致後門隱藏在神經網路中，停車標誌手法就是這種攻擊的一個例子，當一家公司要求第三方為其打造一個特定的機器學習系統時，這個攻擊可能會發生。在第二種情況下，工程師有時採取由別人訓練的神經網路，並針對手頭的特定任務進行微調。而第二種類型的後門就瞄準了這種方式。紐約大學的研究人員表示，即使適用於美國道路標誌的機器學習系統通過重新培訓以識別瑞典的道路標誌，其中的後門也同樣起作用。任何時候。經過再次訓練的系統檢測到道路標誌中出現一個黃色舉行后，其識別準確率立即下降了25%。紐約大學團隊表示，他們的工作表明機器學習系統需要採用標準的安全措施來防範諸如此類的軟體漏洞（如後門）。多蘭·加維特描述了伯克利大學實驗室所運營的一個廣受歡迎的在線「動物園」神經網路。這種多人協作的網站支持驗證軟體下載的一些機制，但它們並不會在所有現有神經網路中使用。多蘭·加維特說：「其中的脆弱性可能會產生重大的影響。安全公司AlienVault的首席科學家傑米·布拉斯科（Jamie Blasco）說，使用機器學習的軟體，例如無人機的圖像設備可能是這種攻擊偏向的目標。國防承包商和政府往往會吸引到最複雜的網路攻擊。但鑒於機器學習技術的日益普及，會有更多公司受到影響。布拉斯科說：「使用深層神經網路的公司肯定會在網路攻擊和供應鏈分析中考慮到這些情況。「可能在不久之後，我們或許就看到攻擊者開始利用本文中描述的漏洞。紐約大學的研究人員正在考慮如何開發出這樣一種工具，讓編碼人員能夠從第三方同步到神經網路中，並發現任何隱藏的後門。與此同時用戶也需要格外小心。

桃園 qq 地點貓咪桃園市 taoyuan xuan 根部尾巴有大桃園旅遊景點