誰說人工智慧沒有偏見？它們已經學會了性別和種族歧視！

李杉 編譯自 IEEE Spectrum

量子位 出品 | 公眾號 QbitAI

在性別和種族問題上，人工智慧能夠消除人類的偏見嗎？

《科學》上發表的一項最新研究給我們潑了一盆冷水。普林斯頓大學信息技術政策中心計算機科學家Arvind Narayanan和他的同事們發現，機器學習演算法會輕易模仿其訓練數據集中隱含的偏見。

他們從網上用爬蟲收集了220萬詞的英語文本，用來訓練一個機器學習系統。結果，系統也會展示出了與這些文本相同的偏見。

在較為中性的例子中，人工智慧系統更有可能將「花朵」和「音樂」與「愉快」聯繫起來，而「昆蟲」或「武器」等不太愉快的詞不太可能建立這種聯繫。但人工智慧也也更有可能將歐洲裔美國人的名字與「快樂」聯繫起來，非洲裔美國人的概率較低。同樣地，這種演算法往往會將「婦女」和「女孩」與藝術關聯，而不會與數學關聯。

「在機器學習執行的所有感知任務中，都應該擔心它是否會體現人類的偏見。」Narayanan說，「這可能會進一步創造一種反饋迴路，延續這些偏見。」

為了展示自然語言學習所能引發的偏見，Narayanan和他的同事根據心理學家揭示人類偏見時使用的內隱聯想測驗（IAT），創造了新的統計學測驗。他們的成果發表在2017年4月14日出版的《科學》雜誌上，這也是首份展示「文字嵌入」（word embedding）中體現的人類偏見的科研成果。

所謂「文字嵌入」，其實是一種普遍應用於機器學習和自然語言處理過程的統計建模技術。文字嵌入需要了解一個人的語言在空間上的不同點，並通過重現幾何關係的方式來分析這些點之間的語義關係。

猶他大學計算機科學家Suresh Venkatasubramanian表示，人工智慧從訓練數據集中學會了偏見或許算不上令人震驚的發現，但這項研究駁斥了之前的一個論調：人工智慧天生比人類更加客觀。

由於人工智慧在矽谷和世界各地的科技巨頭中十分流行，所以這項結果意義重大。

要理解潛在的影響，可能需要閱讀一下普利策獎獲獎文章《機器偏見》（Machine Bias），這個系列的文章展示了原本用來預測潛在犯罪分子的電腦程序是如何對黑形成偏見的。有鑒於此，一些研究人員考慮在部署機器學習演算法的過程中，識別並減輕人類偏見所產生的負面影響。

「訓練流程和訓練數據的好壞決定了最終的演算法。」Venkatasubramanian說，「它們不會生來就自動獲得客觀立場。」

哈弗福特學院計算機科學家Sorelle Friedler表示，這項新的研究邁出了重要的一步，揭示出各種機器學習中可能存在的語言偏見。作為機器學習公平、負責、透明小組的組織者，Friedler指出，過去的研究主要調查了已經使用的特定機器學習演算法的偏見。

「我很喜歡這項研究，因為他們沒有試圖調查單一的『活躍』系統，而是分析了很多活躍系統的一塊基石。」他說。

Narayanan和他在普林斯頓大學及英國巴斯大學的同事首先採用了文字嵌入聯想測驗（WEAT），以此複製以往的心理學研究中的種族和性別歧視例子。但他們還開發了文字嵌入事實聯想測驗（WEFAT），不僅僅局限於文字聯想。第二項測試顯示，機器學習語言聯想的統計學強度，與女性2015年在50種不同工作中佔據的比例相關性極強。

就連研究人員都對語言使用和美國勞工部統計數據之間的強相關性感到意外。「完全根據語言使用來看，考慮職業與性別辭彙的使用關係，我們發現女性在任何一個職位上的相關性都達到90%。」Narayanan說。

針對這項新研究開發的統計測試，不僅暴露了機器學習領域的潛在偏見問題，還可以成為一項有用的工具，用來分析特定社會偏見在文字發展史上的演變過程。正如研究人員證明的那樣，這些測試也有助於心理學實驗室測試所揭露的偏見與現實世界的實際影響之間的相關性。（Narayanan將此歸功於他的同事多樣化的學術背景，該團隊包括機器學習專家Aylin Caliskan和認知科學家Joanna Bryson。）

使用機器學習技術——尤其是深度學習技術——的科技巨頭和創業公司，都應該儘快克服其人工智慧系統的潛在偏見。Friedler解釋道，人們現在逐步意識到這個問題，並且開始展開針對性的討論，但尚未就如何處理偏見達成系統性的一致意見。

可以考慮從數據集中去掉偏見因素，但可能因此失去一些有用的語言和文化意義。人們需要作出艱難的道德抉擇，尋找具體的偏見和應對策略，避免這些偏見對日漸強大、越發普及的人工智慧系統產生負面影響。

「我們需要判斷哪些偏見在語言上有用，哪些會產生社會問題。」Friedler說，「如果我們認為存在社會問題，就應該有意識地移除這些信息。」

招聘

我們正在招募編輯記者、運營等崗位，工作地點在北京中關村，期待你的到來，一起體驗人工智慧的風起雲湧。

相關細節，請在公眾號對話界面，回復：「招聘」兩個字。

△ 掃碼強行關注『量子位』