AI在微型設備的巨大飛躍打開了大門

有時，展示一個大膽，改變世界的技術的最佳場所是花園。以Ofer Dekel為例。他在華盛頓州雷德蒙德的微軟研究實驗室管理機器學習和優化組。松鼠經常在他的花園裡出沒，偷吃他的鳥飼料，剝奪他和家人享受鳥鳴的樂趣。

為了解決這個問題，他訓練了一個計算機視覺模型來檢測松鼠，並將代碼部署到Raspberry Pi 3（一種廉價的資源受限的單板計算機）上。該設備現在持續觀察他的後院，並觸發他的噴水滅火系統。「擁有Raspberry Pi的每個愛好者都應該能夠做到這一點，」Dekel說。

機器學習方面的專家Dekel正在努力解決這個問題。他在微軟在雷德蒙德和印度班加羅爾的研究實驗室領導了一個由30多名計算機科學家，軟體工程師和研究實習生組成的多學科團隊，該團隊正在開發一類新的機器學習軟體和工具，將人工智慧嵌入麵包屑大小的計算機處理器。該軟體的早期預覽可以在GitHub上下載。

該項目是微軟首席執行官Satya Nadella，最近在西雅圖公司2017年發布會上，發表主題演講的技術行業範例轉變的一部分。他說：「我們正在從當今移動領先的雲端世界轉移到將要由智慧雲和智能邊緣組成的新世界。

智能邊緣

創建智能邊緣是實現世界各地微型智能設備的承諾——嵌入我們的衣服，分散在我們家和辦公室的部分，並部署在各地執行異常檢測和預測維護等任務。（從汽車發動機和電梯到手術室和石油鑽機）

今天，這些類型的設備主要用作收集和發送數據到在雲中運行的機器學習模型的感測器。微軟在雷德蒙德的研究實驗室的業務和技術運營總監Shabnam Erfani說：「所有的處理都需要大量的計算，它需要大量的存儲空間。您無法將所有硬體都裝入低成本嵌入式設備。」

她補充說，德克爾和他的同事正在以「做不可能」為目標。「要收縮並使機器學習更加高效，您可以在設備上實際運行它。」這些智能設備是所謂的物聯網（IoT）的一部分，除了這些東西是智能的，甚至是智慧的，即使沒有互聯網連接。

微軟研究印度研究員兼項目負責人之一的高級研究員Manik Varma表示：「主要問題是這些設備是愚蠢的。「他們感覺到他們的環境，並將他們的感測器讀數傳輸到所有機器學習發生的雲端。不幸的是，這個範例沒有解決我們認為可以改變世界的一些關鍵場景。「

將機器學習推向邊緣設備可減少帶寬限制，並消除對網路延遲的擔憂，即數據傳輸到雲處理和返回設備所需的時間。Varma指出，在設備機器學習中也可以通過與雲的不斷溝通來限制電池消耗，並通過保留個人及敏感信息來保護隱私。

研究人員想象出可以通過這種方法創建的各種智能設備，從用於精準灌溉的遠程農場的智能土壤——濕度感測器到腦部植入物，這些植入物可以向用戶發出即將發生的緝獲物，以便他們能夠到達安全的地方，並呼叫護理人員。

Varma說：「如果你正在高速公路上行駛，那裡沒有連接，那麼你不希望植入物停止工作。」 「事實上，這是你最需要的地方。」

自上而下

Dekel的團隊正在採取自上而下和自下而上的方法來將機器學習模型部署到資源有限的設備上。

自上而下的方法涉及開發演算法，壓縮為雲訓練的機器學習模型，有效運行在Raspberry Pi 3和Raspberry Pi Zero等設備上。今天的許多機器學習模型都是深層神經網路，是人類大腦生物學靈感的一類預測因子。Dekel和他的同事使用各種技術來壓縮深層神經網路以適應小型設備。例如，稱為權重量化的技術表示僅具有幾個比特，有時是單個比特的每個神經網路參數，而不是標準32位。

Dekel說：「我們可以將更多的參數填充到更小的空間」。為了說明差異，他演奏了一個視頻，比較了具有和不具有量化訓練和部署用於Raspberry Pi 3s的計算機視覺的最先進的神經網路：該模型同樣準確，但壓縮版本運行速度提高了20倍。

這些壓縮和訓練演算法的早期預覽可以在GitHub上下載。該團隊還在開發工具，使愛好者，製造商和其他非機器學習專家能夠瀏覽收集和清理數據的端到端流程，培訓模型並將其部署到設備上。

雷德蒙德實驗室的人機交互研究人員Saleema Amershi表示：「向普通用戶提供強大的機器學習工具有助AI的普及。如果我們有技術將智能手機放在小型設備上，但唯一可以使用它的人是機器學習專家，那麼我們努力還必要嗎？」

由團隊開發的另一種壓縮技術是修剪或稀疏神經網路以消除冗餘，這將導致更短的評估時間以及部署到較小的計算機（如ARM Cortex M7）上的可能性。

自下而上

所有這些壓縮工作只會使現有的機器學習模型減小10到100倍。將機器學習部署到Cortex M0s上（Cortex M0s是處理器中最小的處理器——它們在物理上與紅辣椒片的尺寸相當）Dekel將其稱為「計算機灰塵」——這些型號需要縮小1000到10,000倍。Dekel說。「為此，我們有一個長期的做法，從頭開始。從白板上的數學開始，並為這些資源有限的平台量身打造一套新的機器學習技術和工具。」

自下而上的方法從光譜的小端開始，其中團隊成員專註於構建一個充滿訓練演算法的庫，每個訓練演算法都調整為最適合執行一系列的場景：一個用於諸如腦部植入的應用，另一個來檢測諸如在噴氣發動機中的異常來預測何時需要維護。

該集團關注的最小的設備是Arduino Uno，這是一種資源受限的單板計算機，只有2千位元組的RAM。演算法訓練機器學習模型用於任務，例如回答是或否和複選題，預測可能的目標值和排列項目列表。

這些模型靈感來自基於雲的系統，但它們正在通過縮減所學知識的數量，減少計算複雜性和限制內存需求，同時保持準確性和速度而重新設計。

Varma解釋說：「最終，您得到的預測幾乎與（基於雲的神經網路）一樣準確，但現在您的模型尺寸很小，因此您可以將其部署到幾千位元組的RAM。

展示本研究潛力的原型設備是Varma的智能手杖，視力受損，可以檢測跌倒併發出援助呼叫。另一種潛在的應用是一種智能手套，可以解讀手語，並通過演講者來表達簽名的詞語。

Varma說：「我喜歡幫助生活有障礙的人，讓她們更好地融入社會。」

想象未來

AI嵌入微型設備的驅動力是微軟研究機構中更廣泛的計劃的一部分，旨在設想從現在開始十年可能普及的技術。對於Dekel和同事們來說，這是一個充滿智能，安全設備的世界，它具有可以讓任何有創意和願望的人都可以訪問的工具。

目前，研究項目正在為製造商社區服務——那些遇到問題的人們，以及用自製技術解決問題的願景。Varma設想這些製造商在整個行業的作用，以及開發針對異常檢測和預測性維護任務優化的智能安全設備。

Amershi指出，如果從事這些設備的工作的人工智慧博士和計算機科學家人數相對較少，那麼這些設備中只有少數會存在。她正在開發介面和其他工具，以減少培訓的複雜性和單調性，並將機器學習模型部署到邊緣設備上，使各種製作人員能夠生產力。

她說：「機器學習不是一件事。這是一門藝術。需要一些努力，一些迭代，引導這些機器學習模型來做你想要他們做的事情。」