Zi 字媒體

陳樺 編譯自 Facebook量子位出品 | 公眾號 QbitAI知乎上有個問題，大意是你在等待機器學習模型訓練的時候，都做些什麼。Facebook今天在西雅圖Data@Scale大會上公布的一篇新論文說，他們用不著花太長時間等待，在ImageNet -1k的120萬張圖片上完成訓練，以前需要幾天，現在只要1小時。該公司的工程師Pieter Noordhuis分享了新發表的論文《準確、大規模的小批量SGD：在1小時內訓練ImageNet》。這篇論文展示了，具有創新性的基礎設計如何規模提高深度學習的效率。論文作者包括賈揚清、何凱明等。Paper下載鏈接：在Facebook人工智慧研究院和應用機器學習團隊的密切合作下，這篇論文描述了Facebook研究員如何將同樣任務上的訓練時間，從幾天減少至1小時。他們在試驗中，用基於Caffe2的系統，以高達8192張圖的minibatch大小，在256個GPU上用包含120萬張圖片的ImageNet -1k來訓練ResNet-50，只花了1個小時，同時確保了準確性。該團隊使用Caffe2和Gloo庫去實現合作通信（這兩個庫文件都已上傳至Github），以及Facebook的下一代GPU伺服器Big Basin。這一服務的設計已於今年早些時候提交給了「開放計算項目」。憑藉這些成果，機器學習研究員可以開展試驗，測試假設，以及推動一系列有依賴關係的技術的發展，無論是有趣的頭像濾鏡，還是用於現實增強的360度視頻。△ Facebook的照片濾鏡【完】學習推薦6月15號，量子位組織了一場沙龍，邀請到了圖森首席科學家王乃岩博士分享自動駕駛相關話題，歡迎大家長按下圖掃碼報名~△ 掃碼強行關注『量子位』