陳樺 編譯自 Facebook
量子位出品 | 公眾號 QbitAI
知乎上有個問題,大意是你在等待機器學習模型訓練的時候,都做些什麼。
Facebook今天在西雅圖Data@Scale大會上公布的一篇新論文說,他們用不著花太長時間等待,在ImageNet -1k的120萬張圖片上完成訓練,以前需要幾天,現在只要1小時。
該公司的工程師Pieter Noordhuis分享了新發表的論文《準確、大規模的小批量SGD:在1小時內訓練ImageNet》。這篇論文展示了,具有創新性的基礎設計如何規模提高深度學習的效率。
論文作者包括賈揚清、何凱明等。
Paper下載鏈接:
在Facebook人工智慧研究院和應用機器學習團隊的密切合作下,這篇論文描述了Facebook研究員如何將同樣任務上的訓練時間,從幾天減少至1小時。
他們在試驗中,用基於Caffe2的系統,以高達8192張圖的minibatch大小,在256個GPU上用包含120萬張圖片的ImageNet -1k來訓練ResNet-50,只花了1個小時,同時確保了準確性。
該團隊使用Caffe2和Gloo庫去實現合作通信(這兩個庫文件都已上傳至Github),以及Facebook的下一代GPU伺服器Big Basin。這一服務的設計已於今年早些時候提交給了「開放計算項目」。
憑藉這些成果,機器學習研究員可以開展試驗,測試假設,以及推動一系列有依賴關係的技術的發展,無論是有趣的頭像濾鏡,還是用於現實增強的360度視頻。
△ Facebook的照片濾鏡
【完】
學習推薦
6月15號,量子位組織了一場沙龍,邀請到了圖森首席科學家王乃岩博士分享自動駕駛相關話題,歡迎大家長按下圖掃碼報名~
△ 掃碼強行關注『量子位』