Zi 字媒體

戳我加群 ▼ 機械雞邀你與數萬名人工智慧人才共贏未來！本PPT來自奇虎360的李遠策在 QCon 北京站的演講。 轉自Hadoop技術博文，已獲授權。李遠策，奇虎 360 技術經理，2013 年加入奇虎 360，先後參與公司 Hadoop、Spark 、深度學習等平台的建設，歷經公司 Hadoop 平台高速發展及、Spark 平台從無到大規模實踐及深度學習平台的落地。曾主持 SparkSQL 索引、{MPI/TensorFlow/Caffe} on Yarn 等多個項目。工作中專註於解決平台中的各種 Bug 及用戶遇到的各類問題，愛好開源，樂於學習和分享。目前主要關注 大數據索引、大數據+深度學習等領域。TensorFlow 的開源大幅降低了深度學習的門檻並極大推動了深度學習在眾多公司的落地。但是，建設深度學習平台更多還需要關注多租戶管理、資源隔離、作業管理等。除此之外，在大數據時代訓練數據大多存儲在以 HDFS 為代表的分散式儲存系統中。所以，直接存取 HDFS 也是必不可少的功能。基於以上考慮，我們設計了 TensorFlow on Yarn，實現了深度學習與大數據平台的整合。 除了 TensorFlow on Yarn 外，會向大家一併介紹下我們更早設計的 SparkFlow（TenrsorFlow 與 Spark 的結合），以及整合更多計算框架到 Yarn 的思考。AI周報 ‖ 一周盡覽人工智慧大事件收藏 ‖ 機器學習、深度學習速查思維導圖再見吧，水印君！谷歌的新演算法可自動去除圖片水印吳恩達註冊了1.5億美元基金公司，專註於AI投資 2017斯坦福大學CS224N深度學習NLP通關課程李飛飛主講 ‖ 斯坦福大學基於卷積神經網路的視覺識別重磅 ‖ 科學家利用機器學習技術解碼大腦（paper）有人@你，領取27本免費的數據挖掘書籍專訪陸奇：我與李彥宏分工明確，百度要征服世界！從收銀員到斯坦福科學家，李飛飛如何鳳凰涅槃？長期招聘志願者加入「AI從業者社群」請備註個人信息添加小雞微信 liulailiuwang