【深度】Kubernetes在京東人工智慧平台的應用

「目前Kubernetes是容器圈裡的「當紅炸子雞」，京東人工智慧平台——登月中也大量應用了Kubernetes。在京東資深架構師範振看來，登月平台的設計出發點就是Kubernetes調度一切。」

在京東，分散式機器學習平台已經應用於包括電商，金融等多個應用場景。「我們將在9月16日，北京，國家會議中心舉辦的京東技術開放日——人工智慧平台的系統架構與數據處理專場中，專題分享Kubernetes在京東人工智慧平台的應用。」

范振談到：「包括將學習任務分配到集群的物理節點上進行運算，如果遇到任務失敗的情況，Kubernetes 會自動重啟任務；以及Kubernetes可以把很多併發進程組織成service，並且實現auto scaling——白天用戶數量多的時候，增加Web service里的進程數，減少AI作業的進程數。晚上減少Web service里的進程數，釋放資源給AI作業，提升機器資源利用率和降低基礎設施成本。」

這些內容都將在9月16日，北京，國家會議中心舉辦的京東技術開放日上做專題分享。

人工智慧的集中式爆發，機器學習的訓練過程對於快速迭代的高要求，讓能夠輕量級接入，並且可以對用戶提供秒級響應的Kubernetes發揮了巨大的優勢。師出同門的Google Tensorflow項目很早也進行了與Kubernetes的集成，京東的人工智慧平台上實現了Spark on Kubernetes。

從Kubernetes的角度出發，把Driver和Executor分別Container化，完成Spark的原生調度，架構更清晰。同時，繼承了Docker的計算資源隔離性，通過Kubernetes的Namespace，將不同的Job從網路上徹底隔離。

在9月16日，北京，國家會議中心舉辦的京東技術開放日上，這些大家關注的熱點內容，都將在活動現場精彩呈現。

范振認為，未來Kubernetes也可能會成為雲管理平台的統治者，也還會有更多的應用在Kubernetes上原生運行起來。因為對於Kubernetes，它可以把很多分散的物理計算資源抽象成一個大的資源池，利用這些資源來執行用戶的計算任務。對於用戶來說，操作一個分散的集群資源就像在使用一台計算機。

實際上，Kubernetes不僅簡單的解決了容器的部署和運行問題，它還關注如何幫助用戶構建容器化分散式服務這個問題。因此9月16日，北京，國家會議中心舉辦的京東技術開放日對於在容器化道路上還在「摸著石頭過河」的用戶來說，也是很有價值的。

「Kubernetes作為一個快速演進的項目，應用起來潛在的坑還是很多的。本次京東技術開放日上的Kubernetes議題，就是在你做為應用新技術方面，可以借鑒的很好的一次經驗分享。」 ——京東副總裁 翁志