AI演算法提升AR直播體驗 帶你暢玩淘寶造物節

2017年7月8日，為期五天的第二屆淘寶造物節在杭州國際博覽中心正式拉開序幕，作為淘寶一年一度，最好玩、最盛大的線下集市，淘寶造物節依靠技術上的新突破和內容創作上新模式，引導年輕人，鼓勵他們創造出更多的內容、社群和流行趨勢，通過全新的展示和交互技術釋放他們的創新和創造力。

7月1日，一封製作精良，效果逼真的3D邀請函《飛躍奇市江湖》火遍互聯網，熟悉3D動畫製作的朋友不難發現，這封3D邀請函主場景的開發上，不同於傳統Web開發中使用CSS來實現的偽（有限）3D效果，而是使用WebGL來實現，更接近於傳統圖形領域的基於OpenGL的開發模式；在材質渲染及場景設計上，阿里巴巴技術團隊通過編寫編碼級別的「地圖編輯器」對整個地圖進行了多次美化與性能調優，使得設計場景能夠完美還原，併流暢運行於移動端上；在分場景設計上，採用基於WebGL的三維交互技術360全景視頻，具有更快的開發效率以及更加精美極致的場景體驗。為了最終在用戶面前呈現影視級的視覺效果，項目全程更是邀請到好萊塢頂級特效製作團隊FrameStore全程參與，首次用好萊塢視覺特效演繹效果超炫的淘寶造物節邀請函。

作為互動體驗的重要環節，本次淘寶造物節重點打造的AR直播則在用戶體驗上下足了功夫。這些互動背後融合了阿里巴巴技術團隊在AI演算法和AR直播兩大技術領域的突破。技術上基於AI演算法綜合運用3D空間重建、場景分割、動態行人監測、單目同時定位和建圖、互動式視頻流等技術，打造了一個現實與虛擬水乳交融的奇幻場景。讓線上線下參與互動的現場觀眾既能感受到大魚海棠身臨其境的感覺，也能變身小怪獸和奧特曼扭作一團，或者親切抱抱。

相對於上一代的VR直播，AR直播能夠突破空間和設備的限制。通過在AI演算法上的不斷優化，做到智能監測和場景感知，構建一個實時強互動的現實虛擬相疊加的場景，大大拓展了數字媒體和娛樂業務的傳播形態。此次淘寶造物節的AR直播會場，阿里巴巴技術團隊通過對視頻流進行分析，檢測並提取現場畫面中的關鍵人物，併發送到遠程進行虛擬互動。另外通過基於深度信息的圖形合成技術，還實現了遠程和現實人物的有效互動，用戶足不出戶也能通過手機觀看和參與現場AR直播互動，體驗一個獨一無二亦真亦幻的世界。

無獨有偶，作為互聯網時代下零售業變革主要方向，線上線下融合的「新零售」業態，無人店鋪「淘咖啡」也在此次淘寶造物節上亮相。「淘咖啡」涉及的技術包括身份識別、移動支付、人工智慧等方面。此外，本次淘寶造物節上，作為阿里移動基礎技術引擎（Alibaba Mobile Tech Engine，簡寫為AMTE）的重要組成部分，Weex框架很好地支撐了此次淘寶造物節的主會場。

正如阿里巴巴集團CEO張勇所說，整個經濟和商業都在走向數字經濟，走向新零售。作為」五新」戰略的重點之一，借力於技術創新的新零售亦將成為未來商業變革成敗的關鍵。從去年的Buy+和VR直播，到今年交互動畫加純3D建模的飛躍奇市江湖邀請函，再到現場AR全景互動直播，黑科技滿滿的淘寶造物節讓技術帶來商業價值的同時，也讓更多人的真實生活受益、更加快樂， 並且讓社會得到可持續發展。

如果說雙11天貓狂歡節更多體現的是阿里巴巴在雲計算、大數據和電商領域世界級的互聯網技術能力，那一年一度的淘寶造物節則成為阿里巴巴在新零售場景下移動和AR/VR等新交互技術領域的練兵場。