Google 軟體工程師:用Daydream和Tango探索VR和AR世界

Unite 2017 Shanghai將於5月11日-13日在上海·國際會議中心隆重召開！Google 資深軟體工程師 Wim Meeussen分享《用Daydream和Tango探索VR和AR世界》主題，剖析為什麼Google這麼關注AR和VR，以及Daydream的定位及Tango的運作方法。

以下為VR陀螺整理的演講實錄

Google 資深軟體工程師 Wim Meeussen：

我是Wim Meeussen，來自於Google公司，負責亞太區的工程團隊。我談一下移動AR和VR。

在開始之前，我想談一下為什麼AR和VR這麼重要。我們來看一下Google公司的願景，Google希望能夠把所有的信息組織起來為人們所用，為什麼Google這麼關注AR和VR呢？答案在於如果我們看一下各種不同歷史上的計算平台，我們相信AR和VR會成為下一代的計算平台。

我們相信下一步時代是增強現實和虛擬現實的時代。在這個時代里有很多的互動，在VR裡面可以看成一種新的環境，它把我們處置在一個假的環境中，在VR裡面我們可以對現實有更好的了解，AR和VR都是表達和使用信息的新途徑，正是因為這樣，Google非常重視AR和VR。

你要問我們為什麼要在移動設備上設計AR和VR，因為我們全世界的移動設備非常多，如果我們要實現非常大的數據規模，我們必須要實現移動化，全球手機有30多億台。這樣的規模對Google很有意義，對在座的諸位也很有意義。

我今天會介紹Daydream做VR的平台，還有Tango做AR的平台，這兩個平台現在已經存在了，我們可以買到一些設備，硬體軟體都存在了，不是一個未來的東西。

先介紹一下Google虛擬現實的平台Daydream。

首先Daydream在不同的平台之間有定位，左邊是眼鏡這個是比較便宜的東西，是現今存在最大的VR平台，我們已經賣出了1000多萬個。右邊是更加高端的桌面的虛擬現實的東西，Daydream處在中間。

我們要體驗Daydream，就需要一個有Daydream功能的手機和Daydream的查看器、控制器。要使這三個東西緊密地配合實現它們的功能。

我前面談到過規模，Google對一台符合Daydream功能的手機，現在通信和摩托羅拉已經有了這一類的手機，華碩和華為也正在開發這方面功能的手機。

這是一個Daydream眼鏡、查看器、耳機，我們要把它設計的比較柔軟，便於使用。所以在Daydream裡面要進入到VR，把手機放上去，把它關上就可以體驗了。在查看器裡面我們的手機會和我們的察看設備實現無線通訊和互動。另外我們還有控制器，對於VR來說，我們控制器要做的簡單易用，我們其實是蒙上眼睛就可以使用，控制器要非常地簡單，有一個可以點擊的觸屏，有一個應用的按紐。

我們進入到VR之後把耳機戴上會是什麼情況呢？首先我們在Daydream裡面先看到Daydreamhome，可以啟動和停止VR應用，可以進入到app store，我們可以下載新的應用，可以採購一些APP，也可以看電影，我們整個體驗都在VR裡面，我們不需要進出VR，甚至可以在裡面打電話。

剛才我從消費者角度談了一下Daydream，現在從開發者角度談一下Daydream。我們要做VR是什麼意思呢？我們要欺騙我們的大腦，相信我們處在實際上不存在的環境當中，讓大腦產生幻覺，產生幻覺要三個要素，首先要能看到一些東西，聽到一些東西，還要能夠進行互動。

VR產生體驗有三個要素，接下來會更詳細地從三個方面來闡述。

首先我們能夠看到一些東西在現實的世界當中，如果我們移動很快就看到了一些運動，比方說我轉個頭就可以看到。幾乎是在移動和看到圖象的延遲幾乎是零毫秒，在VR裡面我們移動感測器要能夠探測到移動在什麼地方。

另外我們要提交渲染圖像，圖像出來以後才能看到運動的模型，所以從開始移動到我們看到有很多不同的步驟。

我們要實現比較好效果的VR，滯后時間要小於20毫秒，正是因為這樣Daydream裡面有特殊的軟體、硬體，確保滯后時間在20毫秒以內。

下面我們再來看系統的UI，希望能夠在裡面打電話、做購買。你可以待在VR裡面，同時它的低延遲渲染也是非常重要的，可以在20秒當中做很多事情。

另外一個非常重要的功能是音頻體驗、聽覺體驗。你想要去做這樣一個渲染，想要有這麼好的一棵樹，你可以花很多的時間，或者很多CPU能夠讓每一張樹葉看起來都非常真實。

當然，這在移動上是挺難做到的。但是我們可以這樣做，把樹用比較少的面數，給它加入音頻，對於用戶裡面低面樹加上聲音之後代入感非常好，就跟比較好的渲染出來的代入感是一樣的，不需要用到那麼多的CPU。音頻是一個比較便宜的解決方案，另外聲音在不同的地方表現也是不一樣的，比如說你在森林裡面講話的聲音是不同於你在太空進行的對話。因此我們要使得聲音也做的儘可能真實。

VR不僅僅只是左右聲道，這個聲音是360度，全方位環繞的。同時聲音就好像是背後傳來了很真實的聲音，你想要去查看一下，因此這個聲音也可以作為代入感的工具。

第三個要談的是你與這個世界的交互，我們這裡有一個控制器，它有相應的感測器，可以對運動進行感知，它不僅僅只是做3D的控制，它是可以幫助你來做到自由運動。

下面給大家分享一下VR的最佳實踐，首先有這麼一點，如果你假設你的用戶是坐在沙發上，他很舒服，可能有20、30分鐘的時間給他，這個用戶可以到處去看，但是很難向後看，因為他是坐著的，你就想象有這麼的一個場景，你坐下來之後你也挺難去運轉，很難轉動。假設這個就是你的用戶場景，你記住這一點就容易去進行開發。

再來看看Motion，運動。在現實生活當中你的用戶是坐下來的，在虛擬世界當中用戶坐下來就是完美的，因為兩者是可以匹配的，是一樣的。如果你想使用motion運動的話必須要非常謹慎，因為很多人會有運動上的緊張感。有的時候你想要讓Motion儘可能地短時間，因為有的人可能會有不適感。

再舉一個例子，有時候你看上去挺有趣的，現實當中感覺有些東西挺恐怖的，但是這個感覺在VR當中也是一樣讓人恐怖的，比如說有人有恐高症，在VR當中也是感覺不適的。另外有的人有幽閉空間恐懼症，他會在開放空間也會感覺不舒服。如果有尖銳物體的話你會感覺你會受傷，你也不想有擠在中間的感覺。所以VR對用戶的感覺是非常真實的，它可以帶來非常真實的情感體驗，所以你在設計的時候必須能夠重視這一點。

剛才談的是Daydream，是關於VR的。我的第二部分想要討論的是Tango，這是AR平台。

如果VR是關於創作想象，那麼AR真正重要的就是能夠讓你的手機去了解我們身邊的世界。

我這裡再解釋一下它是怎麼樣去運作的。在Tango裡面希望給你手機能夠有同樣的體驗，看到場景的時候你希望Tango能夠了解背後的3D的幾何，不光光只是看到了像素，還可以看到3D的幾何世界。

先來看看Tango的硬體，每一個Tango手機有三個獨特之處，每個Tango手機都有特別的深度感知感測器，它是有這樣的功能能夠讓它感知深度，此外它還有運動追蹤器，因為我們在做圖象處理的工作，所以還有第三點，就是視覺處理器。

這就使得每一個Tango手機非常獨特，現在聯想在2016年12月已經發布了這樣的一款手機，叫做Lenovo Phab2 Pro，華碩也開發了。Tango的攝像頭將會是手機的下一個變革，能夠讓人們更好地了解這個世界。

下面再來看看Tango的軟體設備。它有三塊，一塊兒是運動追蹤，一塊兒是深度感知，一個是關於領域知識，也叫Area Learning。

運動最後能夠告訴我運動軌跡是什麼樣的，深度感知能夠幫你看到3D世界， Area Learning是一種記憶，對Tango也是這樣的，我們給Tango這種記憶，讓它記住它去過哪裡，記住手機的運動軌跡，記住它經過哪些地方。

為什麼你需要這三塊兒來做VR呢？比如說我們做渲染，做一輛汽車的時候為什麼需要這樣的渲染呢？

我這裡所拿的就是聯想這部手機，Phab2 Pro，它有G Pro的攝像頭，我像大家做的展示就是它能幫你理解AR的。

這可能是AR的最簡單的版本，這裡是有虛擬的角色，這個並不是非常棒的AR。

我們再向前一步，加入運動追蹤，有虛擬的小貓，它可以移動。再加上深度感知看看，在這個版本當中我們用了深度感知器，讓它去了解地板在這兒，能夠把它放在合適的地方。

因為我們了解了它背後的幾何學，所以我就可以去做點擊，讓它走到不同的地方。看看能不能讓它跳到桌子上去，現在我們有了運動追蹤，有深度感知，這裡面的AR做出來就是很棒了。

人可以通過這個桌子看到這個貓，這不太好，這就破壞了AR的幻覺，還有一個給大家展示的。我們會用深度感測器對環境建立3D的網格，我們會告訴Tango在哪些地方有障礙，有遮擋，我這裡有一個網格，小貓在桌子後面。我們看不清楚，如果我們建立真正的應用會把整個貓都遮擋起來，這裡面會有陰影，我們要有很好的AR體驗，要有不同的要素。

我們了解了它的運動、重量、障礙、遮擋物，使得虛擬的物件就像真實的物件一樣受到這樣的效果，當然我們要建立很好的AR，可以通過反光、光線能夠做到一些效果非常好的AR。

Ues Cases有哪些？我們可以用它來玩虛擬的傢具、我們也可以用Tango來進行三維的尺度測量、我們可以通過3D的模型在Tango裡面對尺寸進行測量和核對。

我前面講到過方位的感知、區域的學習，我們現在在這個房間裡面，加入我們要感知一下在整個大樓裡面的位置，在真實的世界對虛擬的物件要實現可視化，通過記憶，在植物園裡面可以看到整個的熱帶雨林。

我們今天講到了Daydream和Tango，要有虛擬體驗，所見、所聞三個因素，如何在VR裡面實現真實的效果？首先要有真實的體驗，這些物件必須看上去是真實的。這是我們的開發者網站，包括Daydream和Tango。

謝謝大家！