獨家 | VR世界的交互密碼

無論你喜歡不喜歡《阿凡達》，有一件事是可以肯定的，那就是這部電影開創了一個技術的時代。

詹姆斯·卡梅隆在拍攝這部電影的時候，攝影機前雖然是身穿動作捕捉服的普通演員，沒有上妝，也沒有光影效果，但在卡梅隆看到的鏡頭中，卻已經是兩個「阿凡達」，背景也不是拍攝廠蓬，而是電影中的「神山」世界。也就是說，無需後期合成，卡梅隆可以直接「預覽」實片的效果。

在當年，恐怕卡梅隆怎麼也想象不到，這種「虛擬現實（VR）」在今天會如此「親民」：不需要前往好萊塢，使用消費者級別的設備也可以獲得。

只是，如今的VR，已經不滿足於讓觀眾去「看」的階段。UCCVR CEO符國新曾經告訴青亭網，2017年的VR，將會從「看」轉變為「動」。而這種質的飛躍，繞不開VR世界的「交互技術」。

全身捕捉：從光學到慣性

2014年，世界盃大熱，央視五套依然推出著名的《豪門盛宴》進行直播。守在電視機前的觀眾驚奇地發現，在節目里出現了兩名虛擬化身的球員，當主持人讓他們和觀眾打招呼的時候，他們能夠實時地做出動作，加以回應。

這一節目背後的技術支持方就是諾亦騰，這是一家專門做動作捕捉的公司。央視請來了兩個體育院校的學生，在後台穿上諾亦騰公司的設備，然後通過捕捉他們動作，「嫁接」到虛擬的球員形象身上，加以現場合成，這樣實時播放的畫面中，就出現了「梅西」。

說起來容易。「當時的導演膽子太大了，實際上他不了解背後的風險，」公司CEO劉昊揚在和青亭網談起這段經歷的時候笑道。

雖然「運氣比較好」，沒出什麼大紕漏，但是僅有的一次還是不禁讓劉昊揚后怕，在導播切到兩個球員的時候，其中一個虛擬形象竟然玩起了「升仙」、飄到了半空，還好機智的導播及時切換了畫面。

劉昊揚介紹，動作捕捉（Motion Capture）方案主要是三種類型，除了已經廢除的機械式動作捕捉，現在業界主要的方案是光學和慣性動捕。

其中光學技術在電影拍攝領域已經應用得很多：不少電影的拍攝花絮中都出現過這樣一幕，演員身穿黑色緊身衣，站在綠幕前表演，渾身貼滿了反光點。這些看上去像小丑鼻子一樣的反光點，是為了方便攝像機去捕捉演員的動作。

經過五十餘年的發展，光學技術已經日臻成熟，「它的優點在於精度高，但是它的問題是設備太過複雜，無法解決遮擋的問題：一旦多名演員互相遮擋，攝影機就看不見了，而且無法實時輸出，動作捕捉實際上都是後期製作。」

而劉昊揚給央視豪門盛宴節目中使用的方案則是實時的動捕，這是由於他們採用的是「慣性動捕」——面向全國的實時動作捕捉，這在當時還尚屬首例，如果一旦「露餡」，就相當於是一次嚴重的直播事故。不過，談到實際效果的時候，劉昊揚還是不免遺憾：為了節省經費，央視請來的學生並沒有什麼表演經驗，只能機械化地做一些給定動作，讓整體的效果打了一些折扣。

在VR世界里，要捕捉人的全身，基本上除了讓人穿上類似諾亦騰的定位「服裝」外，也有不少人有別的點子。

曾經開發了《生化危機7》的CAPCOM推出過一款叫《大怪獸》的HTC Vive VR體驗，不過他們的方式比較奇葩，把Vive的控制器綁在了腳上，整整用了四個控制器，實現VR世界里對人體腳部的追蹤。

不過，隨著HTC Vive方面最近新推出的Vive追蹤器，全身定位似乎得到了一定程度的解決。這個被人戲稱為「糖三角」的玩意兒，實際上就是把控制器的定位模塊拿了出來。

有Vive內部開發工程師已經通過它實現了VR里的全身追蹤，他告訴青亭網，一共需要五個追蹤器，連上頭盔一共是六個追蹤點。「手兩個、腳兩個、剩下一個放在腰、前胸、肚子都行。在Unity的代碼里實際上不能區分是追蹤器還是手柄。不需要下載新的插件，就用SteamVR即可。」

這一切是由追蹤器和遊戲引擎里的IK（Inverse Kinematics，反向動力學）結合實現的。他表示，VR全身動捕給VR帶來了全新的動作，如「跳躍、扭腰、舞步、踢球、行走」等等。

不過，開發了《骷髏海》這款VR遊戲、也是「糖三角」這一名稱始作俑者的魔視互動CEO王科告訴青亭網，「雖然這能夠幫助解決VR里第三方人物的動作表現問題，但是由於骨骼信息不精確，所以還是不太美觀。」

手部交互：在VR里定位你的手指有多難

在差不多二十天之前，Oculus母公司、Facebook CEO「小扎」馬克·扎克伯格興沖沖地曬出了上面這張照片。

其中他頭戴一個VR頭盔，手上套著一款被他稱為「Facebook VR手套」的玩意，身邊圍著一大圈OptiTrack光學動作捕捉系統。扎克伯格興沖沖地說：這款手套能讓他在VR里畫畫、在虛擬鍵盤上打字，甚至像蜘蛛俠一樣射出蛛網。

不過在劉昊揚看來，這一行為似乎更偏重「作秀」：「光學手部定位很久之前大家就不做了，它需要用戶坐在那裡，周圍圍著一圈光學相機來捕捉你的手」。劉昊揚向青亭網回憶，早在九十年代曾經興起過光學方案的數據手套，但一套設備貴得嚇死人，「差不多幾十萬吧，便宜的十幾萬」。

而真正吸引他的其實是扎克伯格旁邊的那個男人——麻省理工大學出身的Robert Wang。後者曾經創立了一間實現純光學手部定位的小公司，並很快被Facebook收購。「這能暗示出Facebook的VR手部定位應該是純光學方案，而不是多攝像頭的」。

劉昊揚表示，手部定位很難做。手指的運動非常靈活，需要精準的定位和實時捕捉。而光學方案最大的問題就是遮擋——傳統電影里只是在大拇指和食指兩個手指上黏上反光點，「其他的就不管了」。

類似Oculus的VR頭盔控制器實際上是一個很巧妙的解決方案，「既部分實現了手勢，又能夠解決容錯率低的動作在VR里的實現，就好像扣扳機開槍，用戶就算做一百次也不希望有一次（開不了槍）。」

但是，VR具有天然的沉浸感，能把用戶「沉」到一個全新的世界中。既然營造了身臨其境的感覺，絕大多數人的下意識反應都是直接用自己的「手」來和VR世界互動。

在這方面，諾亦騰的方案也是手套。被稱為Hi5的手套在CES上和Vive的追蹤器一起首次亮相，長相和此前曾經和美國宇航局NASA合作的Manus VR有幾分相似。

另外有一家位於內華達的公司叫Dexta Robotics，這家公司的CEO古逍馳想通過名為「Dexmo」的外骨骼手套來實現VR里的手部追蹤。

在手部交互領域最負盛名的是Leap Motion，很多的VR頭顯都曾經外接過Leap Motion模塊來實現手部定位。Leap Motion實際上同樣是光學方案，它需要頭盔上的模塊能「看到」用戶的手。

雖然效果非常驚人，「幾乎達到了這一方案的最佳程度，」但是劉昊揚認為仍然存在缺陷：「模塊必須能夠看到用戶的手，手垂下來就不行了」。

劉昊揚認為，手部交互真正的價值是在VR社交應用里：「未來VR社交可能不需要那麼多按鈕事件，靠著頭部和手部的交互，加上語言就完成了所有需求。所以Touch是不夠用的，社交是對自然手勢需求最高的。」

眼球追蹤：下一代方案？

這是一款讓玩家體驗被恐怖分子拘禁拷問的遊戲。恐怖分子懷疑主角還有其他同伴，如果被恐怖分子察覺到自己視線的移動，對方就會懷疑「你在看什麼？你在看哪裡？」從而對故事造成分支。

有趣的是，如果主角盯著煙灰缸，恐怖分子會把煙灰缸踢飛，要是盯著手槍，對方會問「你這這玩意兒感興趣？」。如果在恐怖分子說話時看其他地方，對方會被激怒，「你瞧不起我嗎！」。如果玩家抬頭，能從2層的窗戶上看到人影。似乎是同伴來解救自己了。

這就是號稱「世界第一款眼動追蹤頭盔」FOVE里的一個遊戲，它展現了VR中交互方式的另一種方向——眼球追蹤。

國內眼球技術專門公司七鑫易維眼動分析科學家秦林嬋告訴青亭網：「」下一代的人機交互技術是多渠道的，而不只是現在只通過鍵盤滑鼠。」也就是說，眼球追蹤技術很可能與其他技術共同成為VR交互里的關鍵組成部分。

按一般人的習慣，看任何東西也肯定是先讓眼球去追蹤想看的東西，而絕不是類似現有VR頭顯那樣，需要直接把頭扭向一邊。這顯得比較不自然。

但秦林嬋表示，眼球追蹤最大的問題就是精度問題：「眼球運動是非常快的，需要非常高的精度去追蹤」。實際上，FOVE的頭盔體驗也曾被不少人詬病，它需要用戶頻繁地重新校準自己的眼球位置，玩起來的感覺並沒有聽上去那麼輕鬆，這多半就是由追蹤力不足導致的。

公司目前的aGlass已經能夠達到每秒120-380Hz，即每秒傳出來120個眼動數據。這款產品也已經適配HTC Vive，正在舉辦中的GDC大會上進行展示。

在VR里，眼動追蹤的應用實際上不止是一種交互手段，它能夠幫助開發商了解用戶到底在VR體驗中對具體哪一塊感興趣：「比如VR房地產項目里，用戶到底喜歡哪一塊裝修？盯著哪裡看得最多？」

據悉，七鑫易維內部已經擁有大樣本數據採集項目組，專門採集人眼數據，並且和機器計算的結果進行匹配。

在2014年，曾經有風靡一時的「冰桶挑戰」，雖然當時鬧得沸沸揚揚，但實際上是為了號召社會都來關心一群名為「漸凍人」的群體，這種病會不斷地讓病人失去行動能力，最後只能移動眼球。

「漸凍人」和「植物人」不同，前者的頭腦仍然很清晰，但是缺乏對外交流的手段，這個時候，眼球追蹤技術就能起到關鍵的助力。

此前，Facebook旗下Oculus已經收購了一家名為EyeTribe的公司，谷歌也收購了EyeFluence。在GDC上，歌爾聲學聯合高通，發布了新一代基於高通835的VR頭顯，其中就集成了眼球追蹤技術。

移動VR交互：即將走出困境？

在筆者經常去的休閑論壇上，往往也能看到討論VR的文章。但是這些文章大多數都在提的是一個問題——我買了個VR盒子，哪裡能下到「片兒」？

「片兒」是什麼我們暫且不表，但這也揭示了VR現在最尷尬的問題，PC端的VR頭顯雖然高大上，但是大家買不起。最接地氣的移動端VR，卻因為缺乏交互方式，往往淪為單純的「看片兒神器」。

Vive頭盔可以獲得空間定位、雙手交互，但是移動端VR卻統統沒有這一切，用戶無法在移動端VR設備上靠自己地移動躲避敵人發過來的火球，更談不上雙手交互。

剛剛公布的Gear VR最新版和谷歌Daydream VR頭盔，也只是加了一款三方向的控制器，還遠遠達不到PCVR的規格。

瞄準了這個痛點的，有LYRobotix（凌宇智控）的CEO張道寧。前不久，公司在國外眾籌平台KickStarter上「悄然」發布了產品Nolo的眾籌項目，「沒有任何宣傳」。

沒想到，四個小時后，眾籌目標就達成了。雖然已經過去快兩個月，但張道寧這個學通信出身的九零后小夥子，在回憶當時的時候，聲音中仍不乏興奮：「那個時候還是北京時間凌晨兩三點，我們還都在睡夢中，眾籌就成功了」。

張道寧表示，適用於移動VR的技術要求「非常非常高」，要定位頭部、雙手，而且要高精度、高刷新率、低延遲地反映到虛擬世界中，還要有很高的便攜性，更關鍵的是：要非常的便宜。

人們兜里的安卓手機，配上紙Cardboard或者暴風魔鏡之類手機盒子，再裝上99美金的NOLO，就可以玩SteamVR的內容，並且實現空間定位和手部交互。

Nolo包括一個定位器，兩個手柄和一個頭盔標記。用戶只需要把標記和頭盔結合，拿著手柄、站在定位基站前，就可以讓定位器定位到三個位置，其中兩個在雙手（手柄上各有一個標記），一個在頭部。

Nolo的方案採用的是LYRobotix自行研發的「PolarTraq」技術，通過「聲光電」來定位用戶在空間中的位置：「聲是聲波，光是紅外光，電則是無線電」。被定位器會發射經過編碼后的紅外線、聲波和無線電，定位器則會接受三個信號，通過信號處理和演算法，得到小球相對於定位器的三維坐標。

此前，加拿大的Breqlabs也曾經實現過移動端VR的手部定位。公司CEO Martin曾經告訴青亭網，他使用的是「超聲波」來實現移動端VR的手部追蹤。雖然谷歌的Daydream通過遙控器也實現了這一功能，但是Martin強調自己的方案「低延遲、低能耗、高精準度」。

Breqlabs現場演示的頭盔里有一個用手抓球的小遊戲，當玩家戴上頭盔后，要拿上一個方形控制器來操縱VR環境里的「手」，按動控制器上的按鍵，就可以把球抓在手中，然後扔向遠處。

不過，在當時的現場體驗中，Breqlabs的方案出錯率還是比較高的，手部的定位也不是很靈活。而青亭網體驗過Nolo的《俄羅斯方塊VR》后，定位、穩定性和效果均遠在前者之上。

張道寧告訴青亭網，Nolo的訂單量已經突破2000，眾籌金額20萬美金，超出原定目標400%。購買的人有開發商、極客、玩家……等很多。他們希望，能夠在線下體驗店裡應用自己的方案，幫助VR體驗店降低成本。

VR交互的未來是什麼？

百度風投在2月14日公布了首個投資項目：美國VR/AR公司8i的2700萬美元B輪融資。除了參與投資，百度還將會與8i在產品上有更加深入的合作。8i公司主管VR/AR/MR的3D人物成像業務，已經開發一系列圖像捕捉、拼接和壓縮等核心演算法。

包括騰訊、阿里巴巴等也都在VR/AR領域布局：前者前不久剛剛投資了美國AR隱形眼鏡公司Innovega，後者則是投資以色列AR公司Infinity AR、Lumus、Wayray等。

聽上去，大公司似乎已經對前路看得比較通透。但劉昊揚認為，實際上現在誰也沒有清晰的roadmap，包括谷歌、Facebook和HTC等，都是「今天我問問你，明天你問問我，看大家一起能做什麼事情，大家願意一起去試。」

他稱VR是「沒有導演的電影」，每個參與者都是演員，而交互就是讓自己的身體、道具去實際體驗，讓VR不僅僅停留在「看」的層面，而是人本身和整個片子發生關係。「這其中，VR交互扮演著很關鍵的角色」。

諾亦騰接待過很多來自奧斯卡的人，他們都在問：VR對電影工業和生產流程有什麼影響？那麼以前那麼複雜、科幻的東西日常化了，行業該怎麼適應？從業人員該補哪些知識，讓我們更加適應未來？

「答案誰也不知道，」劉昊揚說。