穿過你的頭顯的我的眼 谷歌如何能讓頭顯「透明化」

24 February

（VR蟲洞｜ ）

別人在玩VR的時候，圍觀者最喜聞樂見的是什麼？

當然是花容失色的驚叫聲。

當妹紙在玩《生化危機7》時，屏幕上面目猙獰的喪屍能比旁邊瑟瑟發抖的畫面有趣嘛？

這時候看不到、拍不到基友的表情實在太遺憾，為了實現情感交流，邪惡的谷歌採用了一種技術，讓外人能夠清楚地看到體驗者的臉。

實際上，這是一種MR技術，VR頭顯暫時無法做透明，藏在眼鏡後面的眼神怎麼還原出來？谷歌工程師的是用人臉模型來來代替VR眼鏡，實際技術過程很複雜。

第一步

模型收集與捕捉。

既然要用人臉替代VR眼鏡，那麼收集人臉數據是必須的。

首先工程師讓玩家注視屏幕上一個移動的點，並且用動態採集系統將其各個角度注視的3D表情記錄下來，為後期添加做準備。

第二步：

表情收集齊了以後，就是要用表情來代替VR眼鏡，這需要在3D坐標中完成定位，並用收集到的表情去替換眼鏡的位置。

這個演算法是非常複雜的，也只有谷歌這群非人類才能做到。

第三步：

圖像合成與處理。

為了讓收集到的表情隨著遊戲變化而產生變化，谷歌在HTC Vive內部搭載了SMI眼動追蹤，每一個點幾乎都有對應著一個表情，這時候只需要追蹤到玩家的眼睛注視點，並調用對應的表情就可以了。

當然，後期還需要美工一下。

沒錯，你看到的頭顯之下的人臉其實是MR合成的。

由於該效果只是在MR合成視頻中近似還原，目前準確度和畫面細節仍有待提升，逼真當然是好事，但是過於逼真，又容易產生「恐怖谷」效應。

為了避免這種情況，谷歌工程師特地加入了一個半透明面罩，既可以避免細節錯誤過於明顯，同時在畫面銜接上也更加舒服。

這項技術看上去就不簡單，實際上也確實不簡單，可能有的人會覺得很無聊：這麼複雜的演算法，竟然只是用來看玩家頭顯之下的表情？

所有高新科技都是由微小的創新實現的，比如火箭升空，說白了就是發動機動力學，谷歌的技術目前看來應用很「無聊」，至少運用了收集表情和眼球追蹤技術。

這項技術成熟后，一定還會用在更多的地方，比如VR會議、VR聊天和VR遊戲等場景，以實現「表情交流」的目的。