Zi 字媒體

24 February（VR蟲洞｜ ）別人在玩VR的時候，圍觀者最喜聞樂見的是什麼？當然是花容失色的驚叫聲。當妹紙在玩《生化危機7》時，屏幕上面目猙獰的喪屍能比旁邊瑟瑟發抖的畫面有趣嘛？這時候看不到、拍不到基友的表情實在太遺憾，為了實現情感交流，邪惡的谷歌採用了一種技術，讓外人能夠清楚地看到體驗者的臉。實際上，這是一種MR技術，VR頭顯暫時無法做透明，藏在眼鏡後面的眼神怎麼還原出來？谷歌工程師的是用人臉模型來來代替VR眼鏡，實際技術過程很複雜。第一步模型收集與捕捉。既然要用人臉替代VR眼鏡，那麼收集人臉數據是必須的。首先工程師讓玩家注視屏幕上一個移動的點，並且用動態採集系統將其各個角度注視的3D表情記錄下來，為後期添加做準備。第二步：表情收集齊了以後，就是要用表情來代替VR眼鏡，這需要在3D坐標中完成定位，並用收集到的表情去替換眼鏡的位置。這個演算法是非常複雜的，也只有谷歌這群非人類才能做到。第三步：圖像合成與處理。為了讓收集到的表情隨著遊戲變化而產生變化，谷歌在HTC Vive內部搭載了SMI眼動追蹤，每一個點幾乎都有對應著一個表情，這時候只需要追蹤到玩家的眼睛注視點，並調用對應的表情就可以了。當然，後期還需要美工一下。沒錯，你看到的頭顯之下的人臉其實是MR合成的。由於該效果只是在MR合成視頻中近似還原，目前準確度和畫面細節仍有待提升，逼真當然是好事，但是過於逼真，又容易產生「恐怖谷」效應。為了避免這種情況，谷歌工程師特地加入了一個半透明面罩，既可以避免細節錯誤過於明顯，同時在畫面銜接上也更加舒服。這項技術看上去就不簡單，實際上也確實不簡單，可能有的人會覺得很無聊：這麼複雜的演算法，竟然只是用來看玩家頭顯之下的表情？所有高新科技都是由微小的創新實現的，比如火箭升空，說白了就是發動機動力學，谷歌的技術目前看來應用很「無聊」，至少運用了收集表情和眼球追蹤技術。這項技術成熟后，一定還會用在更多的地方，比如VR會議、VR聊天和VR遊戲等場景，以實現「表情交流」的目的。