做手機AR內容將會遇到哪些深坑？

AR 的到來會讓我們重新思考數碼產品該如何設計本文作者系 Super Ventures 合伙人 Matt Miesnieks ，這是他有關 AR 的第五篇博文了。本文梳理了 AR 應用在產品設計上會遇到的各種挑戰，每個可都是天坑。隨著 ARKit 的問世，未來一年裡 AR 應用將蜂擁佔據 5 億台 iPhone 的「身軀」，谷歌 ARCore 的入局更是徹底點燃了這個市場。在這一背景下，越來越多的開發人員開始轉向 AR，他們也會通過各種實驗來摸索這個全新的媒體平台。事實上，AR 的意義恐怕不止於此。一直以來，我們都在通過矩形（從石碑到電影院再到智能手機）來消費視覺內容，而 AR 則首次突破了這一限制，成了完全開放的新型媒體，它甚至有望成為第 8 種大眾傳媒。與傳統的列印媒體相比，AR 在規模上與其類似，但在種類上卻完全不同。新媒體誕生初期的成功產品大多數都帶有前人的印記，因為這樣更符合人類心智，讓他們更容易接受新生事物。其實這樣的世代轉換在網頁誕生時也出現過，當時的網站更像是在線用戶手冊（乾巴巴的靜態 HTML 網頁）。因此，第一批 AR 應用肯定也會有濃厚的移動應用即視感，所以大家也別把期望值調的太高。不過，一款 AR 應用要想成功，還是得借力新的媒體元素，如果還卡在舊的條條框框里恐怕只能被罵成假 AR。

最初新媒體從傳統媒體處借鑒了很多，取得了成功。我常常聽人們說 AR 能讓我看到「計程車司機離我還有多遠」的想法。AR 應用將發揮新媒體的優勢，是那些傳統媒體無法實現的形式。剛剛進入 21 世紀時，我曾在 Openwave（就是那家發明了手機瀏覽器的公司）就職，當時我們經常會談到所謂「基於移動端」的體驗並不斷強調它與「小屏網站」間的區別。2010 年，Fred Wilson 終於把這一生澀的概念解釋清楚了。今天，我就會以 Wilson 的文章為框架，將頻道調到 AR 再來解釋一遍這個問題。在這裡我要提一點，那就是最近蘋果針對 ARKit 推出了不少人機界面指南，但谷歌卻明顯沒有跟上這一步伐。

在下文中，我會深入挖掘一些對智能手機 AR 相當特別的因素。當然，本文與頭戴設備關係不大，因為相比智能手機，它們的玩法更為豐富。當然，我個人面面俱到，但這份清單應該是當今時代最具綜合性的了，畢竟它融合了超過 50 年的 AR 手機應用開發經驗。作為 SuperVentures 的一員，我經常會過目各種 AR 應用。其實開發者到底有沒有用「基於 AR」這一概念來開發很容易看出來。只需問他們「為什麼要通過 AR 來開發，而不是選擇傳統方式呢？」這一問題就能得出結論。

雖然用戶還要通過手機屏幕觀看和交互，但設計一種能脫離手機的內容在概念上本身就是一大進步。要想做一款成功的 AR 應用，設計師或開發者必須先實現精神上的飛躍，也就是跳出手機的條條框框。同時，你還要重新思考用戶與智能設備之間的互動過程。現實世界的架構、用戶如何握持手機，甚至附近的人、物、聲，都會對 AR 產品的設計產生影響。畢竟，在 AR 中所有的事物都需要通過 3D 的形式呈現出來。其實應用程序內的各種互動、過渡、轉變、模擬和更新，只是需要考慮的一個方面而已。應用程序外所發生的事情，同樣也需要考慮。作為 AR 應用程序研發人員，如果能夠實現思維突破，事情就容易多了。

手持手機這個操作習慣是種很大的限制，但同時它也提供了很多機會。要知道，手後面是手腕和手臂，它們能夠在很大程度上實現自由移動，這一點頭部是無法做到的。此外，單手操作應用和雙手操作應用能實現的效果完全不同。用頭戴設備來玩尺子應用就有些強人所難了

這也就意味著，玩 AR 應用時，用戶無需總是盯著屏幕看。最為典型的就是 Tape Measure 和那些能對小型物體進行 3D 掃描的 AR 應用。當然，AR 應用也有自己的局限性，那些緊張刺激的射擊類遊戲就不太適合通過移動 AR 來呈現。

許多 AR 開發者往往會忘記這樣一點，那就是人們在走路、跑步或者運動時，通常會把手機放在口袋或者包包里。在他們看來，用戶點擊應用程序圖標，才表示用戶體驗的開始，但事實並非如此，用戶體驗其實更早的時候就開始了。畢竟 AR 的一大優勢就是能夠基於我們所處的地理位置，提供全面且詳細的實時數據信息。如果用戶滯后三十秒鐘才打開 AR 應用，這一優勢就被浪費了。因為在應用程序需要準確地理位置信息的時候，用戶可能已經走過了那個地點。與其相比，Facebook 或一些簡訊提醒就不需要與地理位置綁定的那麼緊。對手機 AR 來說，如何讓用戶在合適的地點掏出手機是個巨大的設計問題

因此，如何保證用戶能在最合適的地點掏出手機來使用你的應用，是一件非常現實且困難的事情。用傳統的推送消息來提醒用戶，或者用戶看到現實世界某個東西，需要得到更多信息，他們已經知道應用能幫到他們。比如說，用戶會在需要翻譯菜單上不認識的單詞時用谷歌的實時相機翻譯服務 Word Lens。如果以上這些方法不行，你的應用就必須通過非結構化內容或特別泛化的內容來吸引用戶了。在我看來，這是所有 AR 應用在研發時遇到的「天字第一號」挑戰。對用戶來說，主動去發掘內容的事兒他們很少會去做，想成功還得靠主動拿內容去「喂」。此外，當 AR 應用開發者開始思考「競爭」的問題時，這一挑戰又會以不同的形式呈現出來。由於 AR 是一個完全開放的事物，因此許多人覺得只要進入這一市場就能取得成功。不過事情哪有那麼容易，大家都在爭分多秒的打磨自己的產品，貿然進入的話你拿什麼跟別人競爭？

Yelp 應用中有一個「AR 模式」，但它只是一個功能每當提到 ARKit 應用，我們經常會想起 AR 模式下的完整體驗，這就有些為了 AR 而 AR 了。在日常生活中，有些應用其實更適合用傳統方式來呈現，比如輸入密碼。此外，2D 地圖在獲取方位信息上也有自己的優勢，用戶可以隨心所欲的進行放大和縮小。因此，在應用開發前一定要三思，到底哪些部分更適合做成 AR 形式？如果需要，完全可以開發一款混血應用，將 AR 模式當成其中的一個功能就行。Yelp 的 Monocle 功能就是最好的範例。

從最簡單的層面來講，一款 AR 應用必須能在某種程度上保證數字內容與現實世界（或真人）之間的互動。如果無法實現這一效果，那它就只是一款再普通不過的應用了。再進一步說，由於現階段智能手機應用程序就是我們「默認」的用戶體驗，因此若某種預期效果只能通過 AR 這種方式實現，那你的應用才有存在的價值。我們所說的與世界互動主要有以下三種方式：物理空間結構成了 AR 應用的關鍵元素

數字內容會被現實世界的結構所阻隔，因此 AR 應用必須針對這種結構給出特定的回應。Tango 項目的演示和 Magic Leap 的小型機器人，就是比較典型的例子。

與身邊的朋友共享一個「幻覺」是重要的 AR 應用方式

如果你的某款應用優勢需要與其他人與共處同一個空間才能體現出來，那麼這款應用絕對是為 AR 而生的。例如，建築師借 3D 立體模型向客戶進行展示和介紹。

數字內容或許是靜態的，但是你可以自由移動手機，讓它變身遊戲手柄。在我看來，這是最基本的功能。如果內容設立在桌面上，用戶通過移動手機從不同角度觀察的做法其實算不上真正的 AR，想實現同樣的效果，直接讓用戶在手機應用上縮放來看細節不就行了嗎？但也有人認為，用戶能通過這種移動方式獲得真實物理感受，就符合 AR 的標準了。其實判斷是不是真 AR 標準也很簡單，開發者只需捫心自問「這款應用給這種互動帶來的除了新奇體驗，是否還有其他價值？」如果把手機當做如 Wii 一樣的手柄來用，當你移動手機時，可以對內容產生相應的反應。例如，桌面上懸挂著一個虛擬氣球，移動手機「推動」氣球，氣球發生動作。所以，你要思考是否能讓應用實現一些交互，如果沒有，應用也只有新奇，或者說還是一款普通的應用。

如果只在某個特定地點才能體驗，數字內容的稀缺性就會再次體現出來

在 2011 年的 AWE 大會上，Jaron Lanier 上台演講，他針對 AR 說了一段令人振聾發聵的講話。當時一直有觀點認為，互聯網的出現徹底消除了「稀缺性」（如可以無限複製的數字商品），但 AR 有能力重新將「稀缺性」找回來。未來會有大量 AR 體驗與地理位置進行捆綁，就算同樣的體驗換個地理位置也能夠實現，但終究還是在最開始設計時的那個地理位置獲得的體驗效果最好。就像是用 MP3 聽歌和現場聽歌，兩者永遠不可能相同。這就意味著在區塊鏈和去中心化大行其道的今天，數字業務可以煥發出新的活力，商業模式能有更多可能。創新型企業受益最大，因為它們正是以「稀缺性」為賣點的。值得一提的是，音樂行業可能會重新煥發生機，它們能通過新型「私人演唱會」賺的盆滿缽滿。最好的例子其實是去年夏天大火的Pokemon Go，它就通過與地點和時間的捆綁讓抓精靈的玩家如痴如醉。未來肯定會有更多公司沿著這一思路探索出更多以「稀缺性」為賣點的 AR 產品。

AR 誘惑力十足，你思考得越深，就越能體會到這個市場的廣大和新點子的缺乏。我們經常會遇到帶著好點子而來的新創公司。誠然，他們找到了某個問題的解決之道，如果他們的平台發展不錯甚至可以成為下一個谷歌。不過問題就在於，現階段甚至幾年以後的技術或者用戶體驗根本沒有辦法為他們的想法和平台提供支持。創業者只是一味相信自己的眼光和看法，沒有經過深思熟慮就迫切想要創建一家屬於自己的公司。不幸的是，在市場或者技術真正達到一種成熟狀態之前，他們手上的資金連 18 個月都撐不下去。好點子是一方面，但如何把它變成現實又是另一方面。因此，如果你想創業成功，必須清楚的了解這個點子現在能否變成現實，或者找到願意為你的點子買賬的大金主。如果這兩件事都做不到，那麼你就要問問自己現在的所謂好點子是否有些不切實際。當然，這裡我要提醒一點，那就是所謂的好點子，並不是簡單指一個炫酷概念，而是指必須存在、必不可少的創意。也就是說，你的創新 AR 體驗，能夠一種更加高效並且受到社會大眾認可和歡迎的方式，來代替原先那些不具備 AR 功能的體驗。

智能手機 AR 與頭戴設備 AR 的最明顯區別其實就是視場。頭戴設備視場較大，因此沉浸感也比較足。與其相比，智能手機 AR 面臨兩大挑戰：1. 用戶只能通過智能手機這個「小窗口」沉浸在 AR 內容中，你身邊的朋友要想加入其中，看到的「窗口」會更小。雖然更好的跟蹤技術能增強用戶體驗，但用戶總會覺得自己是在透過一根吸管看世界。2. 智能手機屏幕呈現出來的，只是攝像頭所看到的內容，而不是用戶自己所看到的內容。受限於攝像頭的方位和焦距，它的視場範圍與我們肉眼的完全不同。然而在現實生活中，大家所關注的，就只有屏幕上呈現出來的內容。其他那些沒有出現在屏幕上的內容，他們往往會選擇忽略。那麼，在攝像頭和肉眼二者視場範圍存在較大差距的情況下，我們能夠採取哪些措施來增強沉浸式體驗呢？首先，只要用戶打開應用，就會停止懷疑並接受現有的 AR 體驗。

其次，你可以從比例上來考慮。如果你的內容本身體積就不大，那麼它很輕鬆就能塞進智能手機屏幕，不會被手機邊緣所限。舉例來說，一隻貓在屏幕上出現肯定比霸王龍要好得多。如果你的內容本身就比視場大的話，那就要進一步考慮藉助可見性功能幫用戶看到關鍵內容。我們就實驗出了一個相對可行的辦法，就是用一些年模糊手法遮蓋數字內容，使得屏幕中的內容相對較為清晰，而邊緣則相對較為虛化。這樣一來，就向用戶傳遞出了一個信號，即屏幕之外是沒有什麼有趣內容的，不用費勁去尋找了。當然了，如果用戶願意，也可以手動左右平移，驅散霧化效果，對其他區域進行探索。不過，這樣做的前提條件是，他們已經充分知曉某一物體所處的位置，不需要猜來猜去，盲目地左右平移。不過，說著容易做著難，這種沉浸感其實很難營造。想讓用戶愛上你的應用，就必須做大量試驗並重新思考用戶體驗的每一個細節。對開發者來說，用戶測試至關重要。你必須要在相同用戶身上重複不斷地進行測試，這樣才能夠拋開那些偏見並拿到最為真實的數據信息。也就是說，在 YouTube 上看起來非常吸引人的產品，想成為用起來也令人信服的產品，也需要實現很大的跨越。

AR 應用與其他軟體的不同在於，開發者無法控制或決定用戶在什麼時候會選擇使用你的應用程序。舉個例子，假如某款桌面 AR 遊戲需要一個邊長為 2 英尺遊戲區域來玩耍，但用戶會在公車上，或是對著一張小型桌子，又或者是對著一張堆滿了盤子和杯子的桌子上打開應用。顯然，這時應用便無法使用。下面，針對這一問題，我簡單列出了三種解決方案。其中，第一種和第二種相對來說可行性較高：第一，你需要給用戶提供詳細的使用指導，讓他們知道該在什麼地方使用你的應用。否則，他們肯定會因為體驗較差把你的應用打入冷宮。當然，你也可以專門針對某個使用案例開發一款應用，這樣他們就不會因為打開應用不能使用而尷尬了。

簡單地說，就是這些內容能在任何地點進行完整的呈現，這一經驗是我在 Dekko 工作時總結的。如果你打算研發一款 AR 遊戲，我的建議就是打造那些能在任何地點玩耍的數字玩具。

Moatboat 的 AR 應用就不屬於結構化應用，它在哪裡都可以使用。用戶體驗可以在平面運行，也可以在雜亂的房間運行。從理論上來講，第三種是最佳解決方案，但從技術上它現在還無法實現。不過，未來 AR 肯定會朝這個方向進發，即從 3D 立體的層面來掌握整個場景，通過自動和智能的形式，根據場景中的已有事物來安排各項全新內容的位置。現在想實現這一效果主要有兩大挑戰：一是實時 3D 場景重建（幾乎已經解決）和語義學；二是程序性內容的布局工具。想解決這些問題，我們還需要幾年時間，因此現在還是乖乖使用第一和第二種方案吧。在數字內容能與世界交互前，AR 設備必須能捕捉或下載真實世界的數字模型

不過，拿不到控制權也讓用戶有了更多玩法，這也是好消息之一。需要指出的是，在開發應用時你給應用了一個隨意坐標系統。它只知道自己在坐標系內的相對位置，缺乏持續性和準確性，用戶也不能分享自己的坐標。不過，這一情況在未來 12-18 個月內隨著 ARCore 和 ARKit 的更新就會有所改觀，許多新創公司也正在開發相關 API。不過，如果你現在要開發應用，還是把這個問題考慮在內吧。

移動 AR 剛剛出現時，我們都想當然地認為，用戶都喜歡通過雙手將手機舉在自己面前來使用某款 AR 應用（即所謂的「平視顯示」）。但事實上，我們不僅高估了大家改變自己行為的意願程度，也高估了其他人對於雙手將手機舉在面前這種行為的接受程度。所以說，在研發 AR 應用的時候，你需要優先考慮人們在日常生活中是如何握持手機的：第一種握持方法是把手機舉到與自己視線平齊，但這樣的姿勢時間較短。人們這樣用手機是為了觀看可視化的問題解答，而不是為了進行長時間的 AR 互動。這樣握持手機或平板的方法不能持續時間過長，最好 1~2 秒

第二種握持方法較為常見，即傾斜的握持手機（角度為 13 度），我們大多數時候都是這樣用手機的，它會讓人感覺更自然也更舒服。在這種角度下，內容就不能太過巨大，因為所有動作都是直接在用戶眼前進行的。這種握持方式，應用的使用時間會變長一些，但背景部分會受到限制

根據用戶握持手機的不同方式，手機感測器可以自由進行模式切換。舉例來說，當你水平舉著手機時，AR 應用所呈現出來的就是很普通的 2D 地圖。但是，如果把手機豎直舉起來時，它就會自動切換成 AR 模式並立即啟動視覺搜索。諾基亞 2012 年時就利用這種設計推出過一款名為 City Lens 的 AR 應用。

在你測試應用時肯定會發現，用戶打開應用看到虛擬內容后第一個反應就是試圖觸摸它。發現自己夠不到這些內容后，用戶會一臉迷茫。這是一個好現象，因為它至少說明你的虛擬內容相當酷，但它也帶來了一個問題，那就是我們通常熟悉的輸入和交互方式在這裡就不管用了，那塊屏幕不再是我們與內容進行交互的媒介了，因為在 AR 的世界里內容會離我們幾英尺遠。你可以要求還是通過觸屏來操作，但這會增加認知負擔，破壞沉浸感。但是，巨大立體手勢或是依靠的現有的其他交互，依然存在問題。因此，找到真正適合用戶與幾英尺之外內容進行交互的新 UI 是一個巨大的挑戰。在 Dekko 時，我們在一款遙控車遊戲中解決了這一挑戰。不過接觸了三星的智能家居產品后，我們發現不同的產品要有不同的解決方案，萬金油是不存在的。Dekko 的遙控車遊戲，用戶只需觸摸「屏幕」操作，但要跟桌面有一定的距離

不過，讓用戶感覺自己「觸摸」到了內容並不能解決所有問題。如果你有幸嘗試過 Meta 頭戴設備或 Leap Motion，就會發現缺乏觸覺反饋還是會讓用戶分心。在我看來，AR 在成為我們的日常夥伴前，必須首先解決輸入問題。

控制好視頻反饋就能讓虛擬和真實顯得更連貫，用戶體驗也會更棒。越多的風格化應用其中，真實和虛擬也更難以區分。

與頭戴設備相比，智能手機 AR 的一大特徵就是用戶以為自己看到的「真實世界」其實只是真實世界的視頻反饋。這樣一來，開發人員就有機會通過操控視頻反饋來對自家應用的各個方面進行優化和完善。2013 年，Will Steptoe 針對這個問題進行了不少研究調查。加入 Facebook 之後，他就貢獻出了自己的研究成果。Steptoe 指出，如果能夠在風格和樣式上對真實世界的視頻反饋進行細微且合理的調整，就可以讓虛擬內容和現實內容變得更加連貫，從而提升沉浸體驗。如果能夠加以創新的話，完全可以運用到 AR 手機應用的開發中去。

作為一種全新的媒介，用戶一開始都會搞不清楚如何使用 AR 產品。設計師可以從很多角度設計出特色的交互方式，但恐怕不是所有用戶都能 get 到設計師的用心良苦。但是，從用戶角度出發，可就不見得了。因此，設計師可通過對正在數字化的「真實」物體進行複製，讓用戶自然而然地學會如何使用應用。在 Dekko 時我們設計過一個非常可愛的小猴形象，但喜愛它的用戶卻不知道怎麼操作平板上的小猴。不過，當他們玩上了遙控賽車遊戲，一切都不是問題了，無需解釋用戶就知道怎麼玩了。有一點非常重要，那就是這一過程中所涉及到的並不是簡單的 2D 擬物化，而是一種全新的 3D 立體符號語言。這種語言會根據各種空間線索（如陰影和透明等），展現相應的變化和發展。

擬物化在用戶熟悉新體驗時非常有用想證明這種方案是否有效，只能找從沒玩過 AR 的用戶來測試。在這裡我先給你們打個預防針，因為測試之後你會發現自己的應用還是太過複雜，需要逐字逐句解釋用戶才知道怎麼使用。

許多用戶體驗 AR 時不願相信自己所看到的，他們無法相信這些內容存在於 3D 世界。因此，在這裡你就需要用一些比較細微的信號顯示出與真實世界之間的聯繫，以幫助用戶理解眼前所發生的一切。要我說，最好用的就是陰影、動態陰影和光源等。另外，利用格網線和其他一些「繪圖」方式將互動內容與真實世界分開，同樣也是幫助用戶正確理解互動過程的有效方法。

另一種相當有效但不容易實現的方法是對虛擬對象的動畫響應下手，同時控制輸入也相當重要，這樣物體才能看起來更加「真實」。不過，穩定只是第一步。如果你研究過在 AR 中走動的虛擬角色，就會發現它們的腳每走一步都會出現「漂移」，這會大大影響用戶體驗。有時，角色還會無意間遇到物理結構，但卻沒有任何反應，場面會相當尷尬。不過，與相機進行眼神交流已相當成熟，不過需要選好角色。你選的角色越真實，用戶分辨起來就更容易。當然，AR 情境中疊加的內容和信息密度也是一個重要的部分，但想在 3D 空間里讓信息擁有可讀性和可理解性，特別是在不斷移動的狀態下，確實不容易。

Dekko 的這隻猴子相當成功，即便已經3~4 年時間了，還有人問我。小猴子的腳未能真正站在平面上，這其實很破壞沉浸感。

合作夥伴