A/B測試: 概念=執行

原文地址：https://booking.design/a-b-testing-concept-execution-b37bf4d744d

原文作者：Erin Weigel (Booking.com Senior Designer)

「我們測試了,結果失敗了。」

在A/B測試的世界里典型的借口是泛濫的, 但它會忽略一個事實:一個概念本身是完全不同於概念的執行的。想法經常會不斷湧現，之前的失敗往往被貼上失敗的標籤, 從來沒有讓它們煥然新生過。

如果沒有認真核實過以前的測試，快速否決的心態可能是有害的。因為Booking.com進行A/B測試大約十年了,有時似乎一切都已經嘗試過。儘管我們做了很多測試, 失敗了很多次, 有些許成功, 但是我們可以為客戶和改善使用網站體驗的地方還有很多。這就是為什麼我經常對這樣的話不屑一顧, 「好吧, 確切的說, 你測試了什麼想法，多久以前?」

他們以前做的A/B測試接近現在新提出的方法嗎？如果是這樣,運行了多長時間?它是如何影響用戶行為的?他們110%確定沒有BUG或者在執行中沒有可用性問題嗎？

當我聽到一個可靠的概念失敗時，我有一系列的問題要問。這個列表來自我的經驗,這些經驗都是從失敗的測試中總結出來的。

這句話相當悲觀,但是是有原因的。我已經做了足夠的A/B測試(從初始概念到具體的技術實現角度)來掌握可能會導致一個好主意滅亡的潛在變數。

一個看似無關緊要隨意的變化或難以界定設計缺陷帶來的消極影響足以抵消任何積極的影響。

由於不理想的實現技術增加了頁面載入時間

你使用了一些大尺寸的圖片, 繁冗的CSS, 或者一些執行力差的JS? 你一直關注任何可能會出現的新錯誤嗎? 密切關注所有重要網站統計數據, 因為更改用戶「看不見的」變化和內容與視覺變化一樣有影響力。

對關鍵元素顏色、字體或字體大小略微錯誤的選擇

引人注目的最重要的信息足夠清晰嗎?

即使看起來微不足道的襯線字體使用在錯誤的地方都可能有負面影響。

和頁面上的其他內容來相比，新功能設置了不合適的尺寸、放到了不合理的位置上

你所添加或重新設計的功能會分散用戶對頁面上其他元素的注意力嗎？

你刪除別的內容來放新的功能了嗎?

如果你添加的內容不能影響任何用戶與頁面的交互，那麼你做的事情就沒有意義。設計師往往高度集中在他們做的新功能上, 忘記了它改變了周圍的內容。

錯誤的時機

你實現了一個工具提示,它會在一定時間后消失嗎?你添加的內容僅僅是在今年特定的時間有意義的嗎?

顯示特定類型的信息太快,太遲了,或者不給人足夠的時間來了解你的內容有時會產生相反的效果。

邊界情況的場景中的BUG

那些不太常使用的瀏覽器或設備會出現渲染問題嗎? 它在平板電腦上和在桌面一樣有用嗎?如果網站是多語言的,一切都被合理的翻譯，正確的本地化嗎?

如果足夠的這些邊界情況結合在一起,他們的累積效應是消極的。然而, 一個全面的A/B測試框架的好處是你可以用工具分析失敗測試的用戶代理, 瀏覽器類型和國家。每個用戶在你的網站上應該有一個很好的體驗, 解決你在數據中識別出的這些問題可以將結果遠離邊界效應。A/B測試可以幫助確保為每個人有高質量的體驗。

與原始想法概念相去甚遠的大的,小的或不必要的變化會產生料想不到的後果

你改變一行文案,同時也改變字體大小或添加新的顏色?

如果是這樣,那麼你已經污染了概念測試。我遇到過在測試顏色時，改變了字體大小, 從而導致了可靠的和可重複的想法失敗的案例。

嘈雜的track

你是測試一種新的流程或不同的互動?你添加或修改的內容沒有立即在頁面上可見嗎?

只有當他們實際上接觸到視覺變化或與不同行為的元素交互時，Track用戶才能有效。如果你track的用戶沒有看到或使用這個功能, 他們會成為數據雜訊並且稀釋測試結果。如果你的track中有足夠的噪音，你就不能聽到用戶試圖告訴你的信息。

觀眾是誰?

誰看到了改變?是對所有訪客所見嗎?他們是來自電子郵件? 他們來自一個付費廣告或搜索?他們是直接輸入網址嗎?他們是新用戶或返回的用戶?他們以前有過購買行為嗎?

用戶的來源和使用網站的歷史影響他們如何與內容交互。你越能把最相關的用戶作為目標用戶,你越有可能能夠創建有意義的交互,使metrics向好的方向前進。

低流量

你的測試只包括一小群用戶，並且接觸到一個非常微小的改變?

想在一個低流量的網站獲得一個大數量級的測試結果,您的更改需要更大、更大膽才行。換句話說,你的想法也許是成功的,但你不能從數據上看出來。改變的大小與你的流量是有關的。

超前的想法?

你什麼時候測試這個概念的? 錯過了相當好的時間, 但問題還沒有解決嗎?

「今天不成功的想法可能明天會成功, 昨天成功的想法可能會托今天的後腿。」

「我們設計的產品必須和我們為之設計產品的用戶一樣是動態的。

人是動態的,他們的期望改變了自己, 他們和周圍的世界一同發展。這就是為什麼我們設計的產品是動態。設計師往往可以引領時代, 因為我們時刻緊貼時代脈搏。設計趨勢、最新的HTML和CSS的技巧和華麗的技術集成可能看起來很酷, 但是大多數時候我們期望的和典型用戶感覺舒服的方式完全不一樣。

「我們為普通人設計在當今使用的產品。」我總是試著提醒自己, 我是為普通人設計產品。去年不習慣使用滑動手勢的人今年可能會期待看到這種方式。隨著硬體變得更強大，過去經常使瀏覽器崩潰的代碼能夠在幾年之後解決這個問題。

當你設置你的下一個A/B測試，這裡有一些事情要記住:

記得從分解複雜到順暢測試想法的過程中仔細摸索前行的重要性。這其中有很多導致失敗的因素。

積極的,消極的或中性的結果有助於未來相同概念的迭代或可以提供你洞察新的假說，並且進行測試。

每個A/B測試, 儘管其規模或範圍不同, 應該得到相同的關注。沒有合適的假設和metric的想法一定會提高測試失敗和成功率。

明白一個消極的或中性的結果並不一定意味著什麼都沒有得到。「這些研究結果也可能是說,「不完全正確」或「現在還沒有。「你測試越多,你越會發現「什麼都沒得到「實際上的意思是「想法不正確」。

但是等等!有更多的…

有時, 然而, 一個概念是如此強大,它甚至可以在最糟糕的執行下存活。我相信你經歷過主要網站的特性或功能非常有用但缺乏視覺改進或存在可用性問題的例子。

「有時候一個糟糕的執行會阻止一個好主意的成功。相反,一個偉大的想法在糟糕的執行下也會成功。」

所以, 這是雙向的。有時一個糟糕的執行成功阻止一個偉大的想法, 但有時一個偉大的想法是偶然間獲得成功的。

Booking.com 簡介：Booking.com B.V. 公司成立於1996年，總部在荷蘭阿姆斯特丹。向用戶提供各種類型住宿最優惠的價格，其中既有小型的家庭經營住宿加早餐旅館，也有高級公寓和五星級豪華酒店。住宿遍布全球227個國家及地區，曾經自助出國的人大部分使用過或者聽說過booking.com。國內與航空公司、OTA平台都有合作，現在在積極推進本地化，為用戶提供優質的訂房體驗。更多文化介紹，請參看 「和130多個國家的人在一起工作是怎樣的體驗」 這篇文章。