Facebook加入
LINE加入
2021/12/25
用戶畫像作為「大數據」的核心組成部分，在眾多互聯網公司中一直有其獨特的地位。
作為國內旅遊OTA的領頭羊，攜程也有著完善的用戶畫像平台體系。目前用戶畫像廣泛用於個性化推薦，猜你喜歡等；針對旅遊市場，攜程更將其應用於「房型排序」「機票排序」「客服投訴」等諸多特色領域。本文將從目的，架構、組成等幾方面，帶你了解攜程在該領域的實踐。
1、攜程為什麼做用戶畫像
首先，先分享一下攜程用戶畫像的初衷。一般來說，推薦演算法基於兩個原理「根據人的喜好推薦對應的產品」「推薦和目標客人特徵相似客人喜好的產品」。而這兩條都離不開用戶畫像。
根據用戶信息、訂單、行為等等推測出其喜好，再針對性的給出產品可以極大提升用戶感受，能避免用戶被無故打擾的不適感。同時針對不同畫像的用戶提供個性化的服務也是攜程用戶畫像的出發點之一。
2、攜程用戶畫像的架構
2.1.攜程用戶畫像的產品架構
如上圖所示，攜程用戶畫像的產品架構大體可以總結為
1）註冊
2）採集
3）計算
4）存儲/查詢
5）監控
所有的用戶畫像都會在」UserProfile平台」中進行註冊，由專人審核，審核通過的畫像才可以在「數據倉庫」中流轉；之後會通過用戶信息、訂單、行為等等進行信息採集，採集的目標是明確的、海量的、無序的。
信息收集的下一步是畫像的計算，攜程有專人制定計算公式、演算法、模型，而計算分為批量（非實時）和流式（實時）兩種，經過嚴密的計算，畫像進入「畫像倉庫」中；而根據不同的使用場景，我們又會提供實時和批量兩種查詢API供各調用方使用，實時的服務側重高可用，批量服務側重高吞吐；最後所有的畫像都在監控平台中得到有效的監控和評估，保證畫像的準確性。
2.2.攜程用戶畫像的技術架構
攜程發展到今天規模，更強調松耦合、高內聚，實行BU化的管理模式。而用戶畫像是一種跨BU的模型，故從技術架構層面，攜程用戶畫像體系如上圖所示。
各BU都可以貢獻有價值的畫像，而基礎部門也會根據BU的需要不斷製作新的畫像。畫像經過開源且經我們二次開發的DataX和Storm進入攜程跨BU的UserProfile數據倉庫。在倉庫之上，我們會有Redis緩存層以保證數據的高可用，同時有實時和藉助elasticsearch兩種方式的API，供調用方使用。
該架構有如下關鍵點：
1.有非同步和實時兩種通道滿足不同場景、不同畫像的需要，事實類畫像一般採用實時計算方式，而複合類畫像一般採用非同步方式。
2.攜程強調專人專用，每個人做自己最適合的事。故整個UserProfile是多個團隊合作完成的，其中包括但不限於各BU的開發、BI，基礎的開發、BI等。
3.所有API都是可降級、可熔斷的，可以根據需要切數據流量。
4.由於用戶畫像極為敏感，出於數據安全的考慮，我們查詢服務有嚴格的許可權控制方案，所有信息必須經過授權才可以訪問。
5.出於對用戶畫像準確性負責的目的，我們有專門的UserProfile數據可視化平台監控數據的一致性、可用性、正確性。
上述是用戶畫像的總體描述，下面我將詳細分享各個細節。
如上圖所示，用戶畫像的註冊在一個典型的Mis系統中完成，UserProfile數據的提供方在這裡申請，由專人審核。申請時，必須填寫畫像的含義、計算方式、可能的值等。
3、攜程用戶畫像的組成
3.1.信息採集
基礎信息的採集是數據流轉的開始，我們會收集UserInfo（比如用戶個人信息、用戶出行人信息、用戶積分信息）、UBT（用戶在APP、網站、合作站點的行為信息）、用戶訂單信息、爬蟲信息、手機APP信息等。而上述每個基礎信息的採集又是一個專門領域。比如下圖展示了用戶訂單信息採集流程。
3.2.畫像計算
基礎信息是海量的、無序的，不經加工沒有太大的價值。故用戶畫像的計算是數據流轉的關鍵所在。我們的BI團隊會制定嚴密的公式和模型，根據場景的需要，制定規則和參數，對採集信息做非同步計算。這樣的計算由於耗時較長，一般我們會採用T+N的方式非同步更新，根據畫像的不同，數據新鮮度的要求亦不同。動態和組合標籤大多採用非同步方式計算更新。Hive、DataX等開源工具被使用在這個步驟中。
而有些畫像是事實或對新鮮度要求比較高的，故我們會採用Kafka+Storm的流式方案去實時更新計算。比如下圖，UBT（用戶行為數據）使用消息通道Hermes對接Kafka+Storm為UserProfile的實時計算提供了有力的支持。
3.3.信息存儲
用戶畫像的數據是海量的，被稱作最典型的」大數據」，故Sharding分散式存儲、分片技術、緩存技術被必然的引入進來。
攜程的用戶畫像倉庫一共有160個數據分片，分佈在4個物理數據集群中，同時採用跨IDC熱備、一主多備、SSD等主流軟硬體技術，保證數據的高可用、高安全。
由於用戶畫像的的使用場景非常多、調用量也異常龐大，這就要求用戶畫像的查詢服務一定要做到高可用。故我們採用自降級、可熔斷、可切流量等方案，在倉庫前端增加緩存。如下圖所示，數據倉庫和緩存的存儲目的不同，故是異構的。
3.4.高可用查詢
響應時間和TPS是衡量服務可用性的關鍵指標，攜程要求所有API響應時間低於250ms(包括網路和框架埋點消耗)，而我們用戶畫像實時服務採用自降級、可熔斷、自短路等技術，服務平均響應時間控制在8ms（包括網路和框架埋點消耗），99%響應時間控制在11ms。
大部分場景都是通過單個用戶獲取用戶畫像，但部分營銷場景則需要滿足特定畫像的用戶群體，比如獲取年齡大於30歲、消費能力強、有親子偏好的女性。這種情況下會返回大量用戶，此時就需要藉助批量查詢工具。經過多次技術選型，我們決定採用elasticsearch作為批查詢的平台，封裝成API后很好的支持上述場景。
3.5.監控和跟蹤
在數據流轉的最後，數據的準確性是衡量用戶畫像價值的關鍵指標。基於高質量信息優於大數量信息的基調，我們設置了多層監控平台。從多個維度衡量數據的準確性。比如就用戶消費能力這個畫像，我們從用戶等級、用戶酒店星級、用戶機票兩艙等多個維度進行驗證和斧正。同時我們還要監控數據的環比和同比表現，出現較大標準差、方差波動的數據，我們會重新評估演算法。
上述所有環節組成了攜程跨BU用戶畫像平台。當然技術日新月異，我們也在不斷更新和局部創新，或許明年又會有很多新的技術被引入到我們用戶畫像中，希望我的分享對你有所幫助。
作者介紹
周源，攜程技術中心基礎業務研發部高級研發經理，從事軟體開發10餘年。2012年加入攜程，先後參與支付、營銷、客服、用戶中心的設計和研發。
http://mp.weixin.qq.com/s?__biz=MjM5ODE1NDYyMA==&mid=2653381770&idx=1&sn=b3765c22e87602e71ced204fa875397e&chksm=bd1cdc998a6b558f38103ce6c361cf05cec9b318d5295079b0684d2c1892ed588b7a0e8fef1a&scene=0#rd
6、用大數據預測犯罪靠譜嗎？
http://mp.weixin.qq.com/s?__biz=MjM5MTAzMDYyMQ==&mid=2649422593&idx=1&sn=7770daa37464470bb148caadf3c8084a&chksm=bea5973389d21e25570340dcb6033b228d27bf90670f33ba80ea2cac9970db0cbd9200051aa3&scene=0#rd
7、社交關係+大數據=？
http://mp.weixin.qq.com/s?__biz=MjM5ODE1NDYyMA==&mid=2653381771&idx=2&sn=b281a08439054799b6dd90429bde81da&chksm=bd1cdc988a6b558e30d735ea99648b0407b151524093199a7c375b0ff3ed18291368a9672b30&scene=0#rd
8、數據分析能力的8個等級
http://mp.weixin.qq.com/s?__biz=MjM5MDI1ODUyMA==&mid=2672937888&idx=1&sn=cf662701c66048baf136b9902310b0ac&chksm=bce2ef978b9566814de11720792b710e8834ddcf98071147c2e6fcb6704cf5d27adf030cba31&scene=0#rd
9、「犯罪心理畫像第一人」：人民公安大學犯罪學學院李玫瑾教授
http://mp.weixin.qq.com/s?__biz=MzI1NTA3NTgwMw==&mid=2653153472&idx=1&sn=52d02610fb15a2941ddba892f10a6949&chksm=f1ec3c74c69bb5629e6fc58745b40000f1f94c08b51fc66005ee92dddde5ea53760604100db4&mpshare=1&scene=1&srcid=0211Pm00mkZvuc0FyZhLurAG#rd
10、給它一個輪廓，TensorFlow還你一隻完整的喵
http://mp.weixin.qq.com/s?__biz=MjM5MTQzNzU2NA==&mid=2651648287&idx=1&sn=f8f4d3e16142e551afc8662f64e5c4c5&chksm=bd4dd68c8a3a5f9ab499e975eceaa37256fd0246c1af96c0fa87d3ee5571bc349e1b9125adce&scene=0#rd
熱門推薦
留言回覆
