search
百分點:在對大數據深刻理解的基礎上構建服務體系

百分點:在對大數據深刻理解的基礎上構建服務體系

每一個企業級的人 都置頂了 軟體網

軟體網 為你帶來最新鮮的行業乾貨

本文作者│歐小剛

微信號│oyg0001

聯繫郵箱│oxg@soft6.com

從宏觀一點的視角來看,大數據只是信息化進程的一個階段。那麼大數據是怎麼來的,在信息化進程中扮演什麼角色,大數據都有哪些關鍵技術,怎樣用大數據幫助企業實現數據化運營決策?帶著這些問題,軟體網記者歐小剛專訪了百分點的技術副總裁兼首席架構師劉譯璟博士,試圖從根本上來理解什麼是大數據,並了解百分點怎麼用大數據為企業服務的。

從來源看大數據在信息化進程中的角色

哲學上的終極命題是「我是誰,我從哪裡來,要到哪裡去」,要搞清楚一件事情,很多時候必須弄清楚它的起源才行,這個道理也適用於大數據。下面我們試圖從整個信息化進程的角度來看大數據的誕生及其發展。

為了更清楚的說明大數據的發展進程,劉博士向我展示了上面的大數據發展歷史。可以看到,1946年計算機的誕生,開啟了人類社會的信息化進程;1951年與數據相關的資料庫被發明出來,近20年後關係型資料庫出現;進入20世紀后谷歌相繼發表了三篇論文《The Google File System》、《MapReduce: Simplified Data Processing on Large Clusters 》、《Bigtable: A Distributed Storage System for Structured Data》,這三篇論文奠定了大數據的技術基礎;爾後Haoop誕生,大數據開始走向快速發展階段。

人們一直在談論大數據的重要性,那麼其價值怎麼來體現呢?從工業化進程來看,人類社會經歷了機械化的1.0時代、電氣化的2.0時代、自動化的3.0時代,目前正進入智能化的4.0時代。而在工業4.0的架構設計中,大數據佔據重要的地位。另一方面,劉博士認為,在未來互聯網中「雲大物移社」是一體的:雲計算是好比人體的骨骼,未來的信息系統都將是建構在雲基礎設施之上的;物聯網好比感官系統,可以實現信息世界與現實世界的連接;大數據及人工智慧則好比大腦,通過數據分析和決策能力,實現「數據大腦」;移動化是高效利用資源的策略,移動化可以讓人們更好利用碎片化的時間,優化資源分配;社會化則是信息技術的靈魂,技術只有通過社會化、在具體行業中才能實現其價值。

從技術角度對大數據進行解構

上面談了談大數據的起源以及在信息社會中扮演的角色,這部分我們來從技術角度解構大數據,希望能更好的理解大數據到底是什麼?為了更清楚的說明大數據的相關技術,劉博士向我展示了大數據核心技術譜系。

從數據生命周期的角度來看,企業的大數據需求有存儲、計算這些比較基礎的需求:希望存儲的數據更多,存儲的數據更加多樣化,不僅是結構化數據,還有圖片、視頻等非結構化數據;計算方面,企業希望能計算得更快,能計算的維度更多。存儲涉及的技術有FS、MQ等,計算方面涉及的技術主要有Spark、Storm、Hive等。除了這些比較基礎的需求,大數據技術更關鍵的在於數據分析能力,這也是大數據與傳統資料庫不一樣的地方。以前的資料庫是為了更好的理解企業業務,進行信息化建設來優化業務流程並沉澱業務數據,是事務型的;大數據的核心在於對已有的數據進行分析和價值挖掘。在數據分析方面,有兩大類技術範疇:一是商業智能,幫助企業建立數據倉庫,進行數據採集和數據治理,通過分析和可視化展現為決策提供支持;二是人工智慧,人工智慧包括自然語言處理、機器學習、自動求解和推理等,通過人工智慧技術來進行數據挖掘,發現數據價值。

從產品和行業角度看百分點的大數據布局

的大數據產業獲得了快速的發展,並取得了可喜的成就。但是,在看到成績的同時,還是要對目前存在的諸多問題有清醒地認知。大體上來說,要進一步推動大數據產業的發展,需要下功夫解決下面四個方面的問題:

  • 大數據應用場景不足。除了目前用的比較多的互聯網營銷,其他方面應用深度較高的場景還比較缺乏。這會影響大數據在商業上的認可度及商業價值的實現。因此,需要進一步發掘大數據豐富的應用場景。

  • 數據意識不足。大數據不僅僅是技術,更是思維觀念的轉變,要推動大數據的普及應用,首先需要增強人們的數據意識,培養數據思維能力和習慣。目前數據意識比較好的有電信和金融,其他行業的數據意識需要加強。

  • 數據本身的積累不夠。大數據應用是建立在豐富的數據基礎之上的,目前很多行業尤其是傳統行業的數據積累不夠,並且數據孤島現象嚴重,各個部分的數據開放和數據融合不足。這方面,政府可以首先進行數據開發,推動數據共享和數據融合。

  • 專業人才缺乏。大數據分析需要大量的專業人才,而目前數據人才缺失嚴重,尤其是既懂技術又懂業務的人才更少。人才的缺乏,將很大的制約大數據在各個領域的應用。所以,大力培養高素質的專業人才,是推動大數據產業發展的當務之急。

正是存在上面的這些問題,才需要各個領域一起努力,推動大數據產業的健康發展。其中,尤其關鍵的是大數據企業,只有通過大數據企業的產品和解決方案,才能將大數據進行產業落地,在服務企業和政府機構的過程中,不斷發現和解決問題。具體表現在:在實踐中豐富大數據的應用場景;進行不斷地市場教育,並提升企業的數據意識;推動企業和機構進行數據積累;在實踐中培養既懂技術也懂業務的優秀大數據人才。

我們以百分點為例,來看看大數據企業如何通過自身技術、產品和解決方案服務,來服務用戶,進而推動整個大數據產業的發展的。

在產品系列方面,百分點擁有七大產品:大數據操作系統BD-OS、數據抓取系統、用戶標識管理系統、文本分析系統、輿情洞察系統、數據洞察系統、個性化推薦系統。值得一提的是,百分點自主開發了一套大數據操作系統BD-OS,該系統是一套管理大數據採集、加工和應用環節所有資源和任務的操作系統,為企業進行全鏈路的大數據管理。BD-OS具有全可視化的操作界面,系統化的數據處理流程,智能化的操作嚮導以及協同化的作業平台,融入了數據流程管理(DPM)的思想,開創了面向數據流程的架構(DPOA)這一方法論。

在大數據分析技術之上,可以針對不同行業和不同場景形成多樣化的大數據應用。以百分點為例,通過其大數據技術能幫助企業實現如下的數據應用:

  • 第一,個性化推薦。基於百分點高併發,高可用的大數據離線與實時計算架構,整合5.5億網民偏好數據,通過跨屏、跨站、跨渠道、跨平台的用戶及商品拉通管理模型,打通用戶全網行為,針對不同行業根據其特點制定行業推薦規則,進而提升行業整體推薦效率。

  • 第二,營銷管家。整合DSP、EDM、SEM、SMS、社交廣告等多種營銷渠道,為廣告主和代理商提供一站式營銷管理的工具。

  • 第三,數據洞察。通過內嵌數據採集方式,獲取用戶在線行為數據,整合業務需求,並提供多維度可視化的報表展現,輔助網站及App運營人員直觀立體的洞察數據。

  • 第四,文本分析。為企業提供情感、熱點、口碑、文本規則等文本分析服務。幫助企業深度識別非結構化文本,快速科學地分析用戶、員工、市場中各類語義信息。

除了上面提到的四類,還有輿情洞察,模型應用等。

另外一個比較重要的是,百分點還針對不同行業提供相應的行業解決方案。據劉博士介紹,目前百分點的優勢領域主要有四個:

  • 融媒體方面,主要是通過大數據技術為傳統媒體和新媒體提供智能采編、智能傳播和個性化推薦等服務。傳統的媒體采編是通過記者收集資料進行整理並形成文章,百分點可以幫助媒體在網上自動抓取內容,並根據需要快速生成主題和內容。比如當一個記者想了解大數據方面的動向,系統能自動搜集網上與大數據相關的內容,並分不同類別生成大量的大數據文章,供采編人員參考。智能傳播方面,百分點能通過大數據服務,幫助媒體選取文章投放的渠道、文章投放的時間節點,來提升傳播效果。並且,百分點的智能傳播系統能幫助企業篩選意見領袖和活躍人群,通過對這些人群的精準投放來最大化傳播效果。

  • 金融方面,百分點在銀行尤其是銀行的互聯網金融方面優勢明顯。目前銀行普遍面臨三大難題:銀行離客戶越來越遠、客戶不斷流失難以挽回、客戶維繫成本不斷攀升。百分點通過用戶實時行為分析、個性化服務和資訊推薦、精準營銷、產品分析與創新、風險防範支持等服務,幫助銀行等金融機構了解其客戶,在此基礎上實現智能運營和智能營銷。

  • 智能製造方面,百分點通過在產品數據、運營數據、價值鏈數據、外部數據、個性化定製數據這五個方面的布局,幫助企業由B2C經營模式向C2B轉變。具體來看,百分點改變傳統製造業的產品設計模式,拉近了生產者和消費者之間的距離;改變企業傳統運維模式,通過智能運維,實現了運維過程變被動為主動;改變傳統製造行業生產服務的模式,為優化產品製造過程提供了有效方法。

  • 政府方面,百分點幫助政府以數據為中心構建政府的各類智能應用系統。百分點基於政府的實踐經驗推出了政府大數據解決方案,基於大數據共享服務平台提供多種服務能力,涵蓋了政府大數據產業規劃頂層設計、大數據標準的諮詢、大數據產業鏈的整合、以及大數據生態的構建在內的各個方面,從政府數據倉庫到大數據存儲與分析平台,形成一個完整的大數據應用支撐體系。目前,百分點的解決方案集中在政府的「四庫」(人口庫、法人庫、地理信息庫、宏觀經濟庫)建設,以及基於「四庫」信息的城市發展洞察、智慧政務決策、安全態勢評估等應用場景上。

除了上面提到的四個領域外,百分點還在汽車、零售等行業都有布局。正是通過產品和解決方案,來將大數據技術落地,為企業和政府機構提供大數據服務,幫助其提升效能。

用大數據幫助企業形成數據決策力

大數據企業提供技術、產品和方案服務,最終的目標是什麼呢?我想大數據最終的目標是幫助企業實現數據決策力和數據化運營,進而推動整個社會的數據化轉型。要幫助企業實現數據決策力,僅僅有數據技術和工具是遠遠不夠的,這需要整個一套完整的方法體系。要幫助企業形成數據決策,必須對什麼數據決策、怎樣實現數據決策這些問題十分清楚。在企業數據決策方面,百分點發布了《數據決策力白皮書》,構建了數據決策力模型。

為了更好幫助企業形成數據決策力,改變以前依據經驗的「四拍」——拍腦袋、拍胸脯、拍大腿、拍屁股決策模式,真正實現依據數據的決策,百分點構建出BASIC決策力模型。在該模型中,要形成企業的數據決策力,需要幾個方面的條件——核心信念(Belief)、架構設計(Architecture)、專業團隊(Staff)、基礎設施(Infrastructure)和機構能力(Capability):

  • 第一,要有基於數據決策的信念。目前大數據技術和應用還不成熟,數據決策還處於初期階段,要改變企業傳統的經驗決策模式,首先需要改變他們的觀念,讓企業管理人員逐步形成數據決策的思維方式。大數據不僅僅是技術,更是一種新的數據思維理念,只有相信數據思維,才能克服現實中的很多困難,將數據決策推向深入。企業要形成數據思維,需要百分點這樣的大數據公司提供相應的諮詢和培訓服務,並進行一定程度的市場教育。

  • 第二,要有相應的組織支撐。企業中應該設立相應的數據部門,專門負責數據採集和管理、數據分析工作,並且數據部門要具有較高的組織規格,才能通過數據來影響企業決策。如果只是將數據部門劃分給技術部,那數據部門就是個單純的成本中心,無法發揮其輔助決策的價值。在企業的組織架構設計和數據部門職責規劃方面,百分點這樣的大數據公司也能提供對應的諮詢服務。

  • 第三,要有專業的人才隊伍。既懂技術又懂業務的綜合性人才,將在數據決策中發揮關鍵作用。企業要招募專業的大數據分析人才隊伍,來為數據決策和數據化運營提供智力支持。綜合性人才是比較缺乏的,比較好的方式是大數據公司的技術人員與各個行業的專家進行配合,將大數據技術與行業知識進行融合。

  • 第四,要有大數據基礎設施。這裡的基礎設施就是數據存儲、管理、分析和應用的系統和工具。這是像百分點這樣的大數據公司發揮作用的地方。這方面百分點在大數據技術、大數據管理、大數據應用三個方面提供全方位的服務,為企業的數據化決策提供系統和工具支撐。百分點通過成熟的大數據技術和管理平台,為企業提供高性能的實時和離線計算能力,以及大量的演算法庫和商業模型,另外其大數據分析引擎(BAE)、個性化推薦引擎(BRE)、自動化營銷引擎(BME)這三個數據引擎也很有特色。

  • 第五,企業通過對數據的應用,逐步實現數據決策能力。數據決策力的形成不是一蹴而就的,需要企業將大數據技術與其業務不斷進行磨合,通過多次的數據決策,來糾正偏差,找出問題並進行優化,最終實現比較好的數據決策流程和數據決策力。

應該指出,這五個方面不是孤立的,而是相互聯繫,共同構成數據決策閉環。比如企業通過多次的數據決策,形成一定的數據決策能力,並在管理實踐中讓數據的價值得到體現,成功的實踐經驗會進一步加強管理者對數據的信心,進而加強基於數據決策的信念。

在每一個數據決策過程中,百分點又總結出了DDD模型,即數據化(Datafy)、發現洞見(Discover)、設計重構(Design)三個環節:首先需要將企業的業務進行充分的數據化;然後基於數據進行分析和挖掘,發現隱藏在數據中的規律和價值;最後根據發現的規律來對企業業務和管理進行優化。

附錄

公司介紹

北京百分點信息科技有限公司成立於2009年,是領先的大數據技術與應用服務商。百分點現有員工500+人,包括2位國家千人計劃入選者。百分點產品線已涵蓋大數據技術層、管理層和應用層,其核心產品包括技術層的大數據操作系統(BD-OS),管理層的用戶畫像標籤管理系統,以及應用層的推薦引擎、分析引擎和營銷引擎。目前,百分點已為近2,000家互聯網及實體企業提供大數據技術平台搭建和大數據驅動的SaaS應用,客戶涵蓋製造、金融、汽車、零售、快消、電商、媒體、政府等行業的龍頭企業。在融資方面,百分點已完成D輪融資,累計融資額7億元人民幣,投資方包括IDG、高瓴、光大證券、浙報傳媒等,創企業級大數據領域融資最高記錄。

人物簡介

劉譯璟,百分點技術副總裁兼首席架構師。北京大學,應用數學專業博士。2015年入選北京市「科技新星」。曾參與多個國家自然科學基金項目,包括:對象封裝和保護的理論和技術研究、Web服務編排與協作的形式化模型、複雜狀態程序和系統的語義模型研究等。作為百分點技術副總裁,帶領核心研發團隊在六年的時間裡完成了百分點推薦引擎(BRE)、百分點分析引擎(BAE)及系列智能應用產品的設計與研發,並負責海外業務部管理工作。

  • 布設資料庫棋局 南大通用一盤多贏

  • 一起聽騰訊雲講API和生態的故事

  • 全面進入雲數據中心 銳捷的雲化之路實實在在

本文由軟體網()原創發布,未經許可,禁止轉載。

報名請點擊「閱讀原文

熱門推薦

本文由 一點資訊 提供 原文連結

一點資訊
寫了5860316篇文章,獲得23269次喜歡
留言回覆
回覆
精彩推薦