大數據技術在商業銀行中的應用

近日，人民銀行成立金融科技（FinTech）委員會，旨在加強金融科技工作的研究規劃和統籌協調。隨著金融科技在業務層面滲透率的逐步提升，大數據技術在金融機構中的應用日益廣闊，對於商業銀行如何在金融科技時代使用、提取、管理好大數據的討論也更加深入。

20世紀以來，信息技術在金融業的中大量廣泛使用，使其累積了體量龐大的數據和信息，金融機構當中存儲著數億萬計的數據，這種情況迫使金融機構必須要考慮如何將這些數據轉換為可以創造實際價值的內容，為企業儘可能多的創造利潤。然而，這些數據並不是為了分析目的而專門生產，僅僅是隨商業活動產生，儘管數量龐大，但難於直接產生價值，因此需要藉助大數據挖掘技術進行深度挖掘，使之成為有價值的信息。隨著數據收集能力逐步提高，金融企業將形成時間連續、動態變化的面板數據，其中不僅包括用戶的交易數據，也包括用戶的行為數據。簡單的數據搜集和歸併對金融企業來說不足以有效利用這些數據，只有對其進行深度挖掘，才可以發現其中的隱性信息並利用其為客戶提供更加優質的金融產品和服務。如何對多源數據實現快速高效的海量數據處理？如何應對互聯網金融產生的碎片化數據、快速響應需求引發的風險問題？如何充分利用數據分析、挖掘來獲取更大的經濟效益？是金融企業在進行大數據分析時面對的幾大挑戰。

互聯網的發展催生了大數據技術的誕生。在21世紀初，全球網頁內容大規模增長，網頁內容每日增長速度超百萬。截止2001年末，全世界網頁個數達50億個[1]，互聯網用戶檢索有用信息的難度越來越大。谷歌（GOOGLE）等擁有較高搜索引擎技術的公司開始建立搜索系統，其內容覆蓋數十億網頁，提高了人們對互聯網內容的使用效率，大數據技術由此誕生。由於網頁內容當中需要處理的數據包含大量的非結構化內容，傳統的搜索技術無法完成檢索。谷歌公司提出了以「分散式」為基礎的存儲和檢索系統，包括分散式文件、分散式并行計算和分散式資料庫等系統，實現了非結構化據的檢索，並奠定了大數據技術的基礎。伴隨著互聯網產業的崛起，這種創新的海量數據處理技術在電子商務、定向廣告、智能推薦、社交網路等方面得到應用，取得巨大的商業成功。這啟發全社會開始重新審視數據的巨大價值，金融、電信等擁有大量數據的行業也開始嘗試這種新的理念和技術，取得初步成效。與此同時，業界也在不斷對谷歌提出的技術體系進行擴展，使之能在更多的場景下使用。2011 年，麥肯錫、世界經濟論壇等知名機構對這種數據驅動的創新進行了研究總結，隨即興起了一股大數據熱潮。

雖然大數據已經成為全社會熱議的話題，但到目前為止，「大數據」尚無公認的統一定義。筆者認為，認識大數據，要把握「資源、技術、應用」三個層次。大數據是具有體量大、結構多樣、時效強等特徵的數據；處理大數據需採用新型計算架構和智能演算法等新技術；大數據的應用強調以新的理念應用於輔助決策、發現新的知識，更強調在線閉環的業務流程優化。因此說，大數據不僅「大」，而且「新」，是新資源、新工具和新應用的綜合體。

現代金融機構當中，數據資產成為其區別於傳統金融機構的最大生產要素之一。對於數據資產的管理、運用、挖掘，成為現代銀行業加快創新、增強管理能力等業務的最重要工作。大數據挖掘分析決策的主要流程見下圖1。銀行業海量的數據內容，需要從「數據清理/整合——>數據倉庫——>數據選擇——>數據挖掘——>模式評價——>知識」多次的循環反覆，才有可能達到預期的效果。

銀行業監管機構對於數據管理和監測的要求也在不斷提高，在《金融業「十三五」信息化建設規劃》[2]中，「加快銀行信息資源的集中，實現數據視圖在全行範圍的共享，充分利用數據倉庫和數據挖掘技術，實現資產負債管理、財務績效管理、風險管理和客戶關係管理等主題應用，建立面向主題、面向市場、面向決策、滿足內部管理及外部政策要求的銀行管理信息系統建設」。《銀行業信息科技「十三五」發展規劃監管指導意見》中又進一步指出，「大中型銀行要把數據治理作為重要的制度性建設與基礎性工作，加強組織保障、制度保障與流程保障，有序推進、重點強化；統一數據標準，提高數據質量，深化數據應用，有效支撐銀行業務發展，有效提升銀行管理水平[3]。」 「十二五」末期，大部分銀行均開始著力解決數據質量較差的問題，開始加強數據管理、管控，提高數據信息質量，採用數據挖掘和大數據技術深層利用、提煉數據以提升經營管控效能。

大數據技術的產生本身就有其強烈的應用需求背景，它從一開始就是面嚮應用的。數據挖掘技術在決策支持方面有著廣泛的市場前景，並可用於業務管理方應用，是實現CRM和BI的重要技術手段之一。具體涉及商業化應用的有數據挖掘技術中的資料庫營銷（Database Marketing）、客戶群體劃分（CustomerSegmentation & Classification）、背景分析（ProfileAnalysis）、交叉銷售（Cross-selling）等市場分析行為，以及客戶流失分析(Churn Analysis)、客戶信用評分(Credit Scoring)、甄別 (Fraud Detection)等應用手段。目前，諸多商業領域（銀行、保險、證券、超級市場、電信等）均有大數據技術成功應用的案例。在金融機構中，由於其提供多儲蓄、投資和信用卡業務之外，保險、股票、基金投資等也是其重要業務。因此，大數據技術和數據挖掘技術在金融業中的主要運用有：1.數據分析和設計構造的數據倉庫；2.特徵數據變數選擇、關聯屬性相關數據用於預測客戶信用狀況；3.聚類、分類分析識別目標客戶和市場；4.數據可視化過程及歸併、聚類分析甄別洗錢等金融犯罪行為。

將大數據技術應用於金融業不僅是技術發展的需要，也是金融業提高自身盈利能力的需要。在當前「以客戶為中心、以市場為導向」的激烈競爭時代，在各大金融機構準備「二次轉型」的改革進程中，要想提高核心競爭能力、防範業務風險、提高業務分析數據的時效性及準確性，就必須懂得如何利用現代管理信息系統進行綜合分析，挖掘客戶的潛在價值，利用有價值的信息改進服務手段，運用數據挖掘技術實現職能化的決策支持功能管理。一直以來，金融行業對數據的重視程度非常高。隨著移動互聯網發展，各種金融業務和服務的多樣化和金融市場的整體規模擴大。對於大數據帶來的主要業務價值，參加調研的金融企業表示，大數據的價值是他們可以根據商業分析實現更加智能的業務決策，讓決策的制定更加理性化和有根據。依靠有前瞻性的決策，實現生產過程中資源更優化的分配，能夠根據市場變化迅速做出調整，提高用戶體驗以及資金周轉率，從而獲取更高的利潤。

（一）大數據時代下銀行的精準營銷

按照單個客戶個性化的營銷方案和溝服務體系，金融機構依照信息化技術手段可以建立起精確的營銷方案以實現對個人客戶的精準營銷（Precision Marketing）。這種建立在精準定位基礎之上的營銷活動，包含著對個體的關注和差異化的認同，可以最大限度地攤平企業的成本。精準營銷對於每一位金融客戶的的興趣、愛好、購買能力均可以做出預測和判斷，根據綜合化的評分向顧客推薦金融服務及產品，以保障推薦產品在其財力範圍和興趣半徑之內。精準營銷的基本理念如圖2所示：

傳統銀行業當中，認識產品、產生興趣、付款購買三個環節是金融消費者在購買過程當中必然出現的環節。由於在認知產品的過程當中，消費者會通過網路、私人渠道進行檢索，對產品信息、類別進行了解以確定其購買信息，在此過程當中產生的搜索數據便可以定位消費者的收入水平、興趣和愛好，企業藉助分散式存儲和雲計算深度挖掘這一系列關於該類消費者的信息，形成完整的客戶關係系統（CRM系統），從而設計出各種序列的營銷方案，推送給消費者，實現精準化營銷[5]。

（二）大數據時代下銀行的精細化管理

大宗交易數據是傳統銀行最為重視的業務內容，由於受制於銀行較弱的數據處理能力，體量龐大、細節更多的精細化交易數據無法得到有效處理。例如，傳統銀行經營模式之下，商業銀行僅能記錄每次的銀行卡消費信息，卻無法實現實時的消費信息反饋，歸集整理；在存款、貸款風險管控過程當中，銀行也對於對小額貸款實施有效的風險管控。一般的商業銀行在記錄了客戶消費和挑選產品的數據后，亦沒有利用好這些並不是為商業銀行經營活動（風控、催收）而產生的數據。顧客的每筆投資和消費都被記錄分析之後，運用數據挖掘技術將產生信息化決策，有助於提升用戶體驗，精細化管理水平將不斷提高。

（三）大數據時代銀行的低成本管理

傳統銀行業中的信息數據是手工化產生的，容易產生錯誤。特別是在信貸活動過程當中，對於銀行客戶信息在記錄過程中產生的錯誤將會給銀行經營的有效性造成損失，這種傳統的手工信息處理方式效率低下、準確度差、成本高。在商業銀行的貸款業務當中，銀行需要對客戶的個人信息、財務狀況和抵押品等內容進行盡職調查，信息獲取的成本較高。但在大數據時代，商業銀行對客戶信息的採錄過程完全自動，通過客戶自填、自報，收錄客戶的個人信息，從而更加精確地了解到客戶的實際情況，降低人工處理成本，提高辦事效率。對於個體、小微層面的關注將有效解決長期以來困擾企業的「小微融資難」問題。

（四）大數據時代的集中化管理

商業銀行的傳統業務模式當中，跨地區、跨國經營成本極高，商業銀行不僅要承擔開設實體機構的成本，還要承擔與代理行之間產生的摩擦經營成本。在大數據技術的幫助之下，商業銀行總部機構將可以更加便捷地獲取更多有價值的信息，不僅局限於當地的分支機構，跨越了地域、時空限制。對各個條線的集約化管理，使得銀行總部的經營權利更加集中，分支行的執行功能將被強化，銀行管理職責、風控策略將被集中於總行層面，有助於進一步提高機構總體執行力，避免上傳下達過程當中的摩擦成本[6]。

經濟社會的三個重要組成要素：產品、信息、資金滲透於互聯網時代的諸多環節，互聯網時代的激烈競爭當中，電商、銀行、物流三大類別企業代表著三種要素的重要佔有者，三者都希望成為主宰著三種要素的利益獲得者。雖然在互聯網技術、平台層面商業銀行有所落後，但從長期發展趨勢來看，商業銀行具有重要的優勢同時也存在著諸多困難，主要包括以下幾個方面：

（一）商業銀行的信息與人才優勢

商業銀行不僅掌握著大量資金，而且在信息搜集方面也擁有獨特優勢，不管是甄別優、劣客戶進行授信貸款，還是金融服務用戶交易活動留下的交易痕迹都是其重要數據資產。尤其是商業銀行的信息化建設也居於各行業前列，信息處理與建設已經根植入商業銀行的「思維」。商業銀行不僅有信息化建設的意願，而且具備建設優質信息化系統的條件。特是在2000年之後，的商業銀行提出建立數據集市的思路。各大商業銀行紛紛建立了數據中心和備份中心，提高了數據的存儲利用效率和風險防控能力。另外，由於在貸款和金融業務開辦之前，各自然人都需要在商業銀行開戶並填寫個人基本信息，社會上的資金划轉要以商業銀行為媒介，因此商業銀行有著廣泛的渠道獲取客戶信息和資金流信息，同時POS機和ATM也可以獲取個人的消費信息。多年的積累，使商業銀行已形成海量的信息資料庫，其結構化程度優於電商等企業。

的商業銀行均設有科技開發中心、數據測試和收集中心以便於商業銀行開發擁有自主知識產權的個性化業務、功能。在二十世紀初提出的建立數據集中項目過程當中，商業銀行累積了大量建設複雜數據信息系統的經驗，涉及軟體開發、數據倉儲等具體實操項目，這些項目鍛煉了商業銀行的科技開發隊伍，為商業銀行積累了許多軟體開發、管理人才。金融人才和信息科技人才的結合是商業銀行構建有效物流、信息流的重要基礎保障。

（二）商業銀行的資金與制度優勢

商業銀行的利潤率普遍較高，近幾年來的業績增長較快，許多商業銀行的盈利能力開始超過國外商業銀行。因此，商業銀行內部擁有充足的資金，有利於商業銀行建立大規模的資金、物流、信息流操作系統。資金優勢使商業銀行在構建三網融合過程當中可以建立先進的數據操作系統、存儲系統和計算系統，有利於大數據技術和發展和應用。

的商業銀行一方面自負盈虧，另一方面與政策存在著千絲萬縷的聯繫。的商業銀行牌照較難獲得，電商和物流商的資格相對都比較簡單。大型商業銀行已基本實現集團化經營，全國十五家上市銀行資產佔到商業銀行總資產的60%以上，其經營管理經驗、理念、方式、方法都強於電商和物流企業，容易形成跨界、跨區域經營。

（二）商業銀行大數據應用的難題

在利用大數據幫助商業銀行進行問題解決的同時，信貸客戶個人信息保護、隱私保護的邊際在哪裡，客戶的哪些數據可以收集，可以通過什麼樣的方式收集？個人數據是不是可以全部收集，收集在一起引起的副作用也要考慮。例如：美國有法律規範禁止教育部門的數據就移民局數據聯通，移民局不得利用教育部門數據來查獲非法移民，目的是為了防止這些移民由於害怕移民局而不將兒童送去上學，如果存在大量的失學青年可能會對美國社會的安定和未來不利。

哪些數據可以搜集收集？是否可以追蹤公司高管個人的信息？這些問題均涉及到道德與法律層次的重要問題。數據資產的合理利用也需規範，數據結果能用於哪些方面，是否會違背非歧視原則？在證券交易與商業銀行數據應用過程中必然涉及到方方面面的內容亟待解決。另外更大規模的數字化對於資本市場、信貸市場的的長遠影響究竟如何？對各種參與者都是公平的嗎？對於商業銀行的存在本質是有益的嗎？

以上種種問題，只是冰山一角，大數據對社會、對金融、對個人的影響還需細緻分析和推演，需制定在金融領域的數據收集、數據分析和利用規則，制定底線。

商業銀行應當繼續使用大數據和數據挖掘技術及時、準確、全面地掌握自身資產質量、數量及分佈、頭寸調度、信貸情況，提供給客戶安全、可靠及強有力的技術支撐。數據倉庫、大數據、數據集市通過深度挖掘可以獲得「深度效益」；同時，大數據技術還搜集了大量的商戶、用戶資料，可以為開發新的產品、業務及綜合化服務，讓銀行在不同的平台、層面上為用戶提供異質化業務變得更加容易，而且為商業銀行的經營管理決策提供了支持與依據，讓商業銀行可以隨時根據與自已有歷史經驗往來的商戶數據信息推斷出客戶的信用狀況，有助於銀行風險的防範。

隨著各種新技術的發展，大數據與數據挖掘技術也隨研究的深入而不斷進步，以後將更加便捷、有效地應用於未來的實踐當中去，結合新的理論、技術和模型評價方法，以增加數據挖掘的有效性，進一步提高數據分析工具的實用性。數據挖掘在未來商業銀行中的研究焦點和需要進一步開展的工作在於以下幾個方面。

（一）完善商業銀行信息系統總體架構設計

傳統商業銀行的數據應用信息系統搜集與保存系統在大數據應用環境背景下仍需進一步完善與，本文根據商業銀行大數據的業務基本需求和監部部門的監管要求，結合金融機構當前的實際情況，採用企業級分層架構思想，構建出如圖3所示的金融機構大數據信息系統體系架構圖：

該大數據系統體系結構的特點包括：①層次化清晰。系統共分為應用層、服務層、網路層和數據層，在系統體系結構中，每層將具有相同服務功能的部分封裝在一起，相鄰層之間調用服務；②在傳統三層網路體系結構的基礎上，該體系結構加入了網路層，通過金融機構專用網路將服務層和數據層相連接，並設置了防火牆，充分保證金融機構業務數據的安全性；③各個商業金融機構可以通過金融機構專用網路共享資料庫信息，同時各監管部門與業務條線可以實時查看銀行經營業務數據，提高業務開展效率與監管可行性。

（二）加強數據挖掘應用系統和演算法測試的研究

不斷重視數據挖掘技術的實際應用。儘管國內關於大數據技術和數據挖掘理論對演算法模型的研究較多，但實際應用案例和演算法應用改進案例卻比較少，缺乏可以借鑒的經驗數據。如何引入國外的先進經驗、技術，改進演算法的性能並進行有效性測試，檢驗演算法合理性和功能系統的穩定性？結合多種數據挖掘演算法實現，提高數據挖掘的效率和技術功效仍是亟待解決的問題。

（三）加強傳統數據與非結構化數據挖掘過程中的可視化方法的研究

加強人機交互，可以把用戶需要解決的問題方便地轉化為數據挖掘技術人員能夠理解並解決的問題，然後將結果以更直接的表現形式被用戶理解。完善解釋機制，將各種演算法的研究趨向於簡單化和易於理解。

從多媒體資料庫中發現有意義的模式，包括對文本數據、圖形數據、音頻數據以及超文本數據的挖掘等。基於內容的檢索和相似度搜索、概化和多維分析、分類和預測分析對複雜數據進行挖掘，使數據挖掘技術發展的整體趨勢由處理簡單的挖掘問題逐步到解決複雜的挖掘問題。

（四）加強對數據挖掘結果的有效性的研究

用科學的方法加以評估。目前許多演算法所花費的時間很短，但其挖掘結果的數據卻遠遠超出了可理解的範圍。隨著信息技術的高速發展，今後的演算法研究需要集中在挖掘結果的有效性上，便於用戶快速得到自己所需要的、有價值的信息。包括對演算法的動態維護、基於約束的挖掘演算法和提高演算法的可伸縮性等都將是主要的研究方向。

[1]薛冬輝,大數據時代下的物流、信息流、資金流融合——基於商業銀行視角[J].物流技術,2014(1)

[2]工商銀行.大數據時代下的三流融合——基於商業銀行的視角[R].銀行業研究,2013(8).

[3]《金融業「十三五」 信息化建設規劃》

[4]《銀行業信息科技「十三五」發展規劃監管指導意見》

[5]工信部電信研究院大數據白皮書（2015年）

[6]工信部電信研究院大數據白皮書（2015年）

WeMedia聯盟成員，已入駐今日頭條、搜狐、網易、鳳凰、騰訊、新浪、、雪球、搜狐等客戶端