大數據在軍事應用中的巨大收益

根據SNS研究部門的一項新報告《大數據市場：2017 - 2030年 - 機遇、挑戰、戰略、行業縱向和預測》，大數據解決方案的投資預計將在未來四年內以約10％的年均複合增長率增長，大數據投資將在2017年將達到570億美元，到2020年底達到760億美元。

隨著來自移動設備、網路、社交媒體、感測器、日誌文件和交易應用等實時數據的激增，大數據應用已經找到了一種向現代戰爭提供豐富多樣的關鍵任務數據的方法。

企業採用數據挖掘技術的大數據解決方案正在被軍方採用，從無人機、自動化網路安全系統、恐怖分子資料庫和其他來源收集的許多不同類型的數據中獲取更多的信息。該技術不僅可以幫助戰場上的戰士，還可以用於改進從軟體開發到裝備維護的各種領域。

大數據市場規模

根據SNS研究部門的一項新報告《大數據市場：2017 - 2030年 - 機遇、挑戰、戰略、垂直行業和預測》顯示，大數據解決方案的投資預計將在未來四年內以約10％的年均複合增長率增長，大數據投資在2017年將超過570億美元，到2020年底達到760億美元。

該報告還指出，將近三分之一（30％）的大數據工作將通過雲服務進行處理。

大數據投資

大數據技術包括分散式計算系統、分散式文件系統、大規模并行處理（MPP）系統和基於網格計算的數據挖掘等。美國國防部在2017財年預算中要求投資「大機制」，致力於生物學、賽博、經濟學、社會科學和軍事情報的計算智能自動化。根據預算，DARPA預計其與大數據相關的計劃投資將從2015年的約2.16億美元上升至2017財年的近2.69億美元，計劃增長24.5％。

2014年，美國國防預先研究計劃局（DARPA）宣布了一個名為「信息挖掘與理解型軟體開發」（MUSE）項目。該項目尋求將軟體開發的常規方法與機器學習的基本理念用於一個不斷發展壯大的開源軟體庫，以期通過這種方式對當前編寫與維護軟體的方式進行徹底地反思，最終提高軍用軟體的質量。DARPA希望通過MUSE項目開發能夠管理信息的「大代碼」軟體包，它不會在大數據集的重壓下變形或崩潰，該項目針對的大數據，是2012年歐巴馬政府宣布的技術計劃核心。

各種五角大樓的大數據倡議包括國防威脅降低局（DTRA）對危險病原體的跟蹤研究、DARPA直接領導的針對癌細胞進行的衛生數據挖掘，DTRA基於數據挖掘和專利分析的組合（用以跟蹤可能改變未來軍事裝備及規劃的「顛覆性技術」，以及追蹤大規模殺傷性武器的擴散）。

大數據工具與技術

1.Apache 面向對象數據技術，Apache OODT (Object Oriented Data Technology)：該項目始於1998年美國國家航空和宇航局的噴氣機推力研究室，它使用結構化的基於XML的捕獲處理流水線，非程序員可以理解和修改，以創建、編輯、管理和配置工作流和任務執行。

Apache OODT (Object Oriented Data Technology)

OODT還允許在可擴展的計算基礎設施上遠程執行作業，以便使用雲計算和高性能計算環境，將計算和數據密集型處理集成到OODT的數據處理流水線中。

Apache OODT正在NASA的地球科學、行星科學和天文學的許多科學數據系統項目中使用，例如月球測繪和建模項目（LMMP）、NPOESS預備項目（NPP）Sounder PEATE Testbed、軌道碳觀測站- 2（OCO-2）項目，以及土壤水分主動被動任務試驗台。此外，OODT還用於DARPA MEMEX和XDATA兩個項目的大規模數據管理和數據準備任務。

OODT的主要特色有：

• 對分散式資源的透明訪問

• 數據探知與查詢優化

• 分散式處理與虛擬檔案

2.Apache Bahir：提供對分散式分析平台（如 Apache Spark 和 Apache Flink ）的擴展。Apache Bahir 最初是從 Apache Spark 項目中提取的，現已經作為一個獨立的項目提供，以提供不限於 Spark 相關的擴展/插件、連接器和其他可插入組件的實現。通過提供多樣化的流連接器（streaming connectors）和 SQL 數據源擴展分析平台的覆蓋面。它為大數據處理提供支持，並為其他相關的分散式系統、存儲和查詢執行系統提供附加擴展/插件。

3.基於條件的維護（CBM）：美國空軍官員、數據科學家和其他人員正在利用先進的數據處理和分析工具，包括軟體和硬體解決方案，簡化工作流程，提高效率和生產力，跟蹤和管理資產，並使用基於條件的維護（CBM）取代計劃/時間維護 ，如此一年可節省150萬美元。

具體來說，空軍官員選擇使用Teradata Aster平台更好地管理航線維護和飛機庫數據、庫存。

4.Hadoop軟體：一款支持數據密集型分散式應用程序並以Apache 2.0許可協議發布的開源軟體框架。它支持在商品硬體構建的大型集群上運行的應用程序。Hadoop是根據谷歌公司發表的MapReduce和Google文件系統的論文自行實現而成。

Hadoop框架透明地為應用提供可靠性和數據移動。它實現了名為MapReduce的編程範式：應用程序被分區成許多小部分，而每個部分都能在集群中的任意節點上運行或重新運行。此外，Hadoop還提供了分散式文件系統，用以存儲所有計算節點的數據，這為整個集群帶來了非常高的帶寬。MapReduce和分散式文件系統的設計，使得整個框架能夠自動處理節點故障。它使應用程序與成千上萬的獨立計算的電腦和PB級的數據。現在普遍認為整個Apache Hadoop「平台」包括Hadoop內核、MapReduce、Hadoop分散式文件系統（HDFS）以及一些相關項目，有Apache Hive和Apache HBase等等。

5.組織關係和聯絡分析儀（ORCA）：該軟體由美國軍事學院開發，最初是用于軍事行動來確定叛亂分子網路，目前正在美國國內使用。美國軍方將利用國內測試作為未來戰時應用軟體供應的一種方法，同時也可為警察系統提供一種寶貴的免費工具，最終可以實現在美國國內更廣泛的部署。

6.Tableau：Tableau為大數據時代找到事半功倍的解決方法，它結合了數據挖掘和數據可視化的長處，使用者可以在電腦、平板等多種行動工具上透過最簡單的拖曳、釋放完成原先複雜的分析程序，強大的視覺化互動界面，讓用戶可以隨心所欲的定製想要的圖表呈現方式，或透過儀錶板（Dashboard）的功能多方監控，在安全的管理構架下在企業內部分享。

7.D3.js：D3 的全稱是（Data-Driven Documents），顧名思義可以知道是一個被數據驅動的文檔。聽名字有點抽象，說簡單一點，其實就是一個 JavaScript 的函數庫，使用它主要是用來做數據可視化的。JavaScript 文件的後綴名通常為 .js，故 D3 也常使用 D3.js 稱呼。D3 提供了各種簡單易用的函數，大大簡化了 JavaScript 操作數據的難度。由於它本質上是 JavaScript ，所以用 JavaScript 也是可以實現所有功能的，但它能大大減小你的工作量，尤其是在數據可視化方面，D3 已經將生成可視化的複雜步驟精簡到了幾個簡單的函數，你只需要輸入幾個簡單的數據，就能夠轉換為各種絢麗的圖形。

8.Power BI：Power BI 是一套業務分析工具，用於在組織中提供見解。可連接數百個數據源、簡化數據準備並提供專門分析。生成美觀的報表並進行發布，供組織在 Web 和移動設備上使用。每個人都可創建個性化儀錶板，獲取針對其業務的全方位獨特見解。在企業內實現擴展，內置管理和安全性。它允許開發人員以非常精確的方式創建可視化和顯示數據，這樣就不會在其他BI工具中找到此類工具。它可以用最少的努力和使用現有的技能來完成。Power BI桌面有各種各樣的標準可視化，其中包括人們通常需要的一系列報告。這些插圖基本上可以通過Power BI桌面或Power BI產品創建。然而，總是有各種各樣的圖形、圖表或表格需要得到特定的期望結果的條件。這些類型的定製可以是內部開發或開發人員可以檢索其他定製的可視化視覺畫廊。

9.R語言：R語言是一種自由軟體編程語言與操作環境，主要用於統計分析、繪圖、數據挖掘。R本來是由來自紐西蘭奧克蘭大學的羅斯·伊哈卡和羅伯特·杰特曼開發（也因此稱為R），現在由「R開發核心團隊」負責開發。R基於S語言的一個GNU計劃項目，所以也可以當作S語言的一種實現，通常用S語言編寫的代碼都可以不作修改的在R環境下運行。R的語法是來自Scheme。

R的源代碼可自由下載使用，亦有已編譯的可執行文件版本可以下載，可在多種平台下運行，包括UNIX（也包括FreeBSD和Linux）、Windows和MacOS。R主要是以命令行操作，同時有人開發了幾種圖形用戶界面。

國防大數據的未來趨勢

據美國國防部導彈防禦局大數據解決方案架構師John Murphy（將於6月26日在2017年全球國防大數據峰會上發表演講）介紹，未來國防大數據將體現以下幾個趨勢：

1、大數據VS關係數據：每個使用案例或業務案例都需要了解它從何、為何發起。但這種趨勢與傳統的關係數據結構及其支持的基礎設施和面向通用大數據結構的趨勢不同。

2、防止數據丟失的數據管理問題：「大數據」需要應用更多傳統的數據成熟度和驗證過程，以確保最好的數據價值能夠實現。

3、數據沼澤V數據湖：出現大數據的兩種方法。

更快速的部署和迭代周期幾乎只專註於使用數據和信息「原樣」，用於更為原始和儘可能接近原始數據源的分析。由此產生的數據集趨向於更多的「數據沼澤」環境，對採集、質量和維護的規則很少。

第二種方法具有更傳統的數據管理實踐，注重標準化、清洗、可審計性要素，一致性和全過程管理。

大數據分析公司

高級系統概念公司（ASCI）

ActiveBatch

通過簡化Hadoop組件在IT基礎設施中的集成，ActiveBatch 11將數據實時搜集到最終用戶手中，使之能夠做出更好的業務決策。

Hadoop的ActiveBatch擴展提供：

- Hadoop生態系統組件的生產就緒內容，包括HDFS、Hive、MapReduce、Spark、HBase、Pig、Sqoop、Oozie等。通過訪問預先測試的預構建代碼，簡化了工作流和工作負載的創建，使IT部門能夠在較短時間內構建和自動化端到端工作流程。

- HDFS事件觸發器將高級事件驅動自動化的強大功能帶入大數據，通過將最新數據更快地收錄在最終用戶手中，從而縮短分析觀察的時間。

- 能夠充分利用ActiveBatch的高級調度和自動化功能，包括創建可重複使用的可定製模板。現在可以工作步驟保存以備將來使用，使其他開發人員可以輕鬆地重複使用和重新使用內容，提高可管理性並減少腳本編寫的時間。

Kyvos

OLAP

正在申請專利的Hadoop解決方案OLAP包括企業級功能，以提高分析人員對數據湖的訪問，高級安全性支持，改進的性能和可擴展性，以及與其他BI工具的集成。Kyvos允許公司直接在Hadoop上構建BI消費層，使分析人員可以轉換其現有的BI工具。BI消費層還使分析師能夠在整個企業的大數據規模下即時、互動地進行多維分析訪問，無需學習曲線或編程。

Modus Operandi

BLADE

美國海軍陸戰隊正在測試Modus Operandi的BLADE技術。該產品從COP（從大量數據收集、關聯和理解為一個單一的圖像，創建一個常見的操作圖片），從原始數據輸入生成語義wiki。例如，如果一名士兵發現有關涉嫌炸彈的一些有關人員信息，他可以用新的信息更新COP。此外，該人的維基頁面以及任何其他相關的頁面將和這個炸彈信息都被更新。

Teradata

Aster Analytics

Aster Analytics允許SQL開發人員使用他們所熟悉的SQL來訪問他們將用於探索數據的高級分析技術。Aster分析函數的示例包括複雜多步驟問題的SQL-MapReduce計算; 用於圖形分析的SQL-GR，用於破譯人和事物的相互關係; 還有nPath，它為分析和優化客戶瀏覽在線網站的問題提供路徑分析。

ITT Exelis地理空間系統分部戰場內情報軟體解決方案它處理來自機載（例如無人機）感測器系統的圖像和全動態視頻，該感測器系統監測並執行諸如城市地區等廣域監視。如果發生爆炸事件，這些監控信息會被錄入，用戶可以立即通知用戶，並可以訪問數據。 ATC創新實驗室A4CLOUD項目A4CLOUD的主要目標是在歐盟一般數據保護法規（GDPR）出台之前制定雲服務提供生態系統問責制的「先進」方法，該規則將於2019年生效。其重點是雲計算和其他未來互聯網服務的問責制有效管理和控制雲端IT服務處理的企業和私人數據的最重要的先決條件。A4Cloud項目將通過設計方法和工具來增加對雲計算的信任，通過該方法和工具，雲的利益相關者可以對雲中保存的信息的隱私和機密性負責。這些方法和工具將結合風險分析、政策執行、監督和合規審計。它們將為雲活動的治理做出貢獻，提供透明度和協助法律，

大型分析公司

大數據分析平台

去年與英國國防科技實驗室國防工業中心（CDE）合作。

在部署過程中，英國國防部將利用該系統將來自靜態和動態資源的監視數據集合起來，通過互動式儀錶板顯示。儀錶板將能夠提供有助於提前識別威脅的洞察力，並可用於規劃不同的場景。

如何加入學會

註冊學會會員：

個人會員：

（c2_china），回復「個人會員」獲取入會申請表，按要求填寫申請表即可，如有問題，可在公眾號內進行留言。通過學會審核後方可在線進行支付寶繳納會費。

單位會員：

（c2_china），回復「單位會員」獲取入會申請表，按要求填寫申請表即可，如有問題，可在公眾號內進行留言。通過學會審核後方可繳納會費。

學會近期活動

1. CICC企業會員交流會

會議時間：（具體時間詳見後續通知）

2.2017首屆全國兵棋推演大賽

2017年6月

3.第五屆指揮控制大會

2017年7月3-5日

4.第三屆軍民融合技術裝備博覽會

2017年7月3-5日

長按下方學會二維碼，關注學會微信

感謝關注