東北大學破解大數據分析難題

日前在東北大學獲悉，由該校教授王國仁牽頭研發的項目「海量異構數據集成管理與分析技術及應用」，成功破解大數據集成質量、管理效率和分析可伸縮性等關鍵難題，實現對異構大數據的集成、管理、分析，將對「數字水資源」「數字醫療」和「數字國土資源」等領域海量異構數據集成管理與分析發揮不可替代的重要作用。

據介紹，大數據處理過程中的海量數據已遠遠超出了人們掌握和理解數據的能力。特別是異構數據，由於缺乏統一的格式與規範，在各部門和各軟體系統中的流動與共享困難重重。針對這些難題，王國仁帶領研究團隊開展攻關，從模式匹配、數據清洗、數據管理和數據分析等關鍵技術切入，成功設計出一套基於人機交互的數據集成體系。與當前國際上最先進的數據清洗系統相比，該系統數據集成質量提升10%以上，集成方法的可用性居世界領先水平，與國際通用的系統相比，數據管理效率提升50%以上，並在國際上率先提出了面向大數據的分散式極限學習機數據分析技術。該系統的平台可伸縮性、數據可伸縮性、隱層節點可伸縮性、數據標註可伸縮性最高提升近20倍。