目前大數(shù)據平臺的突出問題主要體現(xiàn)在數(shù)據結構、網絡環(huán)境的復雜性以及數(shù)據不準不全、不深不細、數(shù)據應用場景缺失、數(shù)據標準不一致等方面。針對上述問題,北大軟件自主研發(fā)了以大數(shù)據采集、融合和治理為主的數(shù)據資源管理平臺——數(shù)博數(shù)據治理平臺。 數(shù)博數(shù)據治理平臺 數(shù)博數(shù)據治理平臺采用主流的分布式存儲、大規(guī)模并行計算和統(tǒng)計學習技術,支持流計算和批處理等數(shù)據處理方式,滿足政府多源異構數(shù)據的采集、基于動態(tài)本體的數(shù)據融合、大規(guī)模數(shù)據資源的存儲組織等需要,同時支持數(shù)據資源應用和數(shù)據資源運營等多種應用場景,可根據用戶的需求量身定制。 在數(shù)據采集方面:平臺主要在多源異構數(shù)據采集的融入、分布式存儲和分布式計算等技術方面有針對性地進行加強,在1個月內有效實現(xiàn)了130多家單位250多個業(yè)務系統(tǒng)的互聯(lián)互通,完成了近2萬個數(shù)據集,2.2億條信息的匯聚存儲。通過制定88套清洗融合分析模型,對原始數(shù)據進行清洗融合,形成涵蓋多業(yè)務領域的各種主題資源庫。 在數(shù)據存儲組織方面:平臺構建數(shù)據隔離層、脫敏層、共享層、監(jiān)管層,有效實現(xiàn)數(shù)據資源在采、存、管、用過程中分級授權、脫敏共享、水印追溯和顆粒化定制等狀態(tài)中的全面保護,保障數(shù)據安全運行。 在數(shù)據應用建設方面:基于平臺提供的數(shù)據監(jiān)控、畫像和檢索等基礎工具,可構建業(yè)務圖譜、領域圖譜,實現(xiàn)管理對象和業(yè)務主體的全息畫像,通過基于自然語言處理技術的智能檢索,有效降低信息獲取的門檻和難度,為業(yè)務智能化、決策輔助、趨勢洞察等提供了大數(shù)據增值服務。 數(shù)博數(shù)據治理平臺自2018年在某部委上線以來,先后構建了數(shù)據中心、調度中心、調度大廳和數(shù)據服務大廳。重點解決元數(shù)據不準不全、主題數(shù)據結構不合理和應用場景缺失、數(shù)據共享流通不暢和供需信息不對稱等建設過程中的阻礙性難題。某部委順利實現(xiàn)內外數(shù)據資源的有效匯聚、開放共享和集中管控,提升數(shù)據資源服務的水平與效能。 結語 數(shù)據治理不是一個臨時性的行為,而是一項基礎性的工作,需要從戰(zhàn)略上落實,從上到下進行推動,進而使數(shù)據創(chuàng)造更多價值。下一步,北大軟件將以數(shù)據安全為基石,提供高附加值數(shù)據服務,持續(xù)打造具有定制化特色的數(shù)據治理平臺,為數(shù)據建設保駕護航,構筑穩(wěn)定之基。 |
|