導讀:本文將闡述:為什么要建設數(shù)據(jù)中臺,什么是數(shù)據(jù)中臺,數(shù)據(jù)中臺具備什么樣的能力。采用什么技術來實現(xiàn) 一、為什么要建設數(shù)據(jù)中臺 因為在當今互聯(lián)網(wǎng)時代,用戶才是商業(yè)戰(zhàn)場的中心,為了快速響應用戶的需求,借助平臺化的力量可以事半功倍。不斷快速響應、探索、挖掘、引領用戶的需求,才是企業(yè)得以生存和持續(xù)發(fā)展的關鍵因素。 目前,數(shù)據(jù)體量、產(chǎn)業(yè)規(guī)模以及云計算高速發(fā)展所推動的基礎設施成本都已不再是問題,大數(shù)據(jù)能否創(chuàng)造真實的商業(yè)價值和回報是大數(shù)據(jù)企業(yè)真正關心的核心問題。 過去,所有大數(shù)據(jù)企業(yè)都在做項目,并沒有更多資源把能力沉淀成產(chǎn)品和平臺。比如很多可共用的數(shù)據(jù)服務沒有服務化、產(chǎn)品化,很多產(chǎn)品總是做重復的動作。 TalkingData創(chuàng)始人兼首席執(zhí)行官崔曉波認為,互聯(lián)網(wǎng)公司之間的戰(zhàn)役已經(jīng)結(jié)束了。所有企業(yè)主戰(zhàn)場不在線上而在線下,不管是互聯(lián)網(wǎng)巨頭還是產(chǎn)業(yè)巨頭都在思考如何利用互聯(lián)網(wǎng)、數(shù)據(jù)和相關技術的能力改變線下產(chǎn)業(yè)。而且,選擇合作伙伴應該遵循一個原則:愿意真的開放數(shù)據(jù),愿意給實體產(chǎn)業(yè)賦能。 二、什么是 數(shù)據(jù)中臺 數(shù)據(jù)中臺是指通過數(shù)據(jù)技術,對海量數(shù)據(jù)進行采集、計算、存儲、加工,同時統(tǒng)一標準和口徑。 今年,馬老師(馬云)說過,數(shù)據(jù)中臺成為大數(shù)據(jù)行業(yè)的熱門概念,它最先是從阿里引出的,“很多人會把數(shù)據(jù)比作“石油”,阿里巴巴要成為全球電子商務的“水電煤”。我們現(xiàn)在搭建的數(shù)據(jù)中臺,就是希望扮演“發(fā)電廠”的角色?!?/p> 數(shù)據(jù)中臺把數(shù)據(jù)統(tǒng)一之后,會形成標準數(shù)據(jù),再進行存儲,形成大數(shù)據(jù)資產(chǎn)層,進而為客戶提供高效服務。這些服務跟企業(yè)的業(yè)務有較強的關聯(lián)性,是這個企業(yè)獨有的且能復用的,它是企業(yè)業(yè)務和數(shù)據(jù)的沉淀,其不僅能降低重復建設、減少煙囪式協(xié)作的成本,也是差異化競爭優(yōu)勢所在。 數(shù)據(jù)中臺 數(shù)據(jù)中臺建設的基礎還是數(shù)據(jù)倉庫和數(shù)據(jù)中心,并且在數(shù)倉模型的設計上也是一脈傳承,之所以我們現(xiàn)在處處推崇數(shù)據(jù)中臺建設及應用,一個是因為數(shù)據(jù)中臺確實有過人之處,另一個是這套模型在阿里體現(xiàn)了巨大的應用價值。 三、數(shù)據(jù)中臺能力 數(shù)據(jù)資產(chǎn)管理 盤點數(shù)據(jù)資源、規(guī)劃數(shù)據(jù)資源、獲取數(shù)據(jù)資源,并將所有數(shù)據(jù)資源進行完整呈現(xiàn);通過元數(shù)據(jù)信息收集、數(shù)據(jù)血緣探查、數(shù)據(jù)權(quán)限申請授權(quán)等手段,解決'有哪些數(shù)據(jù)可用'、'到哪里可以找到數(shù)據(jù)'的難題,并且提升數(shù)據(jù)資源的利用率。 數(shù)據(jù)質(zhì)量管理 數(shù)據(jù)質(zhì)量就是保障數(shù)據(jù)正確性的工具,主要包括這么幾部分:一是支持準確性校驗規(guī)則,二是支持雙表校驗,三是輸出校驗報告。 數(shù)據(jù)模型管理 數(shù)據(jù)模型管理,主要是為解決架構(gòu)設計和數(shù)據(jù)開發(fā)的不一致性,是為了約束平臺使用者的表名、字段名的規(guī)范性,架構(gòu)師從工具層合理的進行模型分層和統(tǒng)一開發(fā)規(guī)范,包括2部分,一個是規(guī)則配置,另一個是對表名、字段名的定期校驗。 構(gòu)建標簽體系 對用戶、產(chǎn)品、客商、營銷各主題域進行標簽提取,將其特征數(shù)字化,為后續(xù)進行精準 營銷和用戶畫像提供必要條件。著重分析當前需要但是無法獲取到的指標,描述使用不便的指標,分析問題原因,繪制數(shù)據(jù)供應鏈條; 數(shù)據(jù)應用規(guī)劃及實現(xiàn) 數(shù)據(jù)中臺策略的基本理念是,將所有的數(shù)據(jù)匯聚到數(shù)據(jù)中臺,以后的每個數(shù)據(jù)應用(無論是指標和分析類的,還是畫像類和大數(shù)據(jù)類的)統(tǒng)統(tǒng)從數(shù)據(jù)中臺獲取數(shù)據(jù),如果數(shù)據(jù)中臺沒有,那么數(shù)據(jù)中臺就負責把數(shù)據(jù)找來,如果數(shù)據(jù)中臺找不來,就說明當前真沒有這個數(shù)據(jù),數(shù)據(jù)應用也就無從展開。 四、數(shù)據(jù)中臺構(gòu)成 “數(shù)據(jù)中臺”一般包含以下幾個部分: 1、數(shù)據(jù)倉庫:用來存儲數(shù)據(jù)的,結(jié)構(gòu)性數(shù)據(jù)、非結(jié)構(gòu)性數(shù)據(jù)等,還有離線數(shù)據(jù)和實時數(shù)據(jù)等; 2、大數(shù)據(jù)中間件:包含了大數(shù)據(jù)計算服務、大數(shù)據(jù)研發(fā)套件、數(shù)據(jù)分析及展現(xiàn)工具; 3、數(shù)據(jù)資產(chǎn)管理:按照阿里的體系應該分為垂直數(shù)據(jù)、公共數(shù)據(jù)和萃取數(shù)據(jù)3層; 五、總結(jié) 數(shù)據(jù)時代帶來的挑戰(zhàn)不僅僅是數(shù)據(jù)量的爆發(fā)式增長,更重要是如何管理好、治理好、利用好這些數(shù)據(jù),顯然傳統(tǒng)的大數(shù)據(jù)建設方法論無法滿足需求。 如果把大數(shù)據(jù)建設工作比如蓋高樓的話,那么大數(shù)據(jù)平臺開發(fā)和管理工具(數(shù)棧)就是打樁機、挖土機、推土機、塔吊...,過程中嚴苛、繁瑣、體系的開發(fā)、治理、分析建設方法論(數(shù)據(jù)中臺)就是樓層規(guī)劃、戶型設計、房屋建造....,數(shù)據(jù)服務就是業(yè)主個性化的裝修。 2017年中國互聯(lián)網(wǎng)大會期間鄔賀銓院士為首批72名中國互聯(lián)網(wǎng)協(xié)會青年專家頒發(fā)證書(作者 右八) 食藥安全大數(shù)據(jù)創(chuàng)新應用公益自媒體《順海藥安食美》作者 ,醫(yī)學檢驗技師、電子工程師、政工師,河北省大數(shù)據(jù)學會副秘書長,《智慧河北》編委,《中國智慧城市網(wǎng)》編委,《大數(shù)據(jù)分析與應用技術國家工程實驗室》特聘專家,國家藥監(jiān)局藥品信息化追溯標準技術專家成員(全國45人),中國互聯(lián)網(wǎng)協(xié)會2017屆首批(全國72人)青年專家成員,中國老年學與老年醫(yī)學會大數(shù)據(jù)專委會成員(全國10人),全國高等院校計算機基礎教育研究會專家成員。河北省科技廳科技信息化咨詢評審專家、河北省藥學會醫(yī)院藥學品質(zhì)專委會委員,電子政務學會首批入庫專家。河北省2016屆信息產(chǎn)業(yè)與信息化“中青年高新技術領軍人才”(全省15人),河北省2017屆互聯(lián)網(wǎng)“+” 創(chuàng)新領軍人才(全省20人),曾獲河北省委網(wǎng)信辦2018“百佳自媒體”評選“最具專業(yè)傳播力自媒體”(全省12個)、“最具人氣自媒體”(全省10個),廊坊市第十一屆(2016-2017)社會科學成果一等獎。 閱讀量580萬+ |
|