大數(shù)據(jù)“流言”:Hadoop和云分析七誤解作者:zol出處:博客2014-02-14 09:01 對(duì)于Hadoop技術(shù)而言,可以說是開源領(lǐng)域的傳奇,然而如今業(yè)界還伴隨著一些流言,這些流言可能會(huì)導(dǎo)致IT高管們帶著“有色”的觀點(diǎn)去制定策略。 如今,數(shù)據(jù)量在以驚人的速度增長(zhǎng),從IDC分析師報(bào)告中2013年數(shù)據(jù)存儲(chǔ)上的增長(zhǎng)速度將達(dá)到53.4%,AT&T更是聲稱無線數(shù)據(jù)的流量在過去的5年內(nèi)增長(zhǎng)200倍,從互聯(lián)網(wǎng)內(nèi)容、電子郵件、應(yīng)用通知、社交消息以及每天接收的消息都在顯著的增長(zhǎng),這也是眾多大企業(yè)都聚焦大數(shù)據(jù)的原因所在。 毫無疑問,Hadoop成為解決大數(shù)據(jù)需求的主要投資領(lǐng)域之一,而類似Facebook等互聯(lián)網(wǎng)巨頭在都公開的吹捧Hadoop上取得的成功,同樣初入大數(shù)據(jù)領(lǐng)域的公司也必先著眼于Hadoop。但對(duì)于Hadoop技術(shù)而言,是一個(gè)多維的解決方案,可以通過不同的方式進(jìn)行部署和使用。下面就了解一些關(guān)于Hadoop和大數(shù)據(jù)的七大錯(cuò)誤理念: 1.大數(shù)據(jù)僅僅是容量 對(duì)大數(shù)據(jù)來說,除了指體積之外,還經(jīng)常提到Variety(多樣)、Variability(可變)、Velocity(速度)和Value(價(jià)值)。關(guān)鍵點(diǎn)在于大數(shù)據(jù)并不是體積上的增長(zhǎng),更多是未來的實(shí)時(shí)分析、結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)的發(fā)展,并被企業(yè)CIO用于更好的決策。 綜上所述,并不是只有分析大數(shù)據(jù)才會(huì)獲得價(jià)值。舉個(gè)例子,存儲(chǔ)和分析1PB的超時(shí)限數(shù)據(jù)的價(jià)值可能比不上實(shí)時(shí)分析1GB的數(shù)據(jù),而從“新鮮”的數(shù)據(jù)上獲得價(jià)值比解剖過時(shí)的數(shù)據(jù)更具價(jià)值。 2.傳統(tǒng)SQL不能在Hadoop上使用 眾多廠商在Hadoop上投入精力,布局市場(chǎng)戰(zhàn)略時(shí),十分清楚HDFS和MapReduce受限于處理類似SQL語言的能力,這也是Hive、Pig和Sqoop最終得以推廣的原因。更多企業(yè)通過Hadoop和SQL兼容來管理大量的數(shù)據(jù),Pivotal HD是結(jié)合SQL并行處理資料庫與Hadoop 2.0,針對(duì)企業(yè)資料分析需求而優(yōu)化的Hadoop強(qiáng)化版本。 3.Hadoop是唯一的新IT數(shù)據(jù)平臺(tái) 談到數(shù)據(jù)平臺(tái),大型機(jī)在IT投資組合里有是一個(gè)長(zhǎng)期投資,與ERP、CRM和SCM這些系統(tǒng)一樣演變至今。而面對(duì)大數(shù)據(jù)時(shí)代,大型機(jī)不想被架構(gòu)遺棄,必須展示在現(xiàn)有IT投資環(huán)境中的價(jià)值,而許多客戶遇到速度、規(guī)模和成本的問題,通過vFabric SQLFire這樣的內(nèi)存大數(shù)據(jù)網(wǎng)絡(luò)去解決高速數(shù)據(jù)存取,促進(jìn)大型機(jī)批處理或?qū)崟r(shí)分析報(bào)告這些問題。
|
|