隨著移動(dòng)互聯(lián)網(wǎng)、云計(jì)算、物聯(lián)網(wǎng)等的快速發(fā)展，及視頻監(jiān)控、智能終端、應(yīng)用商店等的快速普及，全球數(shù)據(jù)量出現(xiàn)爆炸式增長(zhǎng)。數(shù)據(jù)也在潛移默化的影響著人們的生活，即使在遭遇金融危機(jī)的2009年，全球信息量也比2008年增長(zhǎng)62%，達(dá)到80萬(wàn)PB（1015字節(jié)），2010年增至120萬(wàn)PB。據(jù)IDC預(yù)測(cè)，至2020年全球以電子式形存儲(chǔ)的數(shù)據(jù)量將達(dá)32ZB（1021字節(jié)）。

    截止到2011年底，全球王敏數(shù)達(dá)22.67億；截止到2012年6月，中國(guó)王敏達(dá)5.38億，龐大的網(wǎng)民每時(shí)每刻產(chǎn)生大量的數(shù)據(jù)。在此背景下，大數(shù)據(jù)時(shí)代（Big Data Era）將會(huì)面臨新的挑戰(zhàn)。

    1、大數(shù)據(jù)時(shí)代的基本特征

    所謂大數(shù)據(jù)，就是人類(lèi)在生產(chǎn)和生活中產(chǎn)生的海量數(shù)據(jù)信息。

    大數(shù)據(jù)時(shí)代的到來(lái)，毫無(wú)疑問(wèn)會(huì)給人們帶來(lái)空前便利。據(jù)統(tǒng)計(jì)，2010年以互聯(lián)網(wǎng)為基礎(chǔ)所產(chǎn)生的數(shù)據(jù)比之前所有年份的總和還要多；而且不僅是數(shù)據(jù)量的激增，數(shù)據(jù)結(jié)構(gòu)亦在演變。Gartner預(yù)計(jì)，2012年半結(jié)構(gòu)和非結(jié)構(gòu)化的數(shù)據(jù)，諸如文檔、表格、網(wǎng)頁(yè)、音頻、圖像和視頻等將占全球網(wǎng)絡(luò)數(shù)據(jù)量的85%左右；而且，整個(gè)網(wǎng)絡(luò)體系架構(gòu)將面臨革命性改變。由此，所謂大數(shù)據(jù)時(shí)代已經(jīng)臨。對(duì)于大數(shù)據(jù)時(shí)代，目前通常認(rèn)為有下述四大特征：

    第一：數(shù)據(jù)量大：數(shù)據(jù)量級(jí)已從TB（1012字節(jié)）發(fā)展至PB乃至ZB，可稱(chēng)海量、巨量乃至超量。

第二：類(lèi)型繁多：愈來(lái)愈多為網(wǎng)頁(yè)、圖片、視頻、圖像等半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)信息。

第三：價(jià)值密度低：以視頻安全監(jiān)控為例，連續(xù)不斷的監(jiān)控流中，有重大價(jià)值者可能僅為一兩秒的數(shù)據(jù)流；360°全方位視頻監(jiān)控的“死角”處，可能會(huì)挖掘出最有價(jià)值的圖像信息。

第四：速度快時(shí)效高：大數(shù)據(jù)時(shí)代對(duì)其時(shí)效性要求很高，這是大部分?jǐn)?shù)據(jù)挖掘最顯著的特征。

2、大數(shù)據(jù)時(shí)代面臨的挑戰(zhàn)

大數(shù)據(jù)是信息通信技術(shù)發(fā)展積累至今，按照自身技術(shù)發(fā)展邏輯，從提高生產(chǎn)效率向更高級(jí)智能階段的自然生長(zhǎng)。無(wú)處不在的信息感知和采集終端為我們采集了海量的數(shù)據(jù)，而以云計(jì)算為代表的計(jì)算技術(shù)的不斷進(jìn)步，為我們提供了強(qiáng)大的計(jì)算能力，這就圍繞個(gè)人以及組織的行為構(gòu)建起了一個(gè)與物質(zhì)世界相平行的數(shù)字世界。

大數(shù)據(jù)時(shí)代下的信息技術(shù)日漸成熟，但是在高科技發(fā)展的今天，也存在著諸多不足：

第一：運(yùn)營(yíng)商帶寬能力與對(duì)數(shù)據(jù)洪流的適應(yīng)能力面臨前所未有的挑戰(zhàn)；

    第二：大數(shù)據(jù)處理和分析的能力遠(yuǎn)遠(yuǎn)不及理想中水平，數(shù)據(jù)量的快速增長(zhǎng)，對(duì)存儲(chǔ)技術(shù)提出了挑戰(zhàn)；同時(shí)，需要高速信息傳輸能力支持，與低密度有價(jià)值數(shù)據(jù)的快速分析、處理能力。

    第三：部分早期的Hadoop項(xiàng)目將面臨挑戰(zhàn)；

    第四：大數(shù)據(jù)環(huán)境下通過(guò)對(duì)用戶(hù)數(shù)據(jù)的深度分析，很容易了解用戶(hù)行為和喜好，乃至企業(yè)用戶(hù)的商業(yè)機(jī)密，對(duì)個(gè)人隱私問(wèn)題必須引起充分重視；

    第五：大數(shù)據(jù)時(shí)代的基本特征，決定其在技術(shù)與商業(yè)模式上有巨大的創(chuàng)新空間，如何創(chuàng)新已成為大數(shù)據(jù)時(shí)代的一個(gè)首要問(wèn)題；

    第六：大數(shù)據(jù)時(shí)代對(duì)政府制訂規(guī)則與監(jiān)管部門(mén)發(fā)揮作用提出了新的挑戰(zhàn)；

第七：大數(shù)據(jù)的可視化還沒(méi)有達(dá)到人們的需求；

第八：海量數(shù)據(jù)洪流中，在線(xiàn)對(duì)話(huà)與在線(xiàn)交易活動(dòng)日益增加，其安全威脅更為嚴(yán)峻；而且現(xiàn)今黑客的組織能力、作案工具、作案手法及隱蔽程度更上一層樓；

第九：大數(shù)據(jù)人才的缺乏，大數(shù)據(jù)時(shí)代對(duì)數(shù)據(jù)分析師的要求極高，只有大數(shù)據(jù)專(zhuān)業(yè)化的人才，才具備開(kāi)發(fā)預(yù)言分析應(yīng)用程序模型的技能。

3、大數(shù)據(jù)時(shí)代面臨挑戰(zhàn)的應(yīng)對(duì)策略

大數(shù)據(jù)時(shí)代的浪潮已經(jīng)襲來(lái)，這對(duì)于我們每一個(gè)人來(lái)說(shuō)，既是大數(shù)據(jù)的締造者，因?yàn)槲覀兊恼J(rèn)知和行為方式都在源源不斷地產(chǎn)生各種各樣的數(shù)據(jù)；又是大數(shù)據(jù)的使用者，因?yàn)槿说拇竽X幾乎每時(shí)每刻都在對(duì)所觀察到和所搜集到的各種數(shù)據(jù)進(jìn)行分析，以期得出結(jié)論；更是大數(shù)據(jù)的直接受益者，因?yàn)橥ㄟ^(guò)對(duì)數(shù)據(jù)的分析和挖掘，大數(shù)據(jù)的大價(jià)值最終體現(xiàn)在指導(dǎo)人的行動(dòng)并由此推動(dòng)社會(huì)的不斷進(jìn)步。面對(duì)大數(shù)據(jù)時(shí)代在現(xiàn)如今面臨的挑戰(zhàn)，個(gè)人提出幾點(diǎn)應(yīng)對(duì)策略：

    1、合理獲取數(shù)據(jù)

在大數(shù)據(jù)時(shí)代，數(shù)據(jù)的產(chǎn)生速度飛快而且體量龐大，往往以TB或YB甚至是ZB來(lái)衡量。各種機(jī)構(gòu)、個(gè)人都在不斷地向外產(chǎn)生和發(fā)布結(jié)構(gòu)化與非結(jié)構(gòu)化的復(fù)雜數(shù)據(jù)，并進(jìn)行數(shù)據(jù)交換，如人們當(dāng)前最常用的數(shù)據(jù)來(lái)源渠道——互聯(lián)網(wǎng)，每天的數(shù)據(jù)交換量已極為驚人。

在這種情況下，由于數(shù)據(jù)傳播的速度極快，且在傳播過(guò)程中本身已有可能通過(guò)交換發(fā)生多次變換而生成了更多的復(fù)雜數(shù)據(jù)，那么，對(duì)我們普通人來(lái)說(shuō)，當(dāng)數(shù)據(jù)充分融合在一起的時(shí)候就很難分辨其真正的來(lái)源。即使能夠弄清楚數(shù)據(jù)的真正來(lái)源，你又將面臨那些復(fù)雜的非結(jié)構(gòu)化數(shù)據(jù)的考驗(yàn)。

    大數(shù)據(jù)時(shí)代應(yīng)以智慧創(chuàng)新理念融合大數(shù)據(jù)與云計(jì)算，在大數(shù)據(jù)洪流中提升知識(shí)價(jià)值洞察力，實(shí)施高效實(shí)時(shí)個(gè)性化運(yùn)作，建立有效增值的商業(yè)模式。針對(duì)大數(shù)據(jù)時(shí)代的基本特征，加強(qiáng)全方位創(chuàng)新。包括IBM、EMC、HP、Microsoft等在內(nèi)的IT巨頭，紛紛加速收購(gòu)相關(guān)大數(shù)據(jù)公司進(jìn)行技術(shù)整合，尋找數(shù)據(jù)洪流大潮中新的立足點(diǎn)。而涉及人工智能、機(jī)器學(xué)習(xí)等新技術(shù)的創(chuàng)新應(yīng)用，已初顯效益。將大數(shù)據(jù)時(shí)代全方位創(chuàng)新工作和智慧城市發(fā)展緊密結(jié)合。借助移動(dòng)互聯(lián)網(wǎng)、大數(shù)據(jù)與云計(jì)算的融合、智能運(yùn)營(yíng)管道等，建立智能平臺(tái)，優(yōu)化配置城市資源，向真正的智慧城市邁進(jìn)。

    電信運(yùn)營(yíng)商轉(zhuǎn)型中流量經(jīng)營(yíng)已成共識(shí)，即以智能管道與聚合平臺(tái)為基礎(chǔ)，以擴(kuò)大流量規(guī)模、提升流量層次及豐富流量?jī)?nèi)涵作為基本經(jīng)營(yíng)方向，并以釋放流量?jī)r(jià)值為基本目標(biāo)，可見(jiàn)大數(shù)據(jù)和云計(jì)算的深度融合與此流量經(jīng)營(yíng)目標(biāo)十分吻合。實(shí)際上已經(jīng)有一些運(yùn)營(yíng)商借助大數(shù)據(jù)Hadoop云工具管理與分析網(wǎng)絡(luò)中的用戶(hù)數(shù)據(jù)，為日常運(yùn)維及制定市場(chǎng)戰(zhàn)略等提供有效支撐。

借助大數(shù)據(jù)創(chuàng)新處理技術(shù)應(yīng)對(duì)APT安全攻擊。APT安全攻擊的最主要特征為單點(diǎn)隱蔽能力強(qiáng)、攻擊空間路徑不確定、攻擊渠道不確定；同時(shí)APT攻擊一旦入侵成功則長(zhǎng)期潛伏，攻擊時(shí)間上具有持續(xù)性。目前，全流量審計(jì)方案具備強(qiáng)大的實(shí)時(shí)檢測(cè)能力與事后回溯能力，并可將安全工作人員的分析能力、計(jì)算機(jī)存儲(chǔ)與運(yùn)算能力組合在一起，是一種較完整的解決方案。

2、存儲(chǔ)隨需而變

    美國(guó)一家知名的 DVD 租賃企業(yè)每年都會(huì)邀請(qǐng)一些協(xié)同處理算法的專(zhuān)家對(duì)其用戶(hù)數(shù)據(jù)進(jìn)行分析，從而了解租賃客戶(hù)的需求。一些美國(guó)金融企業(yè)甚至提出了分析即服務(wù)的理念。陶波表示，金融、電信、互聯(lián)網(wǎng)等企業(yè)對(duì)大數(shù)據(jù)的處理和分析有迫切的需求。與傳統(tǒng)的商務(wù)智能應(yīng)用相比，大數(shù)據(jù)對(duì)企業(yè)數(shù)據(jù)的處理能力和商務(wù)智能軟件提出了更高要求：首先，企業(yè)必須具備處理大量數(shù)據(jù)的能力，因?yàn)橛械钠髽I(yè)可能一天之內(nèi)就要多次處理 PB 級(jí)的數(shù)據(jù)，這是一些傳統(tǒng)的存儲(chǔ)設(shè)備所不能勝任的；其次，傳統(tǒng)的數(shù)據(jù)倉(cāng)庫(kù)軟件是針對(duì)結(jié)構(gòu)化數(shù)據(jù)設(shè)計(jì)的，而大數(shù)據(jù)包含的主要是非結(jié)構(gòu)化的數(shù)據(jù)，因此傳統(tǒng)的數(shù)據(jù)倉(cāng)庫(kù)軟件必須改變。  

3、篩選與分析大數(shù)據(jù)

    充分利用數(shù)據(jù)“洞察”自己身邊的人或物，在諸多供給方當(dāng)中精準(zhǔn)地匹配自身需求，從而最大限度地滿(mǎn)足自身吁求也是大數(shù)據(jù)價(jià)值的應(yīng)有之義。為此，即使是普通人也應(yīng)具備一定的數(shù)據(jù)篩選和識(shí)別能力。這些數(shù)據(jù)傳播渠道所發(fā)布的數(shù)據(jù)往往有其針對(duì)性和傾向性，甚至帶有誤導(dǎo)性，這時(shí)就需要數(shù)據(jù)使用者具備一定的甄別能力，才能真正充分利用大數(shù)據(jù)實(shí)現(xiàn)自身價(jià)值的最大化。

大數(shù)據(jù)能夠?yàn)槲宜枚a(chǎn)生價(jià)值，離不開(kāi)使用者具備一定的數(shù)據(jù)分析技能。當(dāng)然，普通人未必要掌握數(shù)理分析、數(shù)據(jù)挖掘等專(zhuān)業(yè)統(tǒng)計(jì)技能，但有必要學(xué)會(huì)對(duì)一些常用的指標(biāo)數(shù)據(jù)結(jié)合其應(yīng)用背景進(jìn)行簡(jiǎn)單分析。比如，大家熟悉的CPI、天氣指數(shù)、幸福指數(shù)等統(tǒng)計(jì)指標(biāo)，信用卡消費(fèi)賬單等個(gè)人信息等，其實(shí)這些都是大數(shù)據(jù)價(jià)值的體現(xiàn)形式，要想讀懂這些數(shù)據(jù)信息并了解數(shù)字背后所反映的經(jīng)濟(jì)運(yùn)行機(jī)理或個(gè)人消費(fèi)行為模式，就需要對(duì)其進(jìn)行一定的分析。

大數(shù)據(jù)時(shí)代對(duì)數(shù)據(jù)分析要求很高，所以培養(yǎng)大數(shù)據(jù)時(shí)代分析的人才必不可少，只有具備大數(shù)據(jù)專(zhuān)業(yè)方面的知識(shí)，才能更好地去研究大數(shù)據(jù)蘊(yùn)含的特殊技能。

4、理性面對(duì)大數(shù)據(jù)的價(jià)值誘惑

    毫無(wú)疑問(wèn)，大數(shù)據(jù)時(shí)代將是商業(yè)智能“大顯身手”的時(shí)代。企業(yè)利用發(fā)達(dá)的數(shù)據(jù)挖掘技術(shù)正日益精準(zhǔn)地揣摩著消費(fèi)者心態(tài)，并運(yùn)用各種手段對(duì)其“循循善誘” 。如今，當(dāng)人們上網(wǎng)購(gòu)物時(shí)，只要輸入想要購(gòu)買(mǎi)的物品，大部分商家都會(huì)依據(jù)所輸入的信息彈出相關(guān)的推薦產(chǎn)品，更有甚者還能夠利用人們的搜索記錄和地理位置信息在其瀏覽網(wǎng)頁(yè)的過(guò)程中植入符合人們需求的精準(zhǔn)廣告。

    5、云計(jì)算和大數(shù)據(jù)相輔相成 

    為了滿(mǎn)足大數(shù)據(jù)的需求，商務(wù)智能軟件必須改變。陶波舉例說(shuō)： “隨著多核處理器的普及，商務(wù)智能軟件也要從針對(duì)單線(xiàn)程的應(yīng)用轉(zhuǎn)為針對(duì)多線(xiàn)程的應(yīng)用，因此商務(wù)智能軟件的代碼可能要改變。 ”EMC 已與許多商務(wù)智能軟件廠(chǎng)商開(kāi)展了緊密合作。EMC 的硬件平臺(tái)不僅針對(duì) Greenplum軟件進(jìn)行了優(yōu)化，而且還能廣泛地支持第三方的商務(wù)智能軟件。

    6、處理好非結(jié)構(gòu)化數(shù)據(jù) 

  由于非結(jié)構(gòu)化數(shù)據(jù)量猛增，用戶(hù)必然面臨如何同時(shí)處理好結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)的問(wèn)題，比如什么時(shí)候?qū)?shù)據(jù)放在傳統(tǒng)的數(shù)據(jù)倉(cāng)庫(kù)中，什么時(shí)候要用開(kāi)源的 Hadoop 處理數(shù)據(jù)。

    Informatica 能幫助用戶(hù)在同一個(gè)平臺(tái)上處理結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)。鄭瑋認(rèn)為，處理好結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)的關(guān)鍵是系統(tǒng)能夠根據(jù)數(shù)據(jù)類(lèi)型的不同，自動(dòng)將結(jié)構(gòu)化的數(shù)據(jù)分配到能處理結(jié)構(gòu)化數(shù)據(jù)的系統(tǒng)中，而將非結(jié)構(gòu)化的數(shù)據(jù)分配到能處理非結(jié)構(gòu)化數(shù)據(jù)的系統(tǒng)中。 

    能不能將結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)先統(tǒng)一成一種格式的數(shù)據(jù)，然后再進(jìn)行處理或分析呢？鄭瑋表示：“在進(jìn)行數(shù)據(jù)處理之前，沒(méi)有必要對(duì)數(shù)據(jù)類(lèi)型進(jìn)行轉(zhuǎn)化或解析，因?yàn)轭A(yù)處理過(guò)程會(huì)浪費(fèi)很多時(shí)間?，F(xiàn)在，業(yè)內(nèi)一些主流的廠(chǎng)商采取的都是將結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)分開(kāi)處理的方式。”在處理非結(jié)構(gòu)化數(shù)據(jù)方面，Hadoop 已經(jīng)成了一個(gè)事實(shí)上的標(biāo)準(zhǔn)。 

    鄭瑋表示：“大數(shù)據(jù)仍處于應(yīng)用的初始階段。我們?cè)?jīng)訪(fǎng)問(wèn)過(guò)40位行業(yè)客戶(hù)，他們對(duì)大數(shù)據(jù)處理表現(xiàn)出濃厚的興趣。大數(shù)據(jù)的應(yīng)用會(huì)很快鋪開(kāi)，相關(guān)的成功案例也會(huì)不斷涌現(xiàn)?！?/font>