01

公開的數(shù)據(jù)庫

－ 國家數(shù)據(jù) －

http://data.stats.gov.cn/index.htm

數(shù)據(jù)來源于中國國家統(tǒng)計局，包含了我國經(jīng)濟民生等多個方面的數(shù)據(jù)，并且在月度、季度、年度都有覆蓋，較為全面和權(quán)威，對于社會科學的研究不要太有幫助。最關(guān)鍵的是，網(wǎng)站簡潔美觀，還有專門的可視化讀物。

－ CEIC －

http://www./zh-hans

最完整的一套超過128個國家的經(jīng)濟數(shù)據(jù)，能夠精確查找GDP, CPI, 進口，出口，外資直接投資，零售，銷售，以及國際利率等深度數(shù)據(jù)。其中的“中國經(jīng)濟數(shù)據(jù)庫”收編了300,000多條時間序列數(shù)據(jù)，數(shù)據(jù)內(nèi)容涵蓋宏觀經(jīng)濟數(shù)據(jù)、行業(yè)經(jīng)濟數(shù)據(jù)和地區(qū)經(jīng)濟數(shù)據(jù)。

－ wind（萬得）－

http://www./

萬得被譽為中國的Bloomberg，在金融業(yè)有著全面的數(shù)據(jù)覆蓋，金融數(shù)據(jù)的類目更新非?？?，據(jù)說很受國內(nèi)的商業(yè)分析者和投資人的親睞。

－ 搜數(shù)網(wǎng) －

http://www./

已加載到搜數(shù)網(wǎng)站的統(tǒng)計資料達到7,874本,涵蓋1,761,009張統(tǒng)計表格和364,580,479個統(tǒng)計數(shù)據(jù)，匯集了中國資訊行自92年以來收集的所有統(tǒng)計和調(diào)查數(shù)據(jù)，并提供多樣化的搜索功能。

－ 中國統(tǒng)計信息網(wǎng) －

http://www./

國家統(tǒng)計局的官方網(wǎng)站，匯集了海量的全國各級政府各年度的國民經(jīng)濟和社會發(fā)展統(tǒng)計信息，建立了以統(tǒng)計公報為主，統(tǒng)計年鑒、階段發(fā)展數(shù)據(jù)、統(tǒng)計分析、經(jīng)濟新聞、主要統(tǒng)計指標排行等。

－ 亞馬遜aws －

http://aws.amazon.com/cn/datasets/?nc1=h_ls

來自亞馬遜的跨科學云數(shù)據(jù)平臺，包含化學、生物、經(jīng)濟等多個領(lǐng)域的數(shù)據(jù)集。

－ figshare －

https:///

研究成果共享平臺，在這里你會發(fā)現(xiàn)來自世界的大牛們的研究成果分享，同時get其中的研究數(shù)據(jù)，內(nèi)容很有啟發(fā)性，網(wǎng)站頗具設(shè)計感。

－ github －

https://github.com/caesar0301/awesome-public-datasets

如果覺得前面的數(shù)據(jù)源還不夠，github上的大神已經(jīng)為大家整理好了一個非常全面的數(shù)據(jù)獲取渠道，包含各個細分領(lǐng)域的數(shù)據(jù)庫資源，自然科學和社會科學的覆蓋都很全面，簡直是做研究和數(shù)據(jù)分析的利器。

隨便上幾個圖，滿滿的都是資源??！

02

數(shù)據(jù)交易平臺

－ 優(yōu)易數(shù)據(jù) －

http://www./

由國家信息中心發(fā)起，擁有國家級信息資源的數(shù)據(jù)平臺，國內(nèi)領(lǐng)先的數(shù)據(jù)交易平臺。平臺有B2B、B2C兩種交易模式，包含政務(wù)、社會、社交、教育、消費、交通、能源、金融、健康等多個領(lǐng)域的數(shù)據(jù)資源。

－ 數(shù)據(jù)堂 －

http://www./

專注于互聯(lián)網(wǎng)綜合數(shù)據(jù)交易，提供數(shù)據(jù)交易、處理和數(shù)據(jù)API服務(wù)，包含語音識別、醫(yī)療健康、交通地理、電子商務(wù)、社交網(wǎng)絡(luò)、圖像識別等方面的數(shù)據(jù)。

03

網(wǎng)絡(luò)指數(shù)

－ 百度指數(shù) －

http://index.baidu.com/

大家都很熟悉的指數(shù)查詢平臺，可以根據(jù)指數(shù)的變化查看某個主題在各個時間段受關(guān)注的情況，進行趨勢分析、輿情預(yù)測有很好的指導作用。除了關(guān)注趨勢之外，還有需求分析、人群畫像等精準分析的工具，對于市場調(diào)研來說具有很好的參考意義。同樣的另外兩個搜索引擎搜狗、360也有類似的產(chǎn)品，都可以作為參考。

－ 阿里指數(shù) －

https://alizs.taobao.com/

國內(nèi)權(quán)威的商品交易分析工具，可以按地域、按行業(yè)查看商品搜索和交易數(shù)據(jù)，基于淘寶、天貓和1688平臺的交易數(shù)據(jù)基本能夠看出國內(nèi)商品交易的概況，對于趨勢分析、行業(yè)觀察意義不小。

－ 艾瑞咨詢 －

http://www./

艾瑞作為老牌的互聯(lián)網(wǎng)研究機構(gòu)，在數(shù)據(jù)的沉淀和數(shù)據(jù)分析上都有得天獨厚的優(yōu)勢，在互聯(lián)網(wǎng)的趨勢和行業(yè)發(fā)展數(shù)據(jù)分析上面比較權(quán)威，艾瑞的互聯(lián)網(wǎng)分析報告可以說是互聯(lián)網(wǎng)研究的必讀刊物。

－ 友盟指數(shù) －

http://www./

友盟在移動互聯(lián)網(wǎng)應(yīng)用數(shù)據(jù)統(tǒng)計和分析具有較為全面的統(tǒng)計和分析，對于研究移動端產(chǎn)品、做市場調(diào)研、用戶行為分析很有幫助。除了友盟指數(shù)，友盟的互聯(lián)網(wǎng)報告同樣是了解互聯(lián)網(wǎng)趨勢的優(yōu)秀讀物。

－ 愛奇藝指數(shù) －

http://index.iqiyi.com/

愛奇藝指數(shù)是專門針對視頻的播放行為、趨勢的分析平臺，對于互聯(lián)網(wǎng)視頻的播放有著全面的統(tǒng)計和分析，涉及到播放趨勢、播放設(shè)備、用戶畫像、地域分布、等多個方面。由于愛奇藝龐大的用戶基數(shù)，該指數(shù)基本可以說明實際情況。

－ 貓眼專業(yè)版－

http://piaofang./

電影票房統(tǒng)計分析平臺，貓眼專業(yè)版有實時的票房統(tǒng)計，影片的排盤情況、上座率和影院數(shù)據(jù)，對于當前電影的分析是必不可少的。

04

網(wǎng)絡(luò)采集器

網(wǎng)絡(luò)采集器是通過軟件的形式實現(xiàn)簡單快捷地采集網(wǎng)絡(luò)上分散的內(nèi)容，具有很好的內(nèi)容收集作用，而且不需要技術(shù)成本，被很多用戶作為初級的采集工具。

－ 火車采集器 －

http://www./

一款專業(yè)的互聯(lián)網(wǎng)數(shù)據(jù)抓取、處理、分析，挖掘軟件，可以靈活迅速地抓取網(wǎng)頁上散亂分布的數(shù)據(jù)信息，并通過一系列的分析處理，準確挖掘出所需數(shù)據(jù)，最常用的就是采集某些網(wǎng)站的文字、圖片、數(shù)據(jù)等在線資源。接口比較齊全，支持的擴展比較好用，懂代碼的話，可以使用PHP或C#開發(fā)任意功能的擴展。

－ 八爪魚 －

http://www./

簡單實用的采集器，功能齊全，操作簡單，不用寫規(guī)則。特有的云采集，關(guān)機也可以在云服務(wù)器上運行采集任務(wù)。

－ 集搜客 －

http://www./

一款簡單易用的網(wǎng)頁信息抓取軟件,能夠抓取網(wǎng)頁文字、圖表、超鏈接等多種網(wǎng)頁元素，提供好用的網(wǎng)頁抓取軟件、數(shù)據(jù)挖掘攻略、行業(yè)資訊和前沿科技等。

05

網(wǎng)絡(luò)爬蟲

作為極客們最喜歡的數(shù)據(jù)收集方式，爬蟲高度的自由性、自主性都使其成為數(shù)據(jù)挖掘的必備技能，當然精通python等語言是必要前提。

利用爬蟲可以做很多有意思的事情，當然也可以獲取一些從其它渠道獲取不到的數(shù)據(jù)資源，更重要的是幫你打開尋找和搜集數(shù)據(jù)的思路。

－ 利用爬蟲爬取網(wǎng)絡(luò)圖片 －

爬取的圖像素材

你看到某個網(wǎng)站上的圖片恰好是你需要的，但是量大單個下載太麻煩，那么利用爬蟲你可以快速地進行抓取，并可以根據(jù)標簽、特征、顏色等信息進行分類儲存。從此不缺設(shè)計素材，不缺美女圖片，連斗圖都多了幾分自信。

－ 利用爬蟲爬取高質(zhì)量資源 －

爬取的音樂資源

我們總是想快速地去搜集高質(zhì)量的網(wǎng)絡(luò)資源，但是人工查找比對實在太麻煩，利用爬蟲你就可以輕松解決。比如爬取知乎點贊最多的文章列表，爬取網(wǎng)易云音樂評論最多的音樂，爬取豆瓣網(wǎng)高評分的電影或圖書……總之，你可以從此拒絕平庸。

－ 利用爬蟲獲取輿情數(shù)據(jù) －

爬取的某招聘網(wǎng)站職位信息

比如你可以批量爬取社交平臺的數(shù)據(jù)資源，可以爬取網(wǎng)站的交易數(shù)據(jù)，爬取招聘網(wǎng)站的職位信息等，可以用于個性化的分析研究。

總之，爬蟲是非常強大的，甚至有人說天下沒有不能爬的網(wǎng)站，因而爬取數(shù)據(jù)也成為了很多極客的樂趣。開發(fā)出高效的爬蟲工具可以幫助我們節(jié)省很多時間，可以完全按照自己的需求來訂制，想想這個世界就太美好。

06

小工具

－ Web Plot Digitizer －

http:///WebPlotDigitizer/app/

比如我們在查看期刊文獻的時候看到一張成型的圖表，但其本身數(shù)據(jù)是缺失的，你想獲得這個圖表的相關(guān)數(shù)據(jù)怎么辦？有了這個小工具就非常easy了。直接上傳我們需要獲得數(shù)據(jù)的圖表，如下：

然后我們就會獲得如下的數(shù)據(jù)反饋，感覺運籌帷幄有木有，對于一些不需要十分精確的分析研究足夠使用。

當然并不推薦用這個作為量化分析的依賴，對于定性的分析，做ppt級的數(shù)據(jù)統(tǒng)計分析就足夠了。

－ you-get －

https:///

這是一個程序員基于python 3開發(fā)的項目，已經(jīng)在github上面開源，支持64個網(wǎng)站，包括優(yōu)酷、土豆、愛奇藝、b站、酷狗音樂、蝦米……總之你能想到的網(wǎng)站都有! 還有一個黑科技的地方，即使是名單上沒有的網(wǎng)站，當你輸入鏈接，程序也會猜測你想要下載什么，然后幫你下載。

下載優(yōu)酷視頻

批量下載圖片

當然you-get要在python3環(huán)境下進行安裝，用pip安裝好后，在終端輸入“you get＋你想下載資源的鏈接”就可以等著收藏資源了。

07

結(jié)語

收集數(shù)據(jù)是一種能力，學習收集數(shù)據(jù)也是一種能力，數(shù)據(jù)的來源是沒有窮盡的，轉(zhuǎn)換一種思維，你就可以獲得不一樣的數(shù)據(jù)。每個人喜歡的收集數(shù)據(jù)的渠道不盡相同，只有盡量多地去見識和實踐才會發(fā)現(xiàn)更多的適合自己的數(shù)據(jù)獲取方式。

在互聯(lián)網(wǎng)高度發(fā)達的今天，數(shù)據(jù)資源異常的豐富和龐大，如何高效地獲取數(shù)據(jù)成為一種重要的能力，畢竟獲取數(shù)據(jù)是一切用數(shù)據(jù)說話的前提。當然往往只需要熟練掌握一兩種方法，便足夠大多數(shù)人應(yīng)付大多數(shù)場景和需求，所以選擇合適的數(shù)據(jù)獲取渠道還需要親自探究。

- www.cbdio.com -