閱讀目錄

• 一 爬蟲是什么
• 二 爬蟲的基本流程
• 三 請求與響應
• 四 Request
• 五 Response
• 六 總結

#1、什么是互聯網？
    互聯網是由網絡設備（網線，路由器，交換機，防火墻等等）和一臺臺計算機連接而成，像一張網一樣。

#2、互聯網建立的目的？
    互聯網的核心價值在于數據的共享/傳遞：數據是存放于一臺臺計算機上的，而將計算機互聯到一起的目的就是為了能夠方便彼此之間的數據共享/傳遞，否則你只能拿U盤去別人的計算機上拷貝數據了。

#3、什么是上網？爬蟲要做的是什么？
    我們所謂的上網便是由用戶端計算機發(fā)送請求給目標計算機，將目標計算機的數據下載到本地的過程。
    #3.1 只不過，用戶獲取網絡數據的方式是：
      瀏覽器提交請求->下載網頁代碼->解析/渲染成頁面。

    #3.2 而爬蟲程序要做的就是：
      模擬瀏覽器發(fā)送請求->下載網頁代碼->只提取有用的數據->存放于數據庫或文件中
　
    #3.1與3.2的區(qū)別在于:
      我們的爬蟲程序只提取網頁代碼中對我們有用的數據

#4、總結爬蟲
    #4.1 爬蟲的比喻：
      如果我們把互聯網比作一張大的蜘蛛網，那一臺計算機上的數據便是蜘蛛網上的一個獵物，而爬蟲程序就是一只小蜘蛛，沿著蜘蛛網抓取自己想要的獵物/數據

    #4.2 爬蟲的定義：
      向網站發(fā)起請求，獲取資源后分析并提取有用數據的程序 

    #4.3 爬蟲的價值：
      互聯網中最有價值的便是數據，比如天貓商城的商品信息，鏈家網的租房信息，雪球網的證券投資信息等等，這些數據都代表了各個行業(yè)的真金白銀，可以說，誰掌握了行業(yè)內的第一手數據，誰就成了整個行業(yè)的主宰，如果把整個互聯網的數據比喻為一座寶藏，那我們的爬蟲課程就是來教大家如何來高效地挖掘這些寶藏，掌握了爬蟲技能，你就成了所有互聯網信息公司幕后的老板，換言之，它們都在免費為你提供有價值的數據。

#1、發(fā)起請求
使用http庫向目標站點發(fā)起請求，即發(fā)送一個Request
Request包含：請求頭、請求體等

#2、獲取響應內容
如果服務器能正常響應，則會得到一個Response
Response包含：html，json，圖片，視頻等

#3、解析內容
解析html數據：正則表達式，第三方解析庫如Beautifulsoup，pyquery等
解析json數據：json模塊
解析二進制數據:以b的方式寫入文件

#4、保存數據
數據庫
文件

#http協(xié)議：http://www.cnblogs.com/linhaifeng/articles/8243379.html

#Request：用戶將自己的信息通過瀏覽器（socket client）發(fā)送給服務器（socket server）

#Response：服務器接收請求，分析用戶發(fā)來的請求信息，然后返回數據（返回的數據中可能包含其他鏈接，如：圖片，js，css等）

#ps：瀏覽器在接收Response后，會解析其內容來顯示給用戶，而爬蟲程序在模擬瀏覽器發(fā)送請求然后接收Response后，是要提取其中的有用數據。

#1、請求方式：
    常用的請求方式：GET，POST
    其他請求方式：HEAD，PUT，DELETE，OPTHONS

    ps：用瀏覽器演示get與post的區(qū)別，（用登錄演示post）

    post與get請求最終都會拼接成這種形式：k1=xxx&k2=yyy&k3=zzz
    post請求的參數放在請求體內：
        可用瀏覽器查看，存放于form data內
    get請求的參數直接放在url后

#2、請求url
    url全稱統(tǒng)一資源定位符，如一個網頁文檔，一張圖片
    一個視頻等都可以用url唯一來確定

    url編碼
    https://www.baidu.com/s?wd=圖片
    圖片會被編碼（看示例代碼）


    網頁的加載過程是：
    加載一個網頁，通常都是先加載document文檔，
    在解析document文檔的時候，遇到鏈接，則針對超鏈接發(fā)起下載圖片的請求

#3、請求頭
    User-agent：請求頭中如果沒有user-agent客戶端配置，
    服務端可能將你當做一個非法用戶
    host
    cookies：cookie用來保存登錄信息

    一般做爬蟲都會加上請求頭


#4、請求體
    如果是get方式，請求體沒有內容
    如果是post方式，請求體是format data

    ps：
    1、登錄窗口，文件上傳等，信息都會被附加到請求體內
    2、登錄，輸入錯誤的用戶名密碼，然后提交，就可以看到post，正確登錄后頁面通常會跳轉，無法捕捉到post 

#1、響應狀態(tài)
    200：代表成功
    301：代表跳轉
    404：文件不存在
    403：權限
    502：服務器錯誤

#2、Respone header
    set-cookie：可能有多個，是來告訴瀏覽器，把cookie保存下來
    
#3、preview就是網頁源代碼
    最主要的部分，包含了請求資源的內容
    如網頁html，圖片
    二進制數據等

#1、總結爬蟲流程：
    爬取--->解析--->存儲

#2、爬蟲所需工具：
    請求庫：requests,selenium
    解析庫：正則，beautifulsoup，pyquery
    存儲庫：文件，MySQL，Mongodb，Redis

#3、爬蟲常用框架：
    scrapy