前言

好久沒有更新過了啊…請原諒我……

話不多說，進入正題！因為Python簡單靈活的特點，一直是寫爬蟲的熱門語言，我之前也分享過幾篇簡單的爬蟲例子和教程了，今天來說一說爬蟲框架Scrapy。
Scrapy是一款簡單高效的Python網(wǎng)絡(luò)爬蟲框架，使用框架，我們就可以只關(guān)注數(shù)據(jù)的提取而不用去自己造輪子了。其實，對于這個框架，我也是個新手…這里，就用我們學(xué)校的圖書館系統(tǒng)做個簡單的入門項目了。

安裝

先說一下我的Python是3.6版本的，電腦是win10。

Scrapy也可以直接用使用pip命令安裝：

因為Scrapy依賴了其他一些包，所以會額外安裝一些庫，如lxml、Twisted和pyOpenSSL等，這在文檔也有提到。我在安裝這些庫時有遇到一個問題，報了下面這個錯誤：

Command ''d:\program files\python3.6.1\python.exe' -u -c 'import setuptools, tokenize;__file__='C:\\Users\\ASUS\\AppData\\Local\\Temp\\pip-build-qkm97m8f\\Twisted\\setup.py';f=getattr(tokenize, 'open', open)(__file__);code=f.read().replace('\r\n', '\n');f.close();exec(compile(code, __file__, 'exec'))' install --record C:\Users\ASUS\AppData\Local\Temp\pip-e4cf8gml-record\install-record.txt --single-version-externally-managed --compile' failed with error code 1 in C:\Users\ASUS\AppData\Local\Temp\pip-build-qkm97m8f\Twisted\

可以看到是安裝Twisted出的問題，解決方法是在 這里 下載對應(yīng)版本的whl包，我的是Twisted-17.9.0-cp36-cp36m-win32.whl，cp后面是Python版本，win32表示位數(shù)，我的Python是32位的。

然后切換到下載目錄運行以下命令：

然后再安裝Scrapy就可以了。你會看到：

Successfully installed PyDispatcher-2.0.5 asn1crypto-0.24.0 cffi-1.11.4 cryptography-2.1.4 cssselect-1.0.3 parsel-1.4.0 pyOpenSSL-17.5.0 pyasn1-0.4.2 pyasn1-modules-0.2.1 pycparser-2.18 queuelib-1.4.2 scrapy-1.5.0 service-identity-17.0.0

創(chuàng)建項目

切換到你想放這個項目的目錄，執(zhí)行scrapy startproject projectname創(chuàng)建一個項目，如：

生成的項目結(jié)構(gòu)是這樣的：

scrapy_test/
    scrapy.cfg            # deploy configuration file
    scrapy_test/             # project's Python module, you'll import your code from here
        __init__.py
        items.py          # project items definition file
        middlewares.py    # project middlewares file
        pipelines.py      # project pipelines file
        settings.py       # project settings file
        spiders/          # a directory where you'll later put your spiders
            __init__.py

spiders目錄用于放置我們的爬蟲，items.py用于定義我們要獲取的數(shù)據(jù)，pipelines.py定義存儲，settings.py顧名思義就是配置文件了。

編寫代碼

第一步我們先定義要存儲什么字段，這里就定義書名、作者和索引號吧，編寫items.py：

接下來我們在spiders目錄下編寫爬蟲文件，我這里新建一個books_spider.py文件，代碼如下：

import scrapy
from scrapy_test.items import BooksItem
class BooksSpider(scrapy.Spider):
    '''圖書爬蟲類'''
    # 這個name不能重復(fù)
    name = 'books'
    # allowed_domains = ['202.116.174.108:8080']
    start_urls = ['http://202.116.174.108:8080/top/top_lend.php?cls_no=ALL']
    def parse(self, response):
        '''處理下載的response的默認(rèn)方法'''
        books = []
        for item in response.xpath('//tr')[1:]:
            book = BooksItem()
            book_name = item.xpath('td[2]/a/text()').extract()
            book_author = item.xpath('td[3]/text()').extract()
            book_call_number = item.xpath('td[5]/text()').extract()
            book['name'] = book_name[0]
            book['author'] = book_author[0]
            book['call_number'] = book_call_number[0]
            books.append(book)
        return books

這個類繼承scrapy.Spider，需要指定name，它是運行爬蟲用的，start_urls是要爬取的url列表，parse函數(shù)接收獲取到的response解析用的是scrapy自帶的xpath,這個網(wǎng)頁的結(jié)構(gòu)很簡單，所以就不多解釋了?？傊褪潜闅v每一本書的信息，然后存在books中。這些信息在之前的item中已經(jīng)定義了。
代碼的編寫到這里就結(jié)束了，接下來就可以運行了。

運行代碼

要運行代碼，切換到項目的目錄里，執(zhí)行下面的命令，其中books就是上面的name，books.json就是生成的json文件：

開始運行時，出現(xiàn)了一個問題，就是沒報錯，但沒有結(jié)果，輸出一片空白，然后發(fā)現(xiàn)下面的提示：

DEBUG: Forbidden by robots.txt

這是因為要獲取的頁面在robots中被禁止了，所以Scrapy自動忽略了，只需修改settings.py將：ROBOTSTXT_OBEY改為False就行了。

后來又遇到了亂碼的問題，輸出全是\uxxx這種字符，只要在settings.py加上FEED_EXPORT_ENCODING = 'utf-8'就可以。

沒報錯執(zhí)行完上面的命令之后就會在根目錄生成一個books.json文件，打開，就會看到保存下來的json格式圖書信息：

我們的Scrapy入門項目就完成了！