以『B站』為實(shí)戰(zhàn)案例！手把手教你掌握爬蟲必備框架『Scrapy』

wxsjbcf 2021-03-30

展開全文

前言

作為爬蟲一員，掌握一門爬蟲框架是必備技能，因此作為一名小白的你，我想向你推薦『Scrapy』。

具體『Scrapy』是什么，作用這些就不啰嗦（都是廢話，百度有Scrapy簡(jiǎn)介），時(shí)間寶貴，就直接上干貨（實(shí)戰(zhàn)案例帶你體驗(yàn)scrapy的使用）。

下面會(huì)以『B站』為目標(biāo)進(jìn)行實(shí)戰(zhàn)！

Scrapy入門實(shí)戰(zhàn)

1.環(huán)境準(zhǔn)備

安裝scrapy

pip install scrapy

通過上面這個(gè)命令即可直接安裝好scrapy庫

2.建立scrapy項(xiàng)目

scrapy startproject Bili

通過上面這個(gè)命令可以建立一個(gè)項(xiàng)目名稱：Bili 的爬蟲項(xiàng)目。

這里就可以在桌面建立了一個(gè)名字為：Bili 的爬蟲項(xiàng)目

項(xiàng)目結(jié)構(gòu)

Bili ├── Bili │ ├── __init__.py │ ├── items.py │ ├── middlewares.py │ ├── pipelines.py │ ├── __pycache__ │ ├── settings.py │ └── spiders │ ├── __init__.py │ └── __pycache__ └── scrapy.cfg

各個(gè)文件作用

scrapy.cfg：項(xiàng)目的總配置文件，通常無須修改。

Bili：項(xiàng)目的 Python 模塊，程序?qū)拇颂帉?dǎo)入 Python 代碼。
Bili/items.py：用于定義項(xiàng)目用到的 Item 類。Item 類就是一個(gè) DTO（數(shù)據(jù)傳輸對(duì)象），通常就是定義 N 個(gè)屬性，該類需要由開發(fā)者來定義。

Bili/pipelines.py：項(xiàng)目的管道文件，它負(fù)責(zé)處理爬取到的信息。該文件需要由開發(fā)者編寫。

Bili/settings.py：項(xiàng)目的配置文件，在該文件中進(jìn)行項(xiàng)目相關(guān)配置。

Bili/spiders：在該目錄下存放項(xiàng)目所需的蜘蛛，蜘蛛負(fù)責(zé)抓取項(xiàng)目感興趣的信息。

3.明確爬取內(nèi)容

https://search.bilibili.com/all?keyword=%E8%AF%BE%E7%A8%8B&page=2

以上面鏈接為例（B站），爬取視頻的標(biāo)題（title）和鏈接（url）

4.定義項(xiàng)目中每一個(gè)類

Items類

import scrapy

class BiliItem(scrapy.Item): # define the fields for your item here like: # name = scrapy.Field() #pass # 視頻標(biāo)題 title = scrapy.Field() # 鏈接 url = scrapy.Field()

爬取字段是視頻的標(biāo)題（title）和鏈接（url），所以對(duì)于了title和url兩個(gè)變量

定義spider類

spider類作用是自定義網(wǎng)頁解析規(guī)則（新建scrapy項(xiàng)目是沒有的，需要自己新建）。

Scrapy 為創(chuàng)建 Spider 提供了 scrapy genspider 命令，該命令的語法格式如下：

scrapy genspider [options] <name> <domain>

在命令行窗口中進(jìn)入 Bili 目錄下，然后執(zhí)行如下命令即可創(chuàng)建一個(gè) Spider：

scrapy genspider lyc 'bilibili.com'

運(yùn)行上面命令，即可在 Bili 項(xiàng)目的 Bili /spider 目錄下找到一個(gè) lyc.py 文件
編輯lyc.py

import scrapyfrom Bili.items import BiliItem
class LycSpider(scrapy.Spider):    name = 'lyc'    allowed_domains = ['bilibili.com']    start_urls = ['https://search.bilibili.com/all?keyword=課程&page=2']
    # 爬取的方法    def parse(self, response):        item = BiliItem()        # 匹配        for jobs_primary in response.xpath('//*[@id='all-list']/div[1]/ul/li'):            item['title'] = jobs_primary.xpath('./a/@title').extract()            item['url'] = jobs_primary.xpath('./a/@href').extract()            # 不能使用return            yield item
        # pass

修改pipeline類

這個(gè)類是對(duì)爬取的文件最后的處理,一般為負(fù)責(zé)將所爬取的數(shù)據(jù)寫入文件或數(shù)據(jù)庫中.。
這里我們將它輸出到控制臺(tái).

from itemadapter import ItemAdapter

class BiliPipeline: def process_item(self, item, spider): print('title:', item['title']) print('url:', item['url'])

修改settings類

BOT_NAME = 'Bili'
SPIDER_MODULES = ['Bili.spiders']NEWSPIDER_MODULE = 'Bili.spiders'
# Crawl responsibly by identifying yourself (and your website) on the user-agent#USER_AGENT = 'Bili (+http://www.)'
# Obey robots.txt rulesROBOTSTXT_OBEY = True# 配置默認(rèn)的請(qǐng)求頭DEFAULT_REQUEST_HEADERS = {    'User-Agent' : 'Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:61.0) Gecko/20100101 Firefox/61.0',    'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8'}# Configure item pipelines# See https://docs./en/latest/topics/item-pipeline.htmlITEM_PIPELINES = {    'Bili.pipelines.BiliPipeline': 300,}

一個(gè) Scarpy項(xiàng)目的簡(jiǎn)單架構(gòu)就完成了我們可以運(yùn)行一下試試.

啟動(dòng)項(xiàng)目

scrapy crawl lyc

但只有一頁的內(nèi)容 , 我們可以解析下一頁 .
將以下代碼加到 lyc.py

import scrapyfrom Bili.items import BiliItem
class LycSpider(scrapy.Spider):    name = 'lyc'    allowed_domains = ['bilibili.com']    start_urls = ['https://search.bilibili.com/all?keyword=課程&page=2']
    # 爬取的方法    def parse(self, response):        item = BiliItem()        # 匹配        for jobs_primary in response.xpath('//*[@id='all-list']/div[1]/ul/li'):            item['title'] = jobs_primary.xpath('./a/@title').extract()            item['url'] = jobs_primary.xpath('./a/@href').extract()            # 不能使用return            yield item
        # 獲取當(dāng)前頁的鏈接        url = response.request.url        # page +1        new_link = url[0:-1]+str(int(url[-1])+1)        # 再次發(fā)送請(qǐng)求獲取下一頁數(shù)據(jù)        yield scrapy.Request(new_link, callback=self.parse)

下一頁爬取

本站是提供個(gè)人知識(shí)管理的網(wǎng)絡(luò)存儲(chǔ)空間，所有內(nèi)容均由用戶發(fā)布，不代表本站觀點(diǎn)。請(qǐng)注意甄別內(nèi)容中的聯(lián)系方式、誘導(dǎo)購(gòu)買等信息，謹(jǐn)防詐騙。如發(fā)現(xiàn)有害或侵權(quán)內(nèi)容，請(qǐng)點(diǎn)擊一鍵舉報(bào)。

轉(zhuǎn)藏 分享

QQ空間 QQ好友新浪微博微信

獻(xiàn)花（0） +1

來自： wxsjbcf > 《Python》

舉報(bào)/認(rèn)領(lǐng)