大家好，我是Python進(jìn)階者。

一、前言

前幾天有個(gè)粉絲找我獲取基金信息，這里拿出來(lái)分享一下，感興趣的小伙伴們，也可以積極嘗試。

二、數(shù)據(jù)獲取

這里我們的目標(biāo)網(wǎng)站是某基金官網(wǎng)，需要抓取的數(shù)據(jù)如下圖所示。

可以看到上圖中基金代碼那一列，有不同的數(shù)字，隨機(jī)點(diǎn)擊一個(gè)，可以進(jìn)入到基金詳情頁(yè)，鏈接也非常有規(guī)律，以基金代碼作為標(biāo)志的。

其實(shí)這個(gè)網(wǎng)站倒是不難，數(shù)據(jù)什么的，都沒(méi)有加密，網(wǎng)頁(yè)上的信息，在源碼中都可以直接看到。

這樣就降低了抓取難度了。通過(guò)瀏覽器抓包的方法，可以看到具體的請(qǐng)求參數(shù)，而且可以看到請(qǐng)求參數(shù)中只有pi在變化，而這個(gè)值恰好對(duì)應(yīng)的是頁(yè)面，直接構(gòu)造請(qǐng)求參數(shù)就可以了。

代碼實(shí)現(xiàn)過(guò)程

找到數(shù)據(jù)源之后，接下來(lái)就是代碼實(shí)現(xiàn)了，一起來(lái)看看吧，這里給出部分關(guān)鍵代碼。

獲取股票id數(shù)據(jù)

response = requests.get(url, headers=headers, params=params, verify=False)
    pattern = re.compile(r'.*?"(?P<items>.*?)".*?', re.S)
    result = re.finditer(pattern, response.text)
    ids = []
    for item in result:
        # print(item.group('items'))
        gp_id = item.group('items').split(',')[0]

結(jié)果如下圖所示：

之后構(gòu)造詳情頁(yè)鏈接，獲取詳情頁(yè)的基金信息，關(guān)鍵代碼如下：

response = requests.get(url, headers=headers)
response.encoding = response.apparent_encoding
selectors = etree.HTML(response.text)
danweijingzhi1 = selectors.xpath('//dl[@class="dataItem02"]/dd[1]/span[1]/text()')[0]
danweijingzhi2 = selectors.xpath('//dl[@class="dataItem02"]/dd[1]/span[2]/text()')[0]
leijijingzhi = selectors.xpath('//dl[@class="dataItem03"]/dd[1]/span/text()')[0]
lst = selectors.xpath('//div[@class="infoOfFund"]/table//text()')

結(jié)果如下圖所示：

將具體的信息做相應(yīng)的字符串處理，然后保存到csv文件中，結(jié)果如下圖所示：

有了這個(gè)，你可以做進(jìn)一步的統(tǒng)計(jì)和數(shù)據(jù)分析了。

三、總結(jié)

大家好，我是Python進(jìn)階者。這篇文章主要分享了使用Python網(wǎng)絡(luò)爬蟲(chóng)獲取基金數(shù)據(jù)信息，這個(gè)項(xiàng)目不算太難，里邊稍微有點(diǎn)小坑，歡迎大家積極嘗試，如果有遇到問(wèn)題，請(qǐng)?zhí)砑游液糜?，我?guī)椭鉀Q。

這篇文章主要是以【股票型】的分類做了抓取，其他的類型，我就沒(méi)做了，歡迎大家嘗試，其實(shí)邏輯都是一樣的，改下參數(shù)就可以了。