|
python3.4學(xué)習(xí)筆記(十七) 網(wǎng)絡(luò)爬蟲使用Beautifulsoup4抓取內(nèi)容 Beautiful Soup 是用Python寫的一個(gè)HTML/XML的解析器，它可以很好的處理不規(guī)范標(biāo)記并生成剖析樹(parse tree)。 它提供簡單又常用的導(dǎo)航（navigating），搜索以及修改剖析樹的操作。它可以大大節(jié)省你的編程時(shí)間。 Beautiful Soup Documentation — Beautiful Soup 4.4.0 documentation [學(xué)習(xí)]用python的BeautifulSoup分析html - 三夜燈 - 博客園 Beautiful3 Soup documentation 中文文檔只有bs3的，最新的只有英文版的 熱血狂徒 / zyspider - 代碼托管 - 開源中國社區(qū) python3.4學(xué)習(xí)筆記(十三) 網(wǎng)絡(luò)爬蟲實(shí)例代碼，使用pyspider抓取多牛投資吧里面的文章信息，抓取政府網(wǎng)新聞內(nèi)容 - 流風(fēng)，飄然的風(fēng) - 博客園 ============================================ 一、使用pip直接安裝beautifulsoup4 （如何安裝pip請(qǐng)看上一篇文章介紹） F:\kanbox\pythoncode\zyspider>pip install beautifulsoup4 F:\kanbox\pythoncode\zyspider> 或者從官網(wǎng)下載Beautifulsoup的軟件包，然后解壓，cmd命令行進(jìn)入解壓包目錄，輸入以下命令安裝：python setup.py install =======================================  1 __author__ = 'zdz8207' 2 from bs4 import BeautifulSoup 3 4 import urllib.request 5 import urllib.parse 6 import re 7 import urllib.request, urllib.parse, http.cookiejar 8 9 def getHtml(url): 10 cj = http.cookiejar.CookieJar() 11 opener = urllib.request.build_opener(urllib.request.HTTPCookieProcessor(cj)) 12 opener.addheaders = [('User-Agent', 13 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.101 Safari/537.36'), 14 ('Cookie', '4564564564564564565646540')] 15 16 urllib.request.install_opener(opener) 17 18 html_bytes = urllib.request.urlopen(url).read() 19 html_string = html_bytes.decode('utf-8') 20 return html_string 21 22 html_doc = getHtml("http://zst./ssq/openInfo/") 23 soup = BeautifulSoup(html_doc, 'html.parser') 24 25 # print(soup.title) 26 #table = soup.find_all('table', class_='fzTab') 27 #print(table)#<tr onmouseout="this.style.background=''" 這種tr丟失了 28 #soup.strip() 加了strip后經(jīng)常出現(xiàn)find_all('tr') 只返回第一個(gè)tr 29 tr = soup.find('tr',attrs={"onmouseout": "this.style.background=''"}) 30 #print(tr) 31 tds = tr.find_all('td') 32 opennum = tds[0].get_text() 33 #print(opennum) 34 35 reds = [] 36 for i in range(2,8): 37 reds.append(tds[i].get_text()) 38 #print(reds) 39 blue = tds[8].get_text() 40 #print(blue) 41 42 #把list轉(zhuǎn)換為字符串:(',').join(list) 43 #最終輸出結(jié)果格式如：2015075期開獎(jiǎng)號(hào)碼：6,11,13,19,21,32, 藍(lán)球：4 44 print(opennum+'期開獎(jiǎng)號(hào)碼：'+ (',').join(reds)+", 藍(lán)球："+blue) python3.4學(xué)習(xí)筆記(十四) 網(wǎng)絡(luò)爬蟲實(shí)例代碼，抓取新浪愛彩雙色球開獎(jiǎng)數(shù)據(jù)實(shí)例 - 流風(fēng)，飄然的風(fēng) - 博客園 從上實(shí)例可以看出使用BeautifulSoup4對(duì)比直接使用字符串查找截取的方式要更加直觀和簡潔。 ======================================= Python2.7 安裝 beautifulsoup4-4.4.0 下載地址：http://www./software/BeautifulSoup/bs4/download/4.4/ python3.4中可以直接使用from bs4 import BeautifulSoup 注：在同一臺(tái)電腦上安裝2.7和3.4的會(huì)導(dǎo)致使用pip命令在2.7情況下安裝不了Beautifulsoup4 ======================================= 創(chuàng)建對(duì)象：str初始化，常用urllib2或browser返回的html初始化BeautifulSoup對(duì)象。 soup 就是BeautifulSoup處理格式化后的字符串，soup.title 得到的是title標(biāo)簽，soup.p 得到的是文檔中的第一個(gè)p標(biāo)簽，要想得到所有標(biāo)簽，得用find_all 函數(shù)。find_all 函數(shù)返回的是一個(gè)序列，可以對(duì)它進(jìn)行循環(huán)，依次得到想到的東西. get_text() 是返回文本,這個(gè)對(duì)每一個(gè)BeautifulSoup處理后的對(duì)象得到的標(biāo)簽都是生效的。你可以試試 print soup.p.get_text() 其實(shí)是可以獲得標(biāo)簽的其他屬性的，比如我要獲得a標(biāo)簽的href屬性的值，可以使用 print soup.a['href'],類似的其他屬性，比如class也是可以這么得到的（soup.a['class']）。 特別的，一些特殊的標(biāo)簽，比如head標(biāo)簽，是可以通過soup.head 得到，其實(shí)前面也已經(jīng)說了。 如何獲得標(biāo)簽的內(nèi)容數(shù)組？使用contents 屬性就可以 比如使用 print soup.head.contents，就獲得了head下的所有子孩子，以列表的形式返回結(jié)果， 可以使用 [num] 的形式獲得 ,獲得標(biāo)簽，使用.name 就可以。 獲取標(biāo)簽的孩子，也可以使用children，但是不能print soup.head.children 沒有返回列表，返回的是 <listiterator object at 0x108e6d150>, 不過使用list可以將其轉(zhuǎn)化為列表。當(dāng)然可以使用for 語句遍歷里面的孩子。 關(guān)于string屬性，如果超過一個(gè)標(biāo)簽的話，那么就會(huì)返回None，否則就返回具體的字符串print soup.title.string 就返回了 The Dormouse's story 超過一個(gè)標(biāo)簽的話，可以試用strings 向上查找可以用parent函數(shù)，如果查找所有的，那么可以使用parents函數(shù) 查找下一個(gè)兄弟使用next_sibling,查找上一個(gè)兄弟節(jié)點(diǎn)使用previous_sibling,如果是查找所有的，那么在對(duì)應(yīng)的函數(shù)后面加s就可以 如何遍歷樹？ 使用find_all 函數(shù) find_all(name, attrs, recursive, text, limit, **kwargs) 舉例說明： print soup.find_all('title') 返回值為： [<title>The Dormouse's story</title>] 通過css查找,直接上例子把： print soup.find_all("a", class_="sister") 通過屬性進(jìn)行查找 通過文本進(jìn)行查找 限制結(jié)果個(gè)數(shù) 結(jié)果為： [<a class="sister" href="http:///elsie" id="link1">Elsie</a>, <a class="sister" href="http:///lacie" id="link2">Lacie</a>, <a class="sister" href="http:///tillie" id="link3">Tillie</a>] 總之，通過這些函數(shù)可以查找到想要的東西。 ================================================= 最簡單的爬蟲，在Python3中，urllib庫可以獨(dú)立完成這些工作。下面是直接在python控制臺(tái)上輸入的代碼最簡單的爬蟲，可以獲取到原始字節(jié)及解碼后的文本。 >>> import urllib.request as request 其中origin_bytes現(xiàn)在得到了傳輸過來的原始字節(jié)，而origin_string則是將這些原始字節(jié)以UTF-8編碼方式解碼出來的原始字符串。 使用headers偽裝成瀏覽器進(jìn)行訪問 >>> import urllib.request as request 其中headers可以從瀏覽器的調(diào)試工具中看到，比如firefox中的firebug，可以復(fù)制curl內(nèi)容進(jìn)行分析。
|
|
|
