request庫(kù)雖然Python的標(biāo)準(zhǔn)庫(kù)中 urllib.request 模塊已經(jīng)包含了平常我們使用的大多數(shù)功能，但是它的 API 使用起來(lái)讓人感覺(jué)不太好，而 Requests 自稱 “HTTP for Humans”，說(shuō)明使用更簡(jiǎn)潔方便。 Requests 唯一的一個(gè)非轉(zhuǎn)基因的 Python HTTP 庫(kù)，人類可以安全享用。 Requests 繼承了urllib2的所有特性。Requests支持HTTP連接保持和連接池，支持使用cookie保持會(huì)話，支持文件上傳，支持自動(dòng)確定響應(yīng)內(nèi)容的編碼，支持國(guó)際化的 URL 和 POST 數(shù)據(jù)自動(dòng)編碼。 requests 的底層實(shí)現(xiàn)其實(shí)就是 urllib3。 Requests的文檔非常完備，中文文檔也相當(dāng)不錯(cuò)。Requests能完全滿足當(dāng)前網(wǎng)絡(luò)的需求，支持Python 2.6—3.6，而且能在PyPy下完美運(yùn)行。 1.1 requests庫(kù)特性。Requests庫(kù)是Python中的一個(gè)HTTP請(qǐng)求第三方庫(kù)，用來(lái)簡(jiǎn)化網(wǎng)絡(luò)請(qǐng)求， 它有如下特征，能夠完全滿足現(xiàn)在的Web開(kāi)發(fā)。 1.Keep-Alive & 連接池。 2.國(guó)際化域名和 URL。 3.帶持久 Cookie 的會(huì)話。 4.瀏覽器式的 SSL 認(rèn)證。 5.自動(dòng)內(nèi)容解碼。 6.基本/摘要式的身份認(rèn)證。 7.優(yōu)雅的 key/value Cookie。 8.自動(dòng)解壓。 9.Unicode 響應(yīng)體。 10.HTTP(S) 代理支持。 11.文件分塊上傳。 12.流下載。 13.連接超時(shí)。 14.分塊請(qǐng)求。 15.支持 .netrc。 1.2 requests庫(kù)安裝。requests庫(kù)的安裝可以通過(guò)pip install requests命令安裝或者利用easy_install都可以完成安裝，一般情況都是通過(guò)pip install requests命令安裝。 1.3 用requests庫(kù)發(fā)送請(qǐng)求。使用 Requests發(fā)送網(wǎng)絡(luò)請(qǐng)求非常簡(jiǎn)單。 第一步：需要導(dǎo)入 Requests 模塊： import requests 第二步：創(chuàng)建一個(gè)Response對(duì)象，我們可以各種通過(guò)HTTP請(qǐng)求類型從這個(gè)對(duì)象中獲取所有我們想要的信息。 例如：獲取 Github 的公共時(shí)間線。 Response = requests.get('https://api.github.com/events') Response = requests.post('http:///post', data = {'key':'value'}) Response = requests.put('http:///put', data = {'key':'value'}) Response = requests.delete('http:///delete') Response = requests.head('http:///get') Response = requests.options('http:///get') Get 、Post、PUT、DELETE、HEAD 以及 OPTIONS 都是requests 庫(kù)的HTTP請(qǐng)求類型，常用的一般是Get 、Post兩種，下面的教程也是以Get 、Post兩種為主介紹相關(guān)的使用。 1.4 帶參數(shù)的Get請(qǐng)求。通常一個(gè)get完整的URL是手工構(gòu)建的，數(shù)據(jù)會(huì)以鍵/值對(duì)的形式置于URL中，跟在一個(gè)問(wèn)號(hào)的后面。例如， /get?key=val。 Requests 允許你使用 params 關(guān)鍵字參數(shù)，以一個(gè)字符串字典來(lái)提供這些參數(shù)。舉例來(lái)說(shuō)，如果你想傳遞 key1=value1 和 key2=value2 到 /get ，那么你可以使用如下代碼： payload = {'key1': 'value1', 'key2': 'value2'} r = requests.get('http:///get', params=payload) print(r.url) 運(yùn)行結(jié)果： http:///get?key1=value1&key2=value2
注意字典里值為 None 的鍵都不會(huì)被添加到 URL 的查詢字符串里。 例子： import requests payload = {'key1': 'value1', 'key2': None,'key3':'value3'} r = requests.get('http:///get', params=payload) print(r.url) 運(yùn)行結(jié)果： http:///get?key3=value3&key1=value1 你還可以將一個(gè)列表作為值傳入。 例子： import requests payload = {'key1': 'value1', 'key2': ['value2', 'value3']} r = requests.get('http:///get', params=payload) print(r.url) 運(yùn)行結(jié)果： http:///get?key2=value2&key2=value3&key1=value1 1.5 Get請(qǐng)求帶headers 和 params查詢參數(shù)。Get請(qǐng)求如果想添加 headers，可以傳入headers參數(shù)來(lái)增加請(qǐng)求頭中的headers信息。如果要將參數(shù)放在url中傳遞，可以利用 params 參數(shù)。 例子： import requests kw = {'wd':'電影'} headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.99 Safari/537.36'} # params 接收一個(gè)字典或者字符串的查詢參數(shù)，字典類型自動(dòng)轉(zhuǎn)換為url編碼，不需要urlencode() response = requests.get('http://www.baidu.com/s?', params = kw, headers = headers) # 查看響應(yīng)內(nèi)容，response.text 返回的是Unicode格式的數(shù)據(jù)。 print(response.text) # 查看響應(yīng)內(nèi)容，response.content返回的字節(jié)流數(shù)據(jù)。 print(response.content) # 查看完整url地址。 print(response.url) # 查看響應(yīng)頭部字符編碼。 print(response.encoding) # 查看響應(yīng)碼。 print(response.status_code) 運(yùn)行結(jié)果： 說(shuō)明： 【response.text】：獲取響應(yīng)內(nèi)容。 【response.content】：也是獲取響應(yīng)內(nèi)容，但是返回的是字節(jié)流數(shù)據(jù)。 【response.url】：查看完整的請(qǐng)求URL。 【response.encoding】：查看響應(yīng)頭部字符編碼。 【response.status_code】：查看響應(yīng)狀態(tài)碼。 使用response.text 時(shí)，Requests 會(huì)基于 HTTP 響應(yīng)的文本編碼自動(dòng)解碼響應(yīng)內(nèi)容，大多數(shù) Unicode 字符集都能被無(wú)縫地解碼。 使用response.content 時(shí)，返回的是服務(wù)器響應(yīng)數(shù)據(jù)的原始二進(jìn)制字節(jié)流，可以用來(lái)保存圖片等二進(jìn)制文件。 1.6 Post請(qǐng)求。對(duì)于 POST 請(qǐng)求來(lái)說(shuō)，我們一般需要為它增加一些參數(shù)。那么最基本的傳參方法可以利用 data 這個(gè)參數(shù)。 例子： import requests payload = {'key1': 'value1', 'key2': 'value2'} ret = requests.post('http:///post', data=payload) print(ret.text) 運(yùn)行結(jié)果： {'args':{},'data':'','files':{},'form':{'key1':'value1','key2':'value2'},'headers':{'Accept':'*/*','Accept-Encoding':'gzip, deflate','Connection':'close','Content-Length':'23','Content-Type':'application/x-www-form-urlencoded','Host':'','User-Agent':'python-requests/2.18.4'},'json':null,'origin':'119.123.205.115','url':'http:///post'} 1.7 響應(yīng)內(nèi)容。requests模塊的返回對(duì)象是一個(gè)Response對(duì)象，可以從這個(gè)對(duì)象中獲取需要的信息。下面 r 代表Response對(duì)象。 【r.text】：文本響應(yīng)內(nèi)容。 【r.context】：二進(jìn)制響應(yīng)內(nèi)容。 【r.json()】：JSON響應(yīng)內(nèi)容 。 【r.raw】：原始相應(yīng)內(nèi)容。 （1）文本響應(yīng)內(nèi)容。 例子： import requests r = requests.get('https://api.github.com/events') print(r.text) 運(yùn)行結(jié)果： 對(duì)于非文本請(qǐng)求，你也能以字節(jié)的方式訪問(wèn)請(qǐng)求響應(yīng)體。 （2）二進(jìn)制響應(yīng)內(nèi)容。 對(duì)于非文本請(qǐng)求，你也能以字節(jié)的方式訪問(wèn)請(qǐng)求響應(yīng)體。 例子1： import requests r = requests.get('https://api.github.com/events') print(r.content) 運(yùn)行結(jié)果： Requests 會(huì)自動(dòng)為你解碼 gzip 和 deflate 傳輸編碼的響應(yīng)數(shù)據(jù)。 例子2，以請(qǐng)求返回的二進(jìn)制數(shù)據(jù)創(chuàng)建一張圖片。 from PIL import Image from io import BytesIO i = Image.open(BytesIO(r.content)) （3）JSON響應(yīng)內(nèi)容。 Requests 中也有一個(gè)內(nèi)置的 JSON 解碼器，助你處理 JSON 數(shù)據(jù)。 例子： import requests r = requests.get('https://github.com/timeline.json') print(r.json()) 運(yùn)行結(jié)果： 如果 JSON 解碼失敗， r.json 就會(huì)拋出一個(gè)異常。例如，相應(yīng)內(nèi)容是 401 (Unauthorized)，嘗試訪問(wèn) r.json 將會(huì)拋出 ValueError: No JSON object could be decoded 異常。 （4）Raw響應(yīng)內(nèi)容。 在罕見(jiàn)的情況下，你可能想獲取來(lái)自服務(wù)器的原始套接字響應(yīng)，那么你可以訪問(wèn) r.raw。 如果你確實(shí)想這么干，那請(qǐng)你確保在初始請(qǐng)求中設(shè)置了 stream=True。具體你可以這么做。 例子： import requests r = requests.get('https://github.com/timeline.json', stream=True) print(r.raw) 運(yùn)行結(jié)果： 但一般情況下，你應(yīng)該以下面的模式將文本流保存到文件。 with open(filename, 'wb') as fd: for chunk in r.iter_content(chunk_size): fd.write(chunk) 使用 Response.iter_content 將會(huì)處理大量你直接使用 Response.raw 不得不處理的。 當(dāng)流下載時(shí)，上面是優(yōu)先推薦的獲取內(nèi)容方式。 1.8 響應(yīng)碼轉(zhuǎn)碼。Requests會(huì)自動(dòng)將從Server返回的內(nèi)容解碼。許多Unicode字符也會(huì)被解碼。 請(qǐng)求發(fā)出后，Requests 會(huì)基于 HTTP 頭部對(duì)響應(yīng)的編碼作出有根據(jù)的推測(cè)。當(dāng)你訪問(wèn) r.text 之時(shí)，Requests 會(huì)使用其推測(cè)的文本編碼。你可以找出 Requests 使用了什么編碼，并且能夠使用r.encoding 屬性來(lái)改變它： 如果你改變了編碼，每當(dāng)你訪問(wèn) r.text ，Request 都將會(huì)使用 r.encoding 的新值。你可能希望在使用特殊邏輯計(jì)算出文本的編碼的情況下來(lái)修改編碼。比如 HTTP 和 XML 自身可以指定編碼。這樣的話，你應(yīng)該使用 r.content 來(lái)找到編碼，然后設(shè)置 r.encoding 為相應(yīng)的編碼。這樣就能使用正確的編碼解析 r.text 了。 在你需要的情況下，Requests 也可以使用定制的編碼。如果你創(chuàng)建了自己的編碼，并使用codecs 模塊進(jìn)行注冊(cè)，你就可以輕松地使用這個(gè)解碼器名稱作為 r.encoding 的值， 然后由 Requests 來(lái)為你處理編碼。 例子： import requests r = requests.get('https://api.github.com/events') print(r.text) print(r.encoding) r.encoding = 'ISO-8859-1' print(r.encoding) 運(yùn)行結(jié)果： 1.9 自定義請(qǐng)求頭。如果你想為請(qǐng)求添加 HTTP 頭部，只要簡(jiǎn)單地傳遞一個(gè) dict 給 headers 參數(shù)就可以了。 例如，在前一個(gè)示例中我們沒(méi)有指定 content-type。 import requests url = 'https://api.github.com/some/endpoint' headers = {'user-agent': 'my-app/0.0.1'} r = requests.get(url, headers=headers) 注意: 定制 header 的優(yōu)先級(jí)低于某些特定的信息源，例如： 1.如果在 .netrc 中設(shè)置了用戶認(rèn)證信息，使用 headers= 設(shè)置的授權(quán)就不會(huì)生效。而如果設(shè)置了auth= 參數(shù)，.netrc 的設(shè)置就無(wú)效了。 2.如果被重定向到別的主機(jī)，授權(quán) header 就會(huì)被刪除。 3.代理授權(quán) header 會(huì)被 URL 中提供的代理身份覆蓋掉。 4.在我們能判斷內(nèi)容長(zhǎng)度的情況下，header 的 Content-Length 會(huì)被改寫。 更進(jìn)一步講，Requests 不會(huì)基于定制 header 的具體情況改變自己的行為。只不過(guò)在最后的請(qǐng)求中，所有的 header 信息都會(huì)被傳遞進(jìn)去。 注意: 所有的 header 值必須是 string、bytestring 或者 unicode。盡管傳遞 unicode header 也是允許的，但不建議這樣做。 1.10 響應(yīng)狀態(tài)碼。我們可以通過(guò)r.status_code檢測(cè)響應(yīng)狀態(tài)碼。 例子: import requests r = requests.get('http:///get') print(r.status_code) 運(yùn)行結(jié)果： 為方便引用，Requests還附帶了一個(gè)內(nèi)置的狀態(tài)碼查詢對(duì)象。 r.status_code == requests.codes.ok 如果發(fā)送了一個(gè)錯(cuò)誤請(qǐng)求(一個(gè) 4XX 客戶端錯(cuò)誤，或者 5XX 服務(wù)器錯(cuò)誤響應(yīng))，我們可以通過(guò)Response.raise_for_status() 來(lái)拋出異常。 import requests r = requests.get('http:///get') print(r.status_code) 假如運(yùn)行的結(jié)果為：404，會(huì)報(bào)如下錯(cuò)誤： bad_r.raise_for_status() Traceback (most recent call last): File 'requests/models.py', line 832, in raise_for_status raise http_error requests.exceptions.HTTPError: 404 Client Error 但是，由于我們的例子中 r 的 status_code 是 200 ，當(dāng)我們調(diào)用 raise_for_status() 時(shí)，得到的是：None。 1.11 響應(yīng)頭。我們可以通過(guò)r.headers查看以一個(gè)請(qǐng)求的服務(wù)器響應(yīng)頭。 例子： import requests r = requests.get('http:///get') print(r.headers) 運(yùn)行結(jié)果： {'Server': 'gunicorn/19.8.1', 'Access-Control-Allow-Origin': '*', 'Content-Length': '211', 'Content-Type': 'application/json', 'Connection': 'keep-alive', 'Access-Control-Allow-Credentials': 'true', 'Date': 'Sun, 17 Jun 2018 03:21:54 GMT', 'Via': '1.1 vegur'} 返回的是一個(gè)字典，這個(gè)字典比較特殊：它是僅為 HTTP 頭部而生的，HTTP 頭部是大小寫不敏感的，因此，我們可以使用任意大寫形式來(lái)編寫這些響應(yīng)頭字段。 還有一個(gè)特殊點(diǎn)，那就是服務(wù)器可以多次接受同一 header，每次都使用不同的值。 Requests 會(huì)自動(dòng)將它們合并。 1.12 cookies我們可以通過(guò)r.cookies 去獲取一個(gè)請(qǐng)求的cookies，特別是在實(shí)戰(zhàn)中登錄模塊用的比較多，我們可以通過(guò)cookies進(jìn)行登錄。 例子1： import requests response = requests.get('http://www.baidu.com/') # 返回CookieJar對(duì)象: cookiejar = response.cookies # 將CookieJar轉(zhuǎn)為字典： cookiedict = requests.utils.dict_from_cookiejar(cookiejar) print(cookiejar) print(cookiedict) 運(yùn)行結(jié)果： 例子2：利用Cookie模擬登錄步驟： 1.在瀏覽器輸入http://demo.，輸入用戶名和密碼登錄。 2.登錄成功點(diǎn)“客戶管理”模塊。 3.進(jìn)入客戶管理模塊，顯示客戶列表。 4.通過(guò)抓包工具抓取客戶列表，得到登錄后的Cookie信息。 GET http://demo./customer/index.shtml HTTP/1.1 Host: demo. Connection: keep-alive Pragma: no-cache Cache-Control: no-cache Accept: */* X-Requested-With: XMLHttpRequest User-Agent: Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.139 Safari/537.36 Referer: http://demo./ Accept-Encoding: gzip, deflate Accept-Language: zh-CN,zh;q=0.9 Cookie: IEX-JSESSIONID=WFPlPUVbbbkQ76XPCr9tXRB4voK0eESo; Hm_lvt_4320d635415dcfd7831a11fa64aec173=1526347940; Hm_lpvt_4320d635415dcfd7831a11fa64aec173=1526347940; SPRING_SECURITY_REMEMBER_ME_COOKIE=UE9kSDFGMnVsS291S2Z2V1k5c1daQT09OjZxWFVDUUhoVmR2UTdsWnRFRnlZZ0E9PQ 5.利用sublime text工具處理抓到的http請(qǐng)求頭信息替換成字典。 選擇內(nèi)容替換的方式是用正則表達(dá)式。 內(nèi)容填寫：^(.*):\s(.*)$ （需要把header文件內(nèi)容處理成字典，中間有個(gè)空格，所以加個(gè)\s） 替換為填寫：'\1':'\2', 點(diǎn)全換，處理完成之后變成如下： 'Host':'demo.', 'Connection':'keep-alive', 'Pragma':'no-cache', 'Cache-Control':'no-cache', 'Accept':'*/*', 'X-Requested-With':'XMLHttpRequest', 'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.139 Safari/537.36', 'Referer':'http://demo./', 'Accept-Encoding':'gzip, deflate', 'Accept-Language':'zh-CN,zh;q=0.9', 'Cookie':'IEX-JSESSIONID=WFPlPUVbbbkQ76XPCr9tXRB4voK0eESo; Hm_lvt_4320d635415dcfd7831a11fa64aec173=1526347940; Hm_lpvt_4320d635415dcfd7831a11fa64aec173=1526347940; SPRING_SECURITY_REMEMBER_ME_COOKIE=UE9kSDFGMnVsS291S2Z2V1k5c1daQT09OjZxWFVDUUhoVmR2UTdsWnRFRnlZZ0E9PQ', 6. 處理完成之后直接拷貝到Python定義的頭信息變量headers={}里。 7. 整理headers 信息（去掉一些沒(méi)用的，保留一些重要的）。 'Connection':'keep-alive', 'X-Requested-With':'XMLHttpRequest', 'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.139 Safari/537.36', 'Referer':'http://demo./', 'Cookie':'IEX-JSESSIONID=WFPlPUVbbbkQ76XPCr9tXRB4voK0eESo; Hm_lvt_4320d635415dcfd7831a11fa64aec173=1526347940; Hm_lpvt_4320d635415dcfd7831a11fa64aec173=1526347940; SPRING_SECURITY_REMEMBER_ME_COOKIE=UE9kSDFGMnVsS291S2Z2V1k5c1daQT09OjZxWFVDUUhoVmR2UTdsWnRFRnlZZ0E9PQ', 8. 編寫完整的程序。 import requests from urllib import parse url ='http://demo./qhiex_login' headers ={ 'Referer': 'http://demo./', 'Connection': 'keep-alive', 'X-Requested-With': 'XMLHttpRequest', 'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.139 Safari/537.36', 'Content-Type': 'application/x-www-form-urlencoded', 'Accept-Language': 'zh-CN,zh;q=0.9', } data ={'username':'demo100','password':'demo100'} # 通過(guò)urlencode()轉(zhuǎn)碼 postdata = parse.urlencode(data).encode(encoding='UTF8') response = requests.post(url, data = postdata,headers=headers) # 返回CookieJar對(duì)象: cookiejar = response.cookies # 將CookieJar轉(zhuǎn)為字典： cookiedict = requests.utils.dict_from_cookiejar(cookiejar) print(cookiejar) print(cookiedict) #利用cookie登錄，訪問(wèn)客戶管理模塊 r=requests.get('http://demo./customer/index.shtml',headers=headers) # 響應(yīng)內(nèi)容轉(zhuǎn)碼 r.encoding = 'utf-8' #打印響應(yīng)內(nèi)容 print(r.text) 運(yùn)行結(jié)果： 可以看到客戶列表里的相關(guān)信息，證明是通過(guò)Cookie登錄成功，然后跳轉(zhuǎn)到客戶管理模塊，獲取的客戶信息。 1.13 Sission在 requests 里，session對(duì)象是一個(gè)非常常用的對(duì)象，這個(gè)對(duì)象代表一次用戶會(huì)話：從客戶端瀏覽器連接服務(wù)器開(kāi)始，到客戶端瀏覽器與服務(wù)器斷開(kāi)。 會(huì)話能讓我們?cè)诳缯?qǐng)求時(shí)候保持某些參數(shù)，比如在同一個(gè) Session 實(shí)例發(fā)出的所有請(qǐng)求之間保持 cookie 。 例子：利用Sission實(shí)現(xiàn)登錄。 import requests from urllib import parse url ='http://demo./qhiex_login' headers ={ 'Referer': 'http://demo./', 'Connection': 'keep-alive', 'X-Requested-With': 'XMLHttpRequest', 'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.139 Safari/537.36', 'Content-Type': 'application/x-www-form-urlencoded', 'Accept-Language': 'zh-CN,zh;q=0.9', } data ={'username':'demo100','password':'demo100'} # 創(chuàng)建session對(duì)象，可以保存Cookie值。 ssion = requests.session() # 發(fā)送附帶用戶名和密碼的請(qǐng)求，并獲取登錄后的Cookie值，保存在ssion里。 ssion.post('http://www.renren.com/PLogin.do', data = data) # ssion包含用戶登錄后的Cookie值，可以直接訪問(wèn)那些登錄后才可以訪問(wèn)的頁(yè)面。 r = ssion.get('http://demo./customer/index.shtml',headers=headers) # 響應(yīng)內(nèi)容轉(zhuǎn)碼。 r.encoding = 'utf-8' # 打印響應(yīng)內(nèi)容。 print(r.text) 運(yùn)行結(jié)果：
1.14 重定向和重定向歷史。默認(rèn)情況下，除了 HEAD, Requests 會(huì)自動(dòng)處理所有重定向。 可以使用響應(yīng)對(duì)象的 history 方法來(lái)追蹤重定向。 Response.history 是一個(gè) Response 對(duì)象的列表，為了完成請(qǐng)求而創(chuàng)建了這些對(duì)象。這個(gè)對(duì)象列表按照從最老到最近的請(qǐng)求進(jìn)行排序。 例如：Github 將所有的 HTTP 請(qǐng)求重定向到 HTTPS。 import requests r = requests.get('http://github.com') print(r.url) #'https://github.com/' print(r.status_code) # 200 print(r.history) #[<Response [301]>] 如果你使用的是GET、OPTIONS、POST、PUT、PATCH 或者 DELETE，那么你可以通過(guò) allow_redirects 參數(shù)禁用重定向處理： import requests r = requests.get('http://github.com',allow_redirects=False) print(r.status_code) # 301 print(r.history) #[] 如果你使用了 HEAD，你也可以啟用重定向： 例子： import requests r = requests.get('http://github.com',allow_redirects=False) print(r.url) #'https://github.com/' print(r.history) #[<Response [301]>] 1.15 請(qǐng)求超時(shí)設(shè)置。你可以告訴 requests 在經(jīng)過(guò)以 timeout 參數(shù)設(shè)定的秒數(shù)時(shí)間之后停止等待響應(yīng)。 requests.get('http://github.com', timeout=0.001) 1.16 代理（proxies參數(shù)）如果需要使用代理，你可以通過(guò)為任意請(qǐng)求方法提供 proxies 參數(shù)來(lái)配置單個(gè)請(qǐng)求。 例子： import requests # 根據(jù)協(xié)議類型，選擇不同的代理 proxies = { 'http': 'http://12.34.56.79:9527', 'https': 'http://12.34.56.79:9527', } response = requests.get('http://www.baidu.com', proxies = proxies) print response.text 也可以通過(guò)本地環(huán)境變量 HTTP_PROXY 和 HTTPS_PROXY 來(lái)配置代理： export HTTP_PROXY='http://12.34.56.79:9527' export HTTPS_PROXY='https://12.34.56.79:9527' 1.17 私密代理驗(yàn)證（特定格式） 和 Web客戶端驗(yàn)證（auth 參數(shù)）。urllib.request庫(kù) 的做法比較復(fù)雜，requests只需要一步。 1.私密代理。 例子： import requests # 如果代理需要使用HTTP Basic Auth，可以使用下面這種格式： proxy = { 'http': 'xny_123:abc123@61.158.163.130:16816' } response = requests.get('http://www.baidu.com', proxies = proxy) print(response.text) 2.web客戶端驗(yàn)證。 如果是Web客戶端驗(yàn)證，需要添加 auth = (賬戶名, 密碼)。 例子： import requests auth=('xiaony', 'xny123') response = requests.get('http://192.168.1.102', auth = auth) print(response.text) 1.18 處理HTTPS請(qǐng)求 SSL證書驗(yàn)證。Requests也可以為HTTPS請(qǐng)求驗(yàn)證SSL證書。 要想檢查某個(gè)主機(jī)的SSL證書，你可以使用 verify 參數(shù)（也可以不寫）。 例子： import requests r = requests.get('https://www.baidu.com/', verify=True) # 也可以省略不寫 # r = requests.get('https://www.baidu.com/') print(r.encoding) # 響應(yīng)轉(zhuǎn)碼 r.encoding = 'utf-8' print(r.text) 運(yùn)行結(jié)果： ------------------------------- 個(gè)人今日頭條賬號(hào)： 聽(tīng)海8 （上面上傳了很多相關(guān)學(xué)習(xí)的視頻以及我書里的文章，大家想看視頻，可以關(guān)注我的今日頭條）
|
|
|
