Requests 是用Python語言編寫,基于 urllib,采用 Apache2 Licensed 開源協(xié)議的 HTTP 庫。它比 urllib 更加方便,可以節(jié)約我們大量的工作,完全滿足 HTTP 測試需求。Requests 的哲學是以 PEP 20 的習語為中心開發(fā)的,所以它比 urllib 更加 Pythoner。更重要的一點是它支持 Python3 哦!
- Beautiful is better than ugly.(美麗優(yōu)于丑陋)
- Explicit is better than implicit.(清楚優(yōu)于含糊)
- Simple is better than complex.(簡單優(yōu)于復雜)
- Complex is better than complicated.(復雜優(yōu)于繁瑣)
- Readability counts.(重要的是可讀性)
一、安裝 Requests
通過pip安裝
或者,下載代碼后安裝:
Code example:1 2 3 | $ git clone git: //github .com /kennethreitz/requests .git
$ cd requests
$ python setup.py install
|
再懶一點,通過IDE安裝吧,如pycharm!
二、發(fā)送請求與傳遞參數(shù)
先來一個簡單的例子吧!讓你了解下其威力:
Code example:1 2 3 4 5 6 7 | import requests
r = requests.get(url = 'http://www.' ) # 最基本的GET請求
print (r.status_code) # 獲取返回狀態(tài)
r = requests.get(url = 'http://dict.baidu.com/s' , params = { 'wd' : 'python' }) #帶參數(shù)的GET請求
print (r.url)
print (r.text) #打印解碼后的返回數(shù)據(jù)
|
很簡單吧!不但GET方法簡單,其他方法都是統(tǒng)一的接口樣式哦!
requests.get(‘https://github.com/timeline.json’) #GET請求
requests.post(“http:///post”) #POST請求
requests.put(“http:///put”) #PUT請求
requests.delete(“http:///delete”) #DELETE請求
requests.head(“http:///get”) #HEAD請求
requests.options(“http:///get”) #OPTIONS請求
PS:以上的HTTP方法,對于WEB系統(tǒng)一般只支持 GET 和 POST,有一些還支持 HEAD 方法。
帶參數(shù)的請求實例:
Code example:1 2 3 | import requests
requests.get( 'http://www.dict.baidu.com/s' , params = { 'wd' : 'python' }) #GET參數(shù)實例
requests.post( 'http://www./wp-comments-post.php' , data = { 'comment' : '測試POST' }) #POST參數(shù)實例
|
POST發(fā)送JSON數(shù)據(jù):
Code example:1 2 3 4 5 | import requests
import json
r = requests.post( 'https://api.github.com/some/endpoint' , data = json.dumps({ 'some' : 'data' }))
print (r.json())
|
定制header:
Code example:1 2 3 4 5 6 7 8 9 | import requests
import json
data = { 'some' : 'data' }
headers = { 'content-type' : 'application/json' ,
'User-Agent' : 'Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:22.0) Gecko/20100101 Firefox/22.0' }
r = requests.post( 'https://api.github.com/some/endpoint' , data = data, headers = headers)
print (r.text)
|
三、Response對象
使用requests方法后,會返回一個response對象,其存儲了服務器響應的內(nèi)容,如上實例中已經(jīng)提到的 r.text、r.status_code……
獲取文本方式的響應體實例:當你訪問 r.text 之時,會使用其響應的文本編碼進行解碼,并且你可以修改其編碼讓 r.text 使用自定義的編碼進行解碼。
Code example:1 2 3 4 | r = requests.get( 'http://www.' )
print (r.text, '\n{}\n' . format ( '*' * 79 ), r.encoding)
r.encoding = 'GBK'
print (r.text, '\n{}\n' . format ( '*' * 79 ), r.encoding)
|
其他響應:
r.status_code #響應狀態(tài)碼
r.raw #返回原始響應體,也就是 urllib 的 response 對象,使用 r.raw.read() 讀取
r.content #字節(jié)方式的響應體,會自動為你解碼 gzip 和 deflate 壓縮
r.text #字符串方式的響應體,會自動根據(jù)響應頭部的字符編碼進行解碼
r.headers #以字典對象存儲服務器響應頭,但是這個字典比較特殊,字典鍵不區(qū)分大小寫,若鍵不存在則返回None
#*特殊方法*#
r.json() #Requests中內(nèi)置的JSON解碼器
r.raise_for_status() #失敗請求(非200響應)拋出異常
案例之一:
Code example:1 2 3 4 5 6 7 8 9 10 11 | import requests
URL = 'http://ip.taobao.com/service/getIpInfo.php' # 淘寶IP地址庫API
try :
r = requests.get(URL, params = { 'ip' : '8.8.8.8' }, timeout = 1 )
r.raise_for_status() # 如果響應狀態(tài)碼不是 200,就主動拋出異常
except requests.RequestException as e:
print (e)
else :
result = r.json()
print ( type (result), result, sep = '\n' )
|
四、上傳文件
使用 Requests 模塊,上傳文件也是如此簡單的,文件的類型會自動進行處理:
Code example:1 2 3 4 5 6 7 8 | import requests
url = 'http://127.0.0.1:5000/upload'
files = { 'file' : open ( '/home/lyb/sjzl.mpg' , 'rb' )}
#files = {'file': ('report.jpg', open('/home/lyb/sjzl.mpg', 'rb'))} #顯式的設置文件名
r = requests.post(url, files = files)
print (r.text)
|
更加方便的是,你可以把字符串當著文件進行上傳:
Code example:1 2 3 4 5 6 7 | import requests
url = 'http://127.0.0.1:5000/upload'
files = { 'file' : ( 'test.txt' , b 'Hello Requests.' )} #必需顯式的設置文件名
r = requests.post(url, files = files)
print (r.text)
|
五、身份驗證
基本身份認證(HTTP Basic Auth):
Code example:1 2 3 4 5 6 | import requests
from requests.auth import HTTPBasicAuth
r = requests.get( 'https:///hidden-basic-auth/user/passwd' , auth = HTTPBasicAuth( 'user' , 'passwd' ))
# r = requests.get('https:///hidden-basic-auth/user/passwd', auth=('user', 'passwd')) # 簡寫
print (r.json())
|
另一種非常流行的HTTP身份認證形式是摘要式身份認證,Requests對它的支持也是開箱即可用的:
Code example:1 | requests.get(URL, auth = HTTPDigestAuth( 'user' , 'pass' ))
|
六、Cookies與會話對象
如果某個響應中包含一些Cookie,你可以快速訪問它們:
Code example:1 2 3 4 5 | import requests
r = requests.get( 'http://www./' )
print (r.cookies[ 'NID' ])
print ( tuple (r.cookies))
|
要想發(fā)送你的cookies到服務器,可以使用 cookies 參數(shù):
Code example:1 2 3 4 5 6 7 | import requests
url = 'http:///cookies'
cookies = { 'testCookies_1' : 'Hello_Python3' , 'testCookies_2' : 'Hello_Requests' }
# 在Cookie Version 0中規(guī)定空格、方括號、圓括號、等于號、逗號、雙引號、斜杠、問號、@,冒號,分號等特殊符號都不能作為Cookie的內(nèi)容。
r = requests.get(url, cookies = cookies)
print (r.json())
|
會話對象讓你能夠跨請求保持某些參數(shù),最方便的是在同一個Session實例發(fā)出的所有請求之間保持cookies,且這些都是自動處理的,甚是方便。
下面就來一個真正的實例,如下是快盤簽到腳本:
Code example:1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 | import requests
headers = { 'Accept' : 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8' ,
'Accept-Encoding' : 'gzip, deflate, compress' ,
'Accept-Language' : 'en-us;q=0.5,en;q=0.3' ,
'Cache-Control' : 'max-age=0' ,
'Connection' : 'keep-alive' ,
'User-Agent' : 'Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:22.0) Gecko/20100101 Firefox/22.0' }
s = requests.Session()
s.headers.update(headers)
# s.auth = ('superuser', '123')
s.get( 'https://www./account_login.htm' )
_URL = 'http://www./index.php'
s.post(_URL, params = { 'ac' : 'account' , 'op' : 'login' },
data = { 'username' : '****@foxmail.com' , 'userpwd' : '********' , 'isajax' : 'yes' })
r = s.get(_URL, params = { 'ac' : 'zone' , 'op' : 'taskdetail' })
print (r.json())
s.get(_URL, params = { 'ac' : 'common' , 'op' : 'usersign' })
|
七、超時與異常
timeout 僅對連接過程有效,與響應體的下載無關。
Code example:1 2 3 4 | >>> requests.get( 'http://github.com' , timeout = 0.001 )
Traceback (most recent call last):
File "<stdin>" , line 1 , in <module>
requests.exceptions.Timeout: HTTPConnectionPool(host = 'github.com' , port = 80 ): Request timed out. (timeout = 0.001 )
|
所有Requests顯式拋出的異常都繼承自 requests.exceptions.RequestException:ConnectionError、HTTPError、Timeout、TooManyRedirects。
更多高級功能請訪問官方網(wǎng)站手冊:http://cn./en/latest/
|