發(fā)布時(shí)間:2017-08-10 來源:未知 瀏覽:2513 背景:某App的token有時(shí)效性,大概生命周期只有一小時(shí)。因此爬蟲中不能使用一個(gè)固定的token去抓數(shù)據(jù),必須要定時(shí)獲取新的token值。但token的產(chǎn)生過程復(fù)雜難以直接實(shí)現(xiàn)。 鯤之鵬的技術(shù)人員經(jīng)過研究,最后采用了“曲線救國”的方法,通過程序模擬操作App(啟動),定時(shí)產(chǎn)生新的token,然后利用Fiddler2捕獲這個(gè)token并記錄到指定文件中(爬蟲定時(shí)讀取這個(gè)文件獲取新的token)。 用Fiddler2捕獲App的數(shù)據(jù)包這個(gè)方法在我們之前的文章里已經(jīng)多次提到,如果你還不熟悉,可以看看這里http://www./html/articles/20170116/134.html。今天我們重點(diǎn)講的是如何讓Fiddler2自動將捕獲到的特定參數(shù)記錄到指定文件中去。 這要?dú)w功于Fiddler2的Custom Rules功能,我們可以在Custom Rules中添加腳本(JavaScript)來實(shí)現(xiàn)自定義的功能。官網(wǎng)示例文檔:http://docs./fiddler/KnowledgeBase/FiddlerScript/ModifyRequestOrResponse。 具體操作步驟如下: 第一步:啟動Fiddler ScriptEditor。"菜單欄Rules -> Customize Rules...."如下圖所示: 第二步:找到OnBeforeRequest()方法,插入如下代碼:
第三步:保存腳本并測試(保存后立即生效,無需重啟Fiddler)。測試結(jié)果如下圖所示。 |
|