前言
一般开发爬虫的时候,最心烦的不是它的反爬有多复杂,而是它的参数贼多,要一个个的复制进去。
所以自己写了一个小工具,把抓包抓到的 header、data、cookie 这些参数转换成 python 代码。
大大的提高开发效率,其实代码之前已经开源了,不过用起来不太方便,于是最近就把它弄到了线上,用起来方便多了。
涉及到的工具或技术
- Python 3.7
- Fiddler v5.0
- Charles v4.2.8
小工具
在线转换的工具网站: https://alisen39.com/
将 webForms 的数据转成 dict 格式
工具地址: https://alisen39.com/FiddlerData
在 Fiddler 里面,webForms 的数据是 POST 请求所带的参数
图片
可以直接将其复制出来然后转换成 dict 格式,如下:
图片
然后将转换后的结果直接复制到你的爬虫代码里面就可以使用了!
将 Header 数据转成 dict 格式
工具地址: https://alisen39.com/FiddlerHeader
Fiddler 里的 Header 部分,在 Raw 选项里面:
图片
将其复制出来,然后粘贴到左边:
图片
将 Cookies 的数据转成 dict 格式
工具地址: https://alisen39.com/FiddlerCookie
Fiddler 里抓到的 Cookies 数据:
图片
将其复制出来,然后粘贴到左边:
图片
重磅工具!将 raw 的数据转成 reqeusts代码
最重磅的一个功能!直接将包的内容转成python代码,真心节省90%的时间。
摁头推荐!!!
工具地址:https://alisen39.com/HttpRaw
复制抓到的Raw信息,从Fiddler或者Charles里都可以。
图片
将其复制出来,然后粘贴到左边:
图片
再将右边的代码复制到你的IDE里面去
图片
就这么esay了。