7-23
抓取今日头条街拍美图
1.ajax请求
2.mangodb数据库
3.创建文件夹下载图片
ajax请求
先分析网站的源码
检查——network——勾选preserve log——刷新页面 但是还是找不到想要的
XHR 查看 说明网页是动态变化,offset变化显示页面内容,data是json数据
接着就是解析详情页面,并提取title, 和图片url, 详情页代码数据在network——Doc中查看, 注意提取的是组图,非组图被过滤了.url_list 是指三个地址都是图片的地址,我们只要有一个原始的url就可以了。
发现图集的url都在键的键值中
mangodb
首先需要创建一个数据库,建立配置文件config.py
然后存储数据
创建文件夹下载图片
利用pathlib库根据传入的目录名创建一个文件目录
具体代码机内容参照https://blog.csdn.net/choven_meng/article/details/78581936