#!/usr/bin/env python
#-*- coding: utf-8 -*-
import requests
from bs4 import BeautifulSoup
# 加上请求头，模拟浏览器访问，防止被发现是爬虫
headers = {
'User-Agent':
'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.98 Safari/537.36'
}
def download(url):
r = requests.get(url)
if r.status_code != 200:
return
#http://img.ui.cn/data/file/2/5/2/909252.jpg
# split，获取最后一个/和.之间的数字作为文件名
filename = url.split("/")[-1].split(".")[-2]
target = "./{}.jpg".format(filename)
with open(target, "wb") as fs:
fs.write(r.content)
print("%s => %s" % (url, target))
def main():
# 获取1 ~ 10页的图片
for page in range(1, 10):
# 找规律，发现只有替换请求链接的page参数即可进入相应页面
url = "http://www.ui.cn/?p={}#project".format(page)
r = requests.get(url,headers=headers)
# 检查是否正常访问，异常访问返回的状态码不是200，异常就跳过
if r.status_code != 200:
continue
# 提取页面的图片，得到地址，然后下载
soup = BeautifulSoup(r.text, "html.parser")
imgs = soup.select('ul > li > div.cover.pos > a > img')
for img in imgs:
src = img.get("data-original")
download(src)
if __name__ == '__main__':
main()
从网站爬取图片下载到本地
最后编辑于 ：
©著作权归作者所有,转载或内容合作请联系作者
- 文/潘晓璐 我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
- 文/花漫 我一把揭开白布。 她就那样静静地躺着，像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上，一...
- 文/苍兰香墨 我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
推荐阅读更多精彩内容
- ···import requestsimport osurl = "http://g.hiphotos.baidu...
- 最近由于需要对即将上线的APP进行内测，需要上传车源图片进行测试，这个时候我就想到了二手车之家的大量车源图片，可爬...
