你是无意穿堂风 偏偏孤倨引山洪
爬虫引发的问题
网络爬虫的规模：
规模
爬虫带来的问题：
- “骚扰”服务器
- 法律风险
- 隐私泄露
如：
问题1
网络爬虫的限制：
限制
Robots协议
协议
京东官网的robots协议案例
京东官网的robots协议
拓展查看：
http://www.baidu.com/robots.txt
http://www.qq.com/robots.txt
Robots协议的使用：
使用1
实例1 爬京东商品页面
目标url：
https://item.jd.com/4099139.html
目标url内容
# -*- coding: utf-8 -*-
import requests
url = "https://item.jd.com/4099139.html"
try:
r = requests.get(url)
r.raise_for_status()
r.encoding = r.apparent_encoding
print(r.text[:1000])
except:
print("爬取失败")
实例2 爬亚马逊商品
目标url：
https://www.amazon.cn/gp/product/B01M8L5Z3Y
url内容
# -*- coding: utf-8 -*-
import requests
url = "https://www.amazon.cn/gp/product/B01M8L5Z3Y"
r = requests.get(url)
print(r.status_code)
print(r.encoding)
r.encoding = r.apparent_encoding
print(r.request.headers)
print(r.text)
kv = {'user-agent':'Mozilla/5.0'}
r = requests.get(url, headers=kv)
print(r.status_code)
print(r.request.headers)
print(r.text[:1000])
# -*- coding: utf-8 -*-
import requests
url = "https://www.amazon.cn/gp/product/B01M8L5Z3Y"
try:
kv = {'user-agent':'Mozilla/5.0'}
r = requests.get(url, headers=kv)
print(r.request.headers)
print(r.status_code)
r.raise_for_status()
r.encoding = r.apparent_encoding
print(r.text[:1000])
except:
print("Error")
实例3 百度/360搜索关键字提交
提交
1
百度搜索：
# -*- coding: utf-8 -*-
import requests
keyword = "Python"
try:
kv = {'wd':keyword}
r = requests.get("http://www.baidu.com/s", params=kv)
print(r.status_code)
print(r.request.url)
r.raise_for_status()
print(len(r.text))
except:
print("Error")
360 搜索：（一般不用）
# -*- coding: utf-8 -*-
import requests
keyword = "Python"
try:
kv = {'q':keyword}
r = requests.get("http://www.so.com/s", params=kv)
print(r.status_code)
print(r.request.url)
r.raise_for_status()
print(len(r.text))
except:
print("Error")
实例4 爬取和存储网络图片
1
目标图片url：
http://image.nationalgeographic.com.cn/2017/0930/20170930020707632.jpg
目标图片：
目标图片
# -*- coding: utf-8 -*-
import requests
import os
url = "http://image.nationalgeographic.com.cn/2017/0930/20170930020707632.jpg"
root = "D://pics//"
path = root + url.split('/')[-1]
try:
if not os.path.exists(root):
os.mkdir(root)
if not os.path.exists(path):
r = requests.get(url)
print(r.status_code)
with open(path, 'wb') as f:
f.write(r.content)
f.close()
print("文件保存成功")
else:
print("文件已存在")
except:
print("爬取失败")
代码第一次运行：
第一次运行
运行结果：
第一次运行结果
第二次运行失败：
第二次运行失败
实例5 IP地址归属地的自动查询
ip138
结果
# -*- coding: utf-8 -*-
import requests
url = "http://www.ip138.com/ips1388.asp?ip="
try:
r = requests.get(url+"59.66.0.0&action=2")
r.raise_for_status()
r.encoding = r.apparent_encoding
print(r.status_code)
print(r.text)
except:
print("爬取失败")
世界上所有的追求都是因为热爱
一枚爱编码 爱生活 爱分享的IT信徒
— hongXkeX
