#! /usr/bin/python3
# -*- coding: UTF-8 -*-
import urllib
import re
from bs4 import BeautifulSoup
from urllib import request
import requests
import os
#def all_link(): #
link_all=['']
url_all='http://www.mzitu.com/all/'
user_agent = 'Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:59.0) Gecko/201001'
hostheaders={'User-Agent': 'user_agent'}
all_request=urllib.request.Request(url_all, headers=hostheaders)
response=urllib.request.urlopen(all_request)
all_soup=BeautifulSoup(response, "html.parser")
for a in all_soup.find("div", class_="all").find_all("a")[1:]:
title=a.get_text()
#create floder
path = str(title).strip()
#path = '123'
os.makedirs(os.path.join("/home/levy/meizitu", path))
os.chdir("/home/levy/meizitu/"+path)
#get theme link
href=a['href']
html=requests.get(href,headers=hostheaders)
html_soup=BeautifulSoup(html.text,"html.parser")
html_page_num=html_soup.find("div",class_="pagenavi").find_all("span")[-2].get_text()
for i in range(1,int(html_page_num)+1):
img_page_url=href+"/"+str(i)
picreferer=img_page_url
#此处加入referer消息反盗链，亲测可用。
picheaders={'User-Agent': 'user_agent','Referer':picreferer}
img_page_content=requests.get(img_page_url)
img_page_soup=BeautifulSoup(img_page_content.text,"html.parser")
img_src_url=img_page_soup.find("div",class_="main-image").find("img")["src"]
#save_img
name=img_src_url[-9:-4]
img=requests.get(img_src_url,headers=picheaders)
f= open(name+'.jpg', 'ab')
f.write(img.content)
f.close()
python 抓取妹子图 反盗链
最后编辑于 ：
©著作权归作者所有,转载或内容合作请联系作者
- 文/潘晓璐 我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
- 文/花漫 我一把揭开白布。 她就那样静静地躺着，像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上，一...
- 文/苍兰香墨 我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
推荐阅读更多精彩内容
- 环境：windows7 + python2.7相关库：lxml + json + urllib爬取的网站地址：ht...
- 前言 有一段没用 python 了，我也不知道自己为什么对 python 越来越淡，可能自己还是比较喜欢 andr...
- 今天晚上顺带就实际的写写工具，我们刚学完Python的基础语法！抓点妹子带回家~ 总结一下之前的吧，我写了关于...
