- Scrapy是用纯python实现一个为了爬取网站数据、提取结构性数据而编写的应用框架,用途非常广泛
-
Scrapy架构图(绿线是数据流向):
13552928-80ef4306fd120c39.png - Scrapy Engine(引擎):负责Spider、ltemPipeline、Downloader、Scheduler中间的通讯,信号、数据传递等
- Scheduler(调度器):它负责接受引擎发送过来的Request请求,并按照一定的方式进行整理排列,
入队,当引擎需要时,交还给引擎. - Downloader(下载器):负责下载Scrapy Engine(引擎),由引擎交给Spider来处理
- Spider(爬虫):它负责处理所有Responses,从中分析提取数据,获取litem字段需要的数据,并将需要跟进的URL提交给引擎,再次进入Scheduler(调度器)
- ltem Pipeline(管道):它负责处理Spider中获取到的ltem,并进行进行后期处理(详细分、过滤、存储等)的地方
- Downloader Middlewares(下载中间件):你可以当作是一个可以自定义扩展下载功能的组件。
- Spider Middlewares(Spider中间件):你可以理解为是一个可以自定扩展和操作引擎和Spider中间通信的功能组件(比如进入Spider的Responses;和从Spider出去的Requests)
一、新建项目(scrapy starproject)
- 创建爬虫项目
scrapy startproject项目名称(有些用户需要前面加上python -m)
- 新建爬虫文件
scrapy genspider爬虫文件 域名
- item定义结构化数据字段,用来保存爬取到的数据,有点像Python中的dict,但是提供了一些额外的保护减少错误
item文件
class JobboleItem(scrapy.Item):
# define the fields for your item here like:
#标题
title = scrapy.Field()
#创建时间
create_date = scrapy.Field()
#文章地址
url = scrapy.Field()
#id
url_object_id = scrapy.Field()
#文章图片
front_image_url = scrapy.Field()
#文章图片地址
front_image_path = scrapy.Field()
# 点赞数
praise_nums = scrapy.Field()
#收藏数
bookmark_nums = scrapy.Field()
二、制作爬虫
# -*- coding: utf-8 -*-
import scrapy
class JobboleSpider(scrapy.Spider):
name = '爬虫文件'
allowed_domains = ['网站域名']
start_urls = ['https://xxx.xxxx.com/xxxx-x/']
def parse(self, response):
pass
- name = "":这个爬虫的识别名称,必须是唯一的,在不同的爬虫必须定义不同的名字.
- allow_domains=[]是搜索的域名范围,也就是爬虫的约束区域,规定爬虫只爬取这个域名下的网页,不存在的URL会被忽略
- staart_urls=():爬取的URL元组/列表,爬取从这里开始抓取数据,所以,第一次下载的数据将会从这些urls开始。其他子URL将会从这些起始URL中继承性生成。
- oarse(self,response):解析的方法,每个初始URL完成下载后将被调用,调用的时候传入从每个URL传回的Response对象来作为唯一参数
三、在parse方法中做数据的提取
from jobboleproject.items import JobboleprojectItem
1.获取图片和文章详情的链接
def parse(self, response):
# css选择器获取当前列表页面的所有的节点
post_nodes = response.css("#archive .floated-thumb .post-thumb a")
# 如果不是完整的域名 需要拼接完整 response.url + post_url
# 获取到的URL可能不是一个域名，也可能是具体的文章需要使用parse函数from urllib import parse
for post_node in post_nodes:
image_url = post_node.css("img::attr(src)").extract_first("")
post_url = post_node.css("::attr(href)").extract_first("")
full_url = response.urljoin(post_url)
#meta参数对应的是一个字典，用来传递数据
yield scrapy.Request(url=full_url, meta={"front_image_url": image_url},
callback=self.parse_detail)
2.然后将我们得到的数据封装到一个 JobboleItem 对象中，可以保存每个文章的属性：
def parse_detail(self,response):
# print(response)
# 使用xpath语法或者css语法提取网页的相关信息
# extract（） 串行化并将匹配到的节点返回一个unicode字符串列表
item = JobboleprojectItem()
#标题
item['title'] = response.xpath('//div[@class="entry-header"]/h1/text()').extract_frist("")
#发布日期
item['create_date'] = response.xpath("//p[@class='entry-meta-hide-on-mobile']/text()").extract_first("").strip().replace("·","").strip()
#文章地址详情地址
item['url'] = response.url
# http://blog.jobbole.com/113949/
#文章的id
item['url_object_id'] = re.match(".*?(\d+).*", url).group(1)
# 文章图片
item['front_image_url'] = response.meta.get("front_image_url","")
# 点赞数
item['praise_nums'] = response.xpath("//span[contains(@class,'vote-post-up')]/h10/text()").extract_first("")
# 收藏数
bookmark_nums = response.xpath("//span[contains(@class,'bookmark-btn')]/text()").extract_first("")
match_bookmark_nums = re.match(".*?(\d+).*",bookmark_nums)
if match_bookmark_nums:
item['bookmark_nums'] = int(match_bookmark_nums.group(1))
else:
item['bookmark_nums'] = 0
# 评论数
comment_nums = response.xpath("//a[@href='#article-comment']/span/text()").extract_first("")
match_comment_nums = re.match(".*?(\d+).*",comment_nums)
if match_comment_nums:
item['comment_nums'] = int(match_comment_nums.group(1))
else:
item['comment_nums'] = 0
# 文章内容
item['content'] = response.xpath("//div[@class='entry']").extract_first("")
# 过滤评论标签
tag_list = response.xpath("//p[@class='entry-meta-hide-on-mobile']//a/text()").extract()
tag_list = [element for element in tag_list if not element.strip().endswith("评论")]
# 标签
item['tags'] = ",".join(tag_list)
print(item)
# return返回数据，不经过pipelines
# return item
# yield将获取的数据交给pipelines
# yield item
yidld的作用就是把一个函数变成一个generator(生成器),带有yield的函数不再是一个普通函数,Python解释器会将其视为一个generator
四、编写ltemPipeline
import something
class SomethingPipeline(object):
def __init__(self):
# 可选实现，做参数初始化等
# doing something
def process_item(self, item, spider):
# item (Item 对象) – 被爬取的item
# spider (Spider 对象) – 爬取该item的spider
# 这个方法必须实现，每个item pipeline组件都需要调用该方法，
# 这个方法必须返回一个 Item 对象，被丢弃的item将不会被之后的pipeline组件所处理。
return item
def open_spider(self, spider):
# spider (Spider 对象) – 被开启的spider
# 可选实现，当spider被开启时，这个方法被调用。
def close_spider(self, spider):
# spider (Spider 对象) – 被关闭的spider
# 可选实现，当spider被关闭时，这个方法被调用
管道作用:
- 验证爬取的数据(检查item包含某些字段,比如说name字段)
- 查重(并丢弃)
- 将爬取结果保存到文件或者数据库中
五、重新启动爬虫
scrapy crawl jobbole
