CrawlSpider基础
- crawlspider，适合爬取那些具有一定规则的网站，它基于Spider并有一些独特属性：
rules: 是Rule对象的集合，用于匹配目标网站并排除干扰
parse_start_url: 用于爬取起始响应，必须要返回Item，Request中的一个。
因为rules是Rule对象的集合，所以这里也要介绍一下Rule。它有几个参数：link_extractor、callback=None、cb_kwargs=None、follow=None、process_links=None、process_request=None
其中的link_extractor既可以自己定义，也可以使用已有LinkExtractor类，主要参数为：
allow：满足括号中“正则表达式”的值会被提取，如果为空，则全部匹配。
deny：与这个正则表达式(或正则表达式列表)不匹配的URL一定不提取。
allow_domains：会被提取的链接的domains。
deny_domains：一定不会被提取链接的domains。
restrict_xpaths：使用xpath表达式，和allow共同作用过滤链接。还有一个类似的restrict_css
这里以爬取小程序社区为例，进行学习CrawlSpider的用法。
CrawlSpider的用法
- 创建一个项目
scrapy srartproject wxapp - 创建CrawlSpider爬虫
scrapy genspider -t crawl wxjc www.wxapp-union.com -
用pycharm打开项目文件夹，即可得到下图
(01.png
此时sipder文件夹下的wxjc.py已经为我们生成好了，不需要我们再手动创建。
- 编写item.py
这里我爬取了如上图所示的：标题，作者，时间以及文章这四个字段的内容
import scrapy
class WxappItem(scrapy.Item):
title = scrapy.Field()
author = scrapy.Field()
time = scrapy.Field()
content = scrapy.Field()
- 打开wxjc.py，编写程序
from scrapy.linkextractors import LinkExtractor
from scrapy.spiders import CrawlSpider, Rule
from wxapp.items import WxappItem
class WxjcSpider(CrawlSpider):
name = 'wxjc'
allowed_domains = ['www.wxapp-union.com']
start_urls = ['http://www.wxapp-union.com/portal.php?mod=list&catid=2&page=1']
rules = (
Rule(LinkExtractor(allow=r'.+mod=list&catid=2&page=\d'), follow=True),
Rule(LinkExtractor(allow=r'.+article-.+\.html'), callback='parse_item', follow=False)
)
def parse_item(self, response):
title = response.xpath("//h1[@class='ph']/text()").get()
author = response.xpath("//p[@class='authors']/a/text()").get()
time = response.xpath("//p[@class='authors']/span/text()").get()
content = response.xpath("//td[@id='article_content']//text()").getall()
content = ''.join(content).strip()
item = WxappItem(title=title, author=author, time=time, content=content)
yield item
在这里我写了两套规则，第一个Rule，用来匹配所有文章列表页面，因为第一页只显示10个页码按钮，所以follow选择Ture，表示进一步提取。此页面不需要编写函数进行解析，需要解析的是详情页，即第二个Rule，而详情页每页只有一篇文章，所以需要把follow改成False，虽然scrapy有去重功能，但我们还是希望它按照我们的意愿一页一页地进行爬取。allow是根据列表页和详情页的网页规律构造的正则表达式的url，表示需要爬取的所有匹配的url。
- 生成json格式文档
- 可以通过编写pipelines来生成json文档
from scrapy.exporters import JsonLinesItemExporter
class WxappPipeline(object):
def __init__(self):
self.fp = open('wxjc.json', 'wb')
self.exporter = JsonLinesItemExporter(self.fp, ensure_ascii=False, encoding='utf-8')
def process_item(self, item, spider):
self.exporter.export_item(item)
return item
def close_spider(self,spider):
self.fp.close()
- 也可以直接输入命令来生成
scrapy crawl wxjc -o wxjc.json
-
爬取结果
03.png
