关键词：多重页面数据爬取
在[学院教师信息爬取报告（一）][1]中，我们使用的是两个爬虫分别爬取同一网站的不同页面。而教师列表页与详情页存在着大量的信息重复，所以将两者综合生成新的教师详情列表数据是一个不错的方案。
[1]: //www.greatytc.com/writer#/notebooks/12252479/notes/12125419
定义元数据
根据将要爬取的页面数据信息，在你建立的项目目录items.py文件下定义你的item
class TeachersItem(scrapy.Item):
introduction = scrapy.Field()
#该数据来自教师详情页
name = scrapy.Field()
title = scrapy.Field()
subject = scrapy.Field()
email = scrapy.Field()
#该四项数据来自教师列表页
爬虫代码
import scrapy
from teacher.items import TeachersItem
class TeacherSpider(scrapy.Spider):
name = 'Teachers'
allowed_domains = ['ggglxy.scu.edu.cn']
start_urls = ['http://ggglxy.scu.edu.cn/index.php?c=article&a=type&tid=18']
def parse(self, response):
teacher_urls = response.xpath('//ul[@class="teachers_ul mt20 cf"]/li[@class="fl"]')
#该句是生成包含每个教师列表item的url列表
for teacher_url in teacher_urls:
item = TeachersItem()
item['name'] = teacher_url.xpath('./div[@class="r fr"]/h3/text()').extract()
item['title'] = teacher_url.xpath('./div[@class="r fr"]/p/text()').extract()
item['subject'] = teacher_url.xpath('./div[@class="r fr"]/div[@class="desc"]/p[1]/text()').extract()
item['email'] = teacher_url.xpath('./div[@class="r fr"]/div[@class="desc"]/p[2]/text()').extract()
#该四项数据位于起始页，爬取代码位于parse函数内部
urls = response.xpath('//ul[@class="teachers_ul mt20 cf"]/li[@class="fl"]/div[1]/a/@href').extract()
#该句是生成包含每个教师详情item的url列表，这里已经进入第二层级页
for url in urls:
url = response.urljoin(url)
#该句将url补全，生成完整的绝对路径
yield scrapy.Request(url, meta={'item': item}, callback = self.parse_teacher_x)
#返回Request，发送服务器请求，此时使用meta传值，回调parse_teacher_x函数
next = response.xpath('//div[@class="pager cf tc pt10 pb10 mobile_dn"]/li[last()-1]/a/@href').extract_first()
#该句构造分页，这里last()函数仅适用于网页结构良好的分页，此处next可看情况自己构造
if next is not None:
next = response.urljoin(next)
yield scrapy.Request(next, callback = self.parse)
def parse_teacher_x(self, response):
item = response.meta['item']
item['introduction'] = response.xpath('/html/body/div[3]/div[2]/div/div[1]/div[2]/div/text()').extract()
yield item
简单说明：
- 正确获取item各个数据项的urls列表，使用response.urljoin（）生成url绝对值，同时返回Request使其作为新地址入口（即其余未定义数据项入口）。
- 使用meta传已获得的数据项的值，作为参数传递。
- 回调函数的写法，自己要揣摩。
