目标站点分析
懒人听书-https://www.lrts.me/index，进入主页以后搜索黑暗森林，找到对应资源点击进入黑暗森林
微信截图_20181105215543.png
可以看到，url中跟的29320是该资源对应的id，如果要爬其他资源，对应的更改这个id就好了，点击第一集后跳到下面的页面并开始播放
微信截图_20181105215928.png
中途做了部分测试，发现上图中的资源其实是通过ajax请求的。如果我们把js禁用，页面就会发生变化，没有数据，如下：
微信截图_20181105220223.png
该请求通过控制台可以查看，ttps://www.lrts.me/ajax/playlist/2/29320/1，该请求返回的数据中就包含了mp3资源链接
微信截图_20181105220615.png
有了以上的分析，下面就可以使用scrapy爬取数据了
使用scrapy爬取数据
spider的思路是先获取资源总数，懒人听书默认分页是10页，然后计算有多少页，根据页数通过上面分析的异步url去请求包含mp3资源的页面。然后使用pipeline去下载即可。代码就比较简单了
spider
class SantiSpider(scrapy.Spider):
name = 'santi'
allowed_domains = ['www.lrts.me']
start_urls = ['https://www.lrts.me/book/29320/']
# start_urls = ['https://www.lrts.me/ajax/playlist/2/29320/1']
def parse(self, response):
total_count = response.xpath('/html/body/div[1]/div[1]/section[1]/div[2]/ul[3]/li[1]/text()').extract_first()
total_page = (int(total_count) // 10) + 1 if total_count else 0
base_download_url = 'https://www.lrts.me/ajax/playlist/2/29320/{}'
for page in range(total_page):
start = page * 10 + 1
url = base_download_url.format(start)
yield scrapy.Request(url=url, callback=self.parse_download)
def parse_download(self, response):
lis = response.css('.section li')
for li in lis:
item = SantiItem()
res_url = li.css('div.column1.nowrap > input[type="hidden"]:nth-child(3)::attr(value)').extract_first()
item['file_urls'] = [res_url]
res_num = li.css('div.column1.nowrap > div > span::text').extract_first()
item['res_num'] = res_num
yield item
item
class SantiItem(scrapy.Item):
file_urls = scrapy.Field()
total_count = scrapy.Field()
res_num = scrapy.Field()
pipeline
因为要改文件名，所以使用自定义的pipeline，重写file_path方法
class MyfilesPipeline(FilesPipeline):
def get_media_requests(self, item, info):
for url in item["file_urls"]:
yield scrapy.Request(url,meta={'item':item})
def file_path(self, request, response=None, info=None):
return '三体2黑暗森林_第'+request.meta['item']['res_num']+'集.mp3'
