scrapy 中 Request 的 url 补全
如果是片段url
在python3中
from urllib import parse
在python2中
import urlparse
response.url
Request(url=parse.urljoin(response.url, post_url), callback=self.parse_detail)
只是初始化，如何交给scrapy 下载？使用yield。
yield Request(url=parse.urljoin(response.url, post_url), callback=self.parse_detail)
当需要用到两个class来定位一个节点时，
比如
<a class="next page-numbers" href="http://blog.jobbole.com/all-posts/page/3/">下一页 »</a>
这个时候，就是把.next和.page-numbers连在一起写。
next_url = response.css(".next.page-numbers::attr(href) ").extract_first()
