标签（空格分隔）： 腾讯云ubuntu virtualenv scrapy
环境配置
1. 腾讯云
三月份进行了申请，配置，用的是ubuntu
2. 使用MobaXterm_Personal进行SSH远程登陆
1、<i class="icon-file"></i> 新建一个session
2、创建用户目录，添加用户，并设置工作目录和bash环境
（附：当时没截图，此图片摘自网上）
3、<i class="icon-file"></i> 重新建一个用户的session
4、远程服务器登录成功
3. 配置虚拟环境
（pip和相关依赖包已经装过了）
1.python虚拟环境安装
pip install virtualenv
2.python虚拟环境创建
virtualenv python
3.python虚拟环境激活
cd python
source bin/activate
4.安装scrapy
1.pip install -i https://pypi.tuna.tsinghua.edu.cn/simple
2.pip install cryptography
3.pip install scrapy
在安装scrapy时提示：pip需要升级到最新版本:
pip install --upgrade pip
中途因为网络等原因失败过很多次：
安装成功！！！
图：
创建爬虫项目
1.创建一个新的scrapy项目
scrapy startproject quotes
该命令创建了含有以下内容的quotes目录：
- scrapy.cfg: 项目的配置文件
- quotes/: 该项目的python模块。之后您将在此加入代码。
- quotes/items.py: 项目中的item文件.
- quotes/pipelines.py: 项目中的pipelines文件.
- quotes/settings.py: 项目的设置文件.
- quotes/spiders/: 放置spider代码的目录.
2. 编写文件quotes.py，然后放在/quotes/spiders/目录下
（我是在本地写的文件，然后将其放在/quotes/spiders/目录下）
coding=utf-8
import scrapy
#定义QuotesSpider类
class QuotesSpider(scrapy.Spider):
name = 'mianSpider'
start_urls = [
'http://quotes.toscrape.com/'
]
#获得热门标签，并callback parse_tags
def parse(self, response):
for tag_item in response.css('span.tag-item a.tag::attr(href)').extract():
yield scrapy.Request(response.urljoin(tag_item), callback=self.parse_tags)
#yield热门标签下的名人名言、作者
def parse_tags(self, response):
for quote in response.css('div.quote'):
yield {
'tag': response.css('h3 a::text').extract(),
'text': quote.css('span.text::text').extract_first(),
'author': quote.css('small.author::text').extract_first()
}
#遍历标签下的所有页数
next_page = response.css('li.next a::attr(href)').extract_first()
if next_page is not None:
next_page = response.urljoin(next_page)
yield scrapy.Request(next_page,callback=self.parse_tags)
3. 运行爬虫，将文档存为json
scrapy crawl mianSpider -o quotes.json
（额，其实是在无数次修改后才有了这结果。。。）
图：
4.将json转化为xml
其实网上有json转为xml的在线工具
本来打算用python来讲json转为xml，python有个python.load()方法可以解析json文件，但是因为json文件格式不太规范，不能直接解析出来，只能用for循环一行行的读出来。然后我就尝试着用正则表达式对读出的字符串进行匹配，转成xml格式，但是由于对正则表达式还不熟悉，失败很多次后还是没有成功，所以还没有得出最后结果。。。。。。
这个是网上在线工具出来的效果：
...
已解决，可以直接用scrapy crawl -o quote.xml
