采集过程报告


(1)购买阿里云服务器

在正式进入采集工作之前,是一系列的准备工作。首先登录进入阿里云官网,进行身份认证与学生认证,在阿里云“云翼计划”优惠条件下购买3个月的云服务器ESC(具体图例如下面两图),操作之后成功创建阿里云ESC实例。同时根据阿里云官网上相关知识(产品使用须知、软件安装及环境配置等)了解云服务器的日常操作。

----------

(2)安装python与scrapy

安装python:到python官网下载python2.7版本,下载之后配置好环境变量(后面发现好像不用安装);

安装scrapy:首先到scrapy的官网上下载scrapy1.3.3版本。

----------

(3)连接远程服务器

-MobaxTerm

前往MobaxTerm官网下载MobaxTerm的Free版本,进行安装。

安装成功之后,按照以下步骤与远程服务器相连接:新建Session、选择SSH、输入正确的host与username(同时可以进行MobaxTremd的界面设置)、点击'OK'、输入正确的实例密码之后,此时MobaxTerm已经与远程服务器建立了连接。

在这里遇到的问题就是自己在连接到远程服务器的时候,忘了实例密码,导致一直登不上,后来才发现可以直接到阿里云控制台更改,记得要重启实例新的密码才能生效。



-scrapy安装配置

接着,首先是需要建立一个虚拟环境,以避免包的混乱和冲突。创建虚拟环境之后,使用命令切换至虚拟环境进行操作。'cd'基本功能是切换目录。

 cd venv


然后进行scrapy的安装与配置,使用命令“~# pip install scrapy",这时会出现错误提示,根据错误提示可知,是因为scrapy的依赖包没有安装好的缘故,主要包括lxml、twisted、cryptography等,在MobaxTerm的下载界面将这些依赖包下载好。

安装twisted依赖包时使用命令:

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple twisted

安装cryptography依赖包使用以下命令,其中‘libssl-dev’和‘libffi-dev’是cryptography所需要的其他辅助包。

sudo apt-get install build-essential libssl-dev libffi-dev 

pip install cryptography

‘python-dev’、‘zlib1g-dev’、‘libxml2-dev’和libxslt1-dev是安装lxml需要的包,需要在安装lxml之前准备好。

pip install lxml

这里出现的错误就是已经显示安装上了依赖包,却依然安装不了Scrapy的问题。后来通过查阅资料,说是需要更新依赖包,于是写了一行代码(如第3张图)结果就将scrapy安装好了。。。(至今不知道最初的问题是怎么回事)




当以上scrapy依赖包安装成功之后,再一次使用“~# pip install scrapy"命令,此时发现scrapy已经安装成功。

-操作pycharm

进入pycharm的[官网][5],下载其最新专业版本,进行安装。

安装过程出现错误提示“java JDK 环境配置不正确”,于是重新进入java官网下载JDK,并完成后续环境变量设置。(不太清楚pycharm跟java之间联系有多大,但的确是重新配置java之后,就能够安装上pycharm了)

接下来继续进行pycharm的安装,成功。然后在pycharm的setting中进行设置,主要包括与远程服务器的连接、映射、操作等一系列相关设置。通过选择“Browse Remote Host”可以看到远程服务器的目录结构。


----------

(4)数据采集

这一部分主要是根据老师给的PPT进行学习与采集,后期遇到很多问题,开始直接使用官网scrapy tutorial,并且官网的代码可以直接粘贴至所有的过程都是依照文档步骤走的,最后基本完成老师给的任务。

这里的问题是:在执行quotes爬虫时,执行结果说明应该有113条结果,最后导出来的json只有85条,或许是因为没有更新成功的原因?


另外,获取的JSON文件在Pycharm中是没有报错,在json转换成xml的过程,首先想直接以另存的格式实现。。。实际是不行的;然后就想直接使用在线json转换成xml,这样的方式是可以转换成功为xml的,不过在用浏览器运行浏览时是报错的;最后采取的方式是下载google插件google refine,不过通过这种方式依然不能直接将json转换为xml,而是先将json转换为html,然后通过Notepad++将其另存为xml格式。

对于xml文件的检验,采用浏览器运行浏览。



最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 199,393评论 5 467
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 83,790评论 2 376
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 146,391评论 0 330
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 53,703评论 1 270
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 62,613评论 5 359
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,003评论 1 275
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,507评论 3 390
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,158评论 0 254
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,300评论 1 294
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,256评论 2 317
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,274评论 1 328
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 32,984评论 3 316
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,569评论 3 303
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,662评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 30,899评论 1 255
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 42,268评论 2 345
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 41,840评论 2 339

推荐阅读更多精彩内容