本节我们要将我们写好的脚本同步到服务器上,并设置每天的自动更新。
1. 通过WinScp复制我们的整个文件夹到服务器的跟目录下
2. 打开putty,复制根目录下的文件到usr/local下: mv BitSpider/ /usr/local/
3. 用whereis crontab 查看corntab在哪里,找到了以后,切换到这个目录下, 然后输入:0 0 9,14,19 * * root cd /root/Various_bit/ArticleSpider/ && python3 entry.py
标识9,14,19点执行任务,先切换路径,然后执行
这个表示每天9点执行一次
4. 按esc,:wq保存退出即可
这样在每天的9点,爬虫将自动执行一次,将当天新的文章补充进来
5. 在入口python里面,要用原始路径的scrapy查询: os.system('/usr/bin/scrapy crawl bitcoin_eos -s LOG_FILE=spider.log')