数据来源是准备用爬虫定时去爬一些网站的数据, 所以需要用到Linux下的crontab。
crontab的文件格式
分 时 日 月 星期 要运行的命令
* * * * * command
第1列分钟0~59
第2列小时0~23(0表示子夜)
第3列日1~31
第4列月1~12
第5列星期0~7(0和7表示星期天)
第6列要运行的命令
编辑crontab文件
$ crontab -e
上面的指令的意思是每天早上8:30 用python 执行scrapyData下的hello.py并写入a.text
列出crontab文件
Examples
实例1:每1分钟执行一次
* * * * * /usr/bin/python /usr/local/scrapyData/hello.py >> /usr/local/a.txt
实例2:每小时的第3和第15分钟执行
3,15 * * * * /usr/bin/python /usr/local/scrapyData/hello.py >> /usr/local/a.txt
实例3:在上午8点到11点的第3和第15分钟执行
3,15 8-11 * * * /usr/bin/python /usr/local/scrapyData/hello.py >> /usr/local/a.txt
实例4:每隔两天的上午8点到11点的第3和第15分钟执行
3,15 8-11 */2 * * /usr/bin/python /usr/local/scrapyData/hello.py >> /usr/local/a.txt
实例5:每周一上午8点到11点的第3和第15分钟执行
3,15 8-11 * * 1 /usr/bin/python /usr/local/scrapyData/hello.py >> /usr/local/a.txt