大纲:
python能做什么
一个爬虫的实际案例
后续教程大纲
一、python能做什么
二、一个爬虫的实际案例
总的来说python能做如下工作:爬虫、数据分析、机器学习、web开发、自动化脚本等等。
通过这次课程,我们重点学习爬虫。
爬虫的主要流程一般如下:
构建/发送请求 -> 解析响应 -> 获得数据 -> 清洗数据 -> 存储数据
爬虫常见问题:
1)违法问题
2)太频繁爬会被封ip,或返回空数据/错误数据
3)验证码
4)网站结构是否固定
三、后续教程大纲
1、最基础的知识:Python 基础教程
2、一些基础python库:文件库,urllib库,html相关库,日期时间库,BeautifulSoup(bs4)、Xpath(lxml)
3、其他计算机知识:
html+css
json,xml
正则表达式
mysql和对应的数据库工具
浏览器调试工具