数据获取
这里采用谷歌浏览，F12方便查看数据。
访问：https://movie.douban.com/top250
上图我们可以看到，豆瓣的数据返回为HTML格式文件，我们需要手工处理一下。
调网页接口代码如下：
# 获取豆瓣电影TOP250数据
def get_douban_data(url):
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.87 Safari/537.36",
}
response = requests.get(url, headers=headers).text
return response
数据处理
拿到数据后，对我们来说看HTML数据，总是很不方便，很不自然。
这时候需要通过代码去一步步解析。
我们先来看一下，输出的HTML文件是有哪些是我们需要的。这个需要看你关注哪些信息，就去拆解哪些信息的数据了。
我这边只拿这几个数据，电影名，评分，评分人数，电影详情链接，导演主演，年份，国家，剧情这几大块。
这里我们使用BeautifulSoup模块去解析。
由于篇幅问题，我这里只列出部分代码，具体可访问原文链接
图中对部分代码做了详细注释，如
# 解析HTML文件的方法
soup = BeautifulSoup(response, "html.parser")
calss_含义：class是Python中特殊的一种字符，所以beautifulsoup中后面加一个_来做为区分
# 每个电影的数据
soup.find_all('div', class_='info')
# 取评价人数
m_people = tag.find('div', class_="star")
m_span = m_people.findAll('span')
# 如: 2291749人评价 只取纯数字部分
main_dict["people_num"] = re.search(r"(\d+)", m_span[3].contents[0]).group()
在对演员数据处理的时候，我们会发现，通过标签获取数据文本的方式，无法得到我们想要的数据，所以，这里我们也要再处理一下。
部分代码如下：
这边采用正则表达式去处理数据。
# 匹配以“导演”字符串开头的字符串，
re_compiled = re.compile(r'导演:(?P<actor>.+)\s+.*\n(?P<other>.+)')
原数据如下：
不难发现，演员信息与年份，国家中间有换行符。
接下来，继续剖析出年份，国家，剧情等信息。
到此为止，数据基本就处理完了，效果图如下：
多页处理
当处理到这里，我们仅是对第一页25行数据处理完成，但总共250条数据，其他数据还需要继续去获取。
这时候需要回来看一下，我们获取豆瓣接口数据的URL方法。
第一页URL：https://movie.douban.com/top250
划到最后，点第2，3，4...页，不难发现，只有start=xx这个数值发现变化，其他参数不变。
https://movie.douban.com/top250?start=25&filter=
https://movie.douban.com/top250?start=50&filter=
...
那第一页的start=xx呢，同样可以手动输入链接
https://movie.douban.com/top250?start=0&filter=
得到的就是第一页的数据。
代码如下:
# 这里采用numpy类库，np.arange(0, 251, 25)，循环处理的方式获取URL数据。
# 左闭右开，步长25
np.arange(0, 251, 25)
到这里，数据就已经处理完成。
数据入库
为了保存数据，这里需要使用mysql
简单入库代码如下：
效果图
