豆瓣即将上映电影爬虫完整版（加入了图片的爬虫）
from xpinyin import Pinyin
import requests
from lxml import html
import pandas as pd
# pip install xpinyin
def spider(city):
# splitter 是分隔使用符号,默认是 '-'
city_pinyin = Pinyin().get_pinyin(city,splitter='')
url = 'https://movie.douban.com/cinema/later/{}/'.format(city_pinyin)
print('您要爬取的目标站点是', url)
print('爬虫进行中，请稍后.........')
# 请求头信息， 目的是伪装成浏览器进行爬虫
headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:70.0) Gecko/20100101 Firefox/70.0'}
# 获取网页的源代码
response = requests.get(url, headers = headers)
html_data = response.text
# print(html_data)
# 提取我们想要的内容
selector = html.fromstring(html_data)
div_list = selector.xpath('//div[@id="showing-soon"]/div')
print('您好，{}市共查询到{}部即将上映的电影'.format(city, len(div_list)))
movie_info_list = []
for div in div_list:
# 获取电影名字
movie_name = div.xpath('div[1]/h3/a/text()')
# if len(movie_name)==0:
# movie_name = '没有查询到数据'
# else:
# movie_name = movie_name[0]
movie_name = '没有查询到数据' if len(movie_name) == 0 else movie_name[0]
# print(movie_name)
# 上映日期
date = div.xpath('div[1]/ul/li[1]/text()')[0]
# print(date)
# 类型
type = div.xpath('div[1]/ul/li[2]/text()')[0]
# print(type)
# 国家
country = div.xpath('div[1]/ul/li[3]/text()')[0]
# print(country)
# 想看人数
want_see = div.xpath('div[1]/ul/li[4]/span/text()')[0]
want_see = int(want_see.replace('人想看', ''))
# print(want_see)
# 图片链接
img_link = div.xpath('a/img/@src')[0]
movie_info_list.append({
"movie_name":movie_name,
"date": date,
"type":type,
"country":country,
"want_see":want_see,
"img_link":img_link
})
movie_info_list.sort(key=lambda x: x['want_see'])
# 遍历
for movie in movie_info_list:
print(movie)
# 图片爬取
with open('./douban_img/{}.jpg'.format(movie['movie_name']), 'wb') as f:
f.write(requests.get(movie['img_link']).content)
pd.DataFrame(movie_info_list).to_csv('{}douban_movie_info.csv'.format(city_pinyin))
# 在屏幕中输入请输入您要查看即将上映电影信息的城市
city = input('输入您要查看即将上映电影信息的城市')
# 调用函数
spider(city)
python中的生成表达式
#python中的生成表达式
#1.列表推导式
#格式：[表达式 for 临时变量 in 可迭代对象 [条件语句]]
#用途： 快速生成一个列表
#使用普通for循环创建列表
#声明一个空列表
li = []
#for 临时变量 in 可迭代对象
#循环体
for i in range(10):
li.append(i)
print(li)
#以上我们使用4行代码显示一个0~9的列表
print([i for i in range(10)])
举例：
1、
#生成随机数
from random import randint
print(randint(60,100))
#生成一个列表['序号：998'，'序号：992'，'序号：993']【100.999】共十个元素
#for循环
from random import randint
li = []
for i in range(10):
seq = '序号：{}'.format(randint(100,900))
li.append(seq)
print(li)
#列表推导式
print(['序号：{}'.format(randint(100,900)) for _ in range(10)])
2、
from random import randint
li = []
for _ in range(10):
li.append(randint(30,100))
print(li)
#[63, 55, 83, 88, 83, 31, 93, 67, 44, 91]
#已知列表li，然后筛选所有偶数
#for 循环
#遍历这个列表
result=[]
for x in li:
if x%2 == 0:
result.append(x)
print(result)
#[88, 44]
#列表推导式格式
print([x for x in li if x%2==0])
#[88, 44]
3、
#使用列表式生成一个含有20个元素的随机数列表[]
#筛选出所有奇数
from random import randint
list2=([randint(30,100) for i in range(20)])
print(list2)
#[92, 33, 74, 79, 91, 76, 32, 97, 61, 88, 33, 53, 80, 40, 81, 38, 93, 87, 89, 58]
print([x for x in list2 if x%2==1])
#[51, 91, 89, 95, 69, 61, 81, 57, 99]
#for循环筛选
from random import randint
li = []
result=[]
for _ in range(20):
li.append(randint(30,100))
print(li)
#[67, 38, 97, 88, 63, 33, 98, 67, 79, 77, 52, 95, 59, 42, 89, 45, 70, 42, 72, 84]
for x in li:
if x%2 == 1:
result.append(x)
print(result)
#[67, 97, 63, 33, 67, 79, 77, 95, 59, 89, 45]
数据可视化
1、绘制线性图（正弦曲线）
# mat plot lib matplotlib
#安装
#pip install matplotlib
#导入
from matplotlib import pyplot as plt
#设置支持中文字体
plt.rcParams["font.sans-serif"] = ['SimHei']
plt.rcParams['axes.unicode_minus'] = False
#导入numpy
import numpy as np
#绘制 正弦曲线
#选取100个等间距的点（x,y）然后进行绘制曲线图
#生成[0,2π]区间100个等间距的点
x=np.linspace(0,2*np.pi,num=100)
print(x)
y=np.sin(x)
cosy = np.cos(x)
#绘制线性图
plt.plot(x,y,
color = 'b',#线的颜色-blue
marker='o',#标记点的样式（显示出100个点）
#o 实心圆 ， * ，+
linestyle=':',#线的风格
#- 代表实线 --虚线 ：点画线
markerfacecolor='r',#标记点的颜色
alpha=0.8,#设置透明度
label='sin(x)')#曲线名称
# plt.plot(x,cosy,label='cos(x)')
plt.plot(x,cosy,
color = 'black',
marker = '*',
linestyle = '--',
markerfacecolor = 'g',
alpha =0.5,
label='cos(x)')
plt.xlabel('time(s)')
plt.ylabel('电压(v)')
plt.title('电压随时间变化曲线')
plt.legend()#设置图例
plt.show()
x,y线性图.png
x,cosy线性图.png
x,y,cosy线性对比图.png
条形图
#条形图
from random import randint
x = ['口红{}'.format(i) for i in range(1,7)]
print(x)
y = [randint(200,1000) for _ in range(6)]
print(y)
#竖直坐标条形图
plt.bar(x,y)
plt.grid()#格子
plt.xlabel('口红品牌')
plt.ylabel('口红价格(元)')
plt.show()
#水平坐标条形图
plt.barh(x,y)
plt.ylabel('口红品牌')
plt.xlabel('口红价格(元)')
plt.show()
口红价格竖直坐标条形图条形图.png
口红价格水平坐标条形图.png
