豆瓣即将上映电影爬虫完整版（加入了图片的爬虫）

from xpinyin import Pinyin
import requests
from lxml import html
import pandas as pd
# pip install xpinyin
def spider(city):
    # splitter 是分隔使用符号,默认是 '-'
    city_pinyin = Pinyin().get_pinyin(city,splitter='')
    url = 'https://movie.douban.com/cinema/later/{}/'.format(city_pinyin)
    print('您要爬取的目标站点是', url)
    print('爬虫进行中，请稍后.........')
    # 请求头信息， 目的是伪装成浏览器进行爬虫
    headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:70.0) Gecko/20100101 Firefox/70.0'}
    # 获取网页的源代码
    response = requests.get(url, headers = headers)
    html_data = response.text
    # print(html_data)
    # 提取我们想要的内容
    selector = html.fromstring(html_data)
    div_list = selector.xpath('//div[@id="showing-soon"]/div')
    print('您好，{}市共查询到{}部即将上映的电影'.format(city, len(div_list)))
    movie_info_list = []
    for div in div_list:
        # 获取电影名字
        movie_name = div.xpath('div[1]/h3/a/text()')
        # if len(movie_name)==0:
        #     movie_name = '没有查询到数据'
        # else:
        #     movie_name = movie_name[0]
        movie_name = '没有查询到数据' if len(movie_name) == 0 else movie_name[0]
        # print(movie_name)

        # 上映日期
        date = div.xpath('div[1]/ul/li[1]/text()')[0]
        # print(date)

        # 类型
        type = div.xpath('div[1]/ul/li[2]/text()')[0]
        # print(type)

        # 国家
        country = div.xpath('div[1]/ul/li[3]/text()')[0]
        # print(country)

        # 想看人数
        want_see = div.xpath('div[1]/ul/li[4]/span/text()')[0]
        want_see = int(want_see.replace('人想看', ''))
        # print(want_see)

        # 图片链接
        img_link = div.xpath('a/img/@src')[0]


        movie_info_list.append({
            "movie_name":movie_name,
            "date": date,
            "type":type,
            "country":country,
            "want_see":want_see,
            "img_link":img_link
            })


    movie_info_list.sort(key=lambda x: x['want_see'])
    # 遍历
    for movie in movie_info_list:
        print(movie)
        # 图片爬取
        with open('./douban_img/{}.jpg'.format(movie['movie_name']), 'wb') as f:
            f.write(requests.get(movie['img_link']).content)

    pd.DataFrame(movie_info_list).to_csv('{}douban_movie_info.csv'.format(city_pinyin))

# 在屏幕中输入请输入您要查看即将上映电影信息的城市
city = input('输入您要查看即将上映电影信息的城市')
# 调用函数
spider(city)

python中的生成表达式

#python中的生成表达式
#1.列表推导式
#格式：[表达式 for 临时变量 in 可迭代对象 [条件语句]]
#用途： 快速生成一个列表
#使用普通for循环创建列表
#声明一个空列表
 li = []
#for 临时变量 in 可迭代对象
#循环体
 for i in range(10):
     li.append(i)
 print(li)
#以上我们使用4行代码显示一个0~9的列表
 print([i for i in range(10)])

举例：

1、

#生成随机数
 from random import randint
 print(randint(60,100))
#生成一个列表['序号：998'，'序号：992'，'序号：993']【100.999】共十个元素

#for循环
from random import randint
 li = []
 for i in range(10):
     seq = '序号：{}'.format(randint(100,900))
     li.append(seq)
 print(li)
 #列表推导式
 print(['序号：{}'.format(randint(100,900)) for _ in range(10)])

2、

from random import randint
li = []
for _ in range(10):
     li.append(randint(30,100))
print(li)
#[63, 55, 83, 88, 83, 31, 93, 67, 44, 91]
#已知列表li，然后筛选所有偶数
#for 循环
#遍历这个列表
result=[]
for x in li:
    if x%2 == 0:
        result.append(x)
print(result)
#[88, 44]

#列表推导式格式
 print([x for x in li if x%2==0])
#[88, 44]

3、

#使用列表式生成一个含有20个元素的随机数列表[]
#筛选出所有奇数
from random import randint
list2=([randint(30,100) for i in range(20)])
print(list2)
#[92, 33, 74, 79, 91, 76, 32, 97, 61, 88, 33, 53, 80, 40, 81, 38, 93, 87, 89, 58]
print([x for x in list2 if x%2==1])
#[51, 91, 89, 95, 69, 61, 81, 57, 99]


#for循环筛选
from random import randint
li = []
result=[]
for _ in range(20):
    li.append(randint(30,100))
print(li)
#[67, 38, 97, 88, 63, 33, 98, 67, 79, 77, 52, 95, 59, 42, 89, 45, 70, 42, 72, 84]
for x in li:
    if x%2 == 1:
        result.append(x)
print(result)
#[67, 97, 63, 33, 67, 79, 77, 95, 59, 89, 45]

数据可视化

1、绘制线性图（正弦曲线）

# mat plot lib  matplotlib
#安装
#pip install matplotlib
#导入
from matplotlib import pyplot as plt
#设置支持中文字体
plt.rcParams["font.sans-serif"] = ['SimHei']
plt.rcParams['axes.unicode_minus'] = False
#导入numpy
 import numpy as np
#绘制 正弦曲线
#选取100个等间距的点（x,y）然后进行绘制曲线图
#生成[0,2π]区间100个等间距的点
x=np.linspace(0,2*np.pi,num=100)
print(x)
y=np.sin(x)
cosy = np.cos(x)
#绘制线性图
plt.plot(x,y,
         color = 'b',#线的颜色-blue
         marker='o',#标记点的样式（显示出100个点）
         #o 实心圆 ， *  ，+
         linestyle=':',#线的风格
         #- 代表实线 --虚线  ：点画线
         markerfacecolor='r',#标记点的颜色
         alpha=0.8,#设置透明度
         label='sin(x)')#曲线名称
# plt.plot(x,cosy,label='cos(x)')
plt.plot(x,cosy,
         color = 'black',
         marker = '*',
         linestyle = '--',
         markerfacecolor = 'g',
         alpha =0.5,
         label='cos(x)')

plt.xlabel('time(s)')
plt.ylabel('电压(v)')
plt.title('电压随时间变化曲线')
plt.legend()#设置图例
plt.show()

x,y线性图.png

x,cosy线性图.png

x,y,cosy线性对比图.png

条形图

#条形图
from random import randint
x = ['口红{}'.format(i) for i in range(1,7)]
print(x)
y = [randint(200,1000) for _ in range(6)]
print(y)
#竖直坐标条形图
plt.bar(x,y)
plt.grid()#格子
plt.xlabel('口红品牌')
plt.ylabel('口红价格(元)')
plt.show()
#水平坐标条形图
plt.barh(x,y)
plt.ylabel('口红品牌')
plt.xlabel('口红价格(元)')
plt.show()

口红价格竖直坐标条形图条形图.png

口红价格水平坐标条形图.png