2019-06-14 python day-04

今日内容

python爬虫

1.爬取梨视频页面全部视频：

'''

'''

'''

爬取梨视频:

请求url:

    https://www.pearvideo.com/


请求方式:

    GET


请求头:

    user-agent: Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.146 Safari/537.36

'''

import requests

import re  # 正则模块

# 1、对梨视频详情页发送请求，获取响应数据

response = requests.get(url='https://www.pearvideo.com/')

print(response.status_code)

print(response.text)

# re.findall('正则匹配规则', '解析文本', "正则模式")

# re.S: 全局模式 （对整个文本行进匹配）

# .指的是当前位置

# *指的是查找所有

'''

<a href="video_1543373"

<a href="video_(.*?)"  # 提取1543373

'''

# 2、获取主页视频详情页ID

res = re.findall('<a href="video_(.*?)"', response.text, re.S)

print(res)

for m_id in res:

    # 拼接详情页url

    detail_url = 'https://www.pearvideo.com/video_' + m_id

    print(detail_url)

import requests

import re  # 正则模块

# uuid.uuid4()  可以根据时间戳生成一段世界上唯一的随机字符串

import uuid

# 爬虫三部曲

# 1、发送请求

def get_page(url):

    response = requests.get(url)

    return response

# 2、解析数据

# 解析主页获取视频详情页ID

def parse_index(text):

    res = re.findall('<a href="video_(.*?)"', text, re.S)

    # print(res)

    detail_url_list = []

    for m_id in res:

        # 拼接详情页url

        detail_url = 'https://www.pearvideo.com/video_' + m_id

        # print(detail_url)

        detail_url_list.append(detail_url)

    # print(detail_url_list)

    return detail_url_list

# 解析详情页获取视频url

def parse_detail(text):

    ''''''

    '''

        (.*?)： 提取括号的内容

        .*?： 直接匹配

        <video webkit-playsinline="" playsinline="" x-webkit-airplay="" autoplay="autoplay" src="https://video.pearvideo.com/mp4/adshort/20190613/cont-1566073-14015522_adpkg-ad_hd.mp4" style="width: 100%; height: 100%;"></video>


    正则: <video.*?src="(.*?)"


    # 以上是分析过程，不需要写


    正则: srcUrl="(.*?)"

    '''

    movie_url = re.findall('srcUrl="(.*?)"', text, re.S)[0]

    return movie_url

# 3、保存数据

def save_movie(movie_url):

    response = requests.get(movie_url)

    # 把视频写到本地

    with open(f'{uuid.uuid4()}.mp4', 'wb') as f:

        f.write(response.content)

        f.flush()

if __name__ == '__main__':  # main + 回车键

    # 1、对主页发送请求

    index_res = get_page(url='https://www.pearvideo.com/')

    # 2、对主页进行解析、获取详情页id

    detail_url_list = parse_index(index_res.text)

    # print(detail_url_list)

    # 3、对每个详情页url发送请求

    for detail_url in detail_url_list:

        detail_res = get_page(url=detail_url)

        print(detail_res.text)

        # 4、解析详情页获取视频url

        movie_url = parse_detail(detail_res.text)

        print(movie_url)

        # 5、保存视频

        save_movie(movie_url)

2.高性能爬虫

import requests

import re  # 正则模块

# uuid.uuid4()  可以根据时间戳生成一段世界上唯一的随机字符串

import uuid

# 导入线程池模块

from concurrent.futures import ThreadPoolExecutor

# 线程池限制50个线程

pool = ThreadPoolExecutor(50)

# 爬虫三部曲

# 1、发送请求

def get_page(url):

    print(f'开始异步任务: {url}')

    response = requests.get(url)

    return response

# 2、解析数据

# 解析主页获取视频详情页ID

def parse_index(res):

    response = res.result()

    # 提取出主页所有ID

    id_list = re.findall('<a href="video_(.*?)"', response.text, re.S)

    # print(res)

    # 循环id列表

    for m_id in id_list:

        # 拼接详情页url

        detail_url = 'https://www.pearvideo.com/video_' + m_id

        # print(detail_url)

        # 把详情页url提交给get_page函数

        pool.submit(get_page, detail_url).add_done_callback(parse_detail)

# 解析详情页获取视频url

def parse_detail(res):

    response = res.result()

    movie_url = re.findall('srcUrl="(.*?)"', response.text, re.S)[0]

    # 异步提交把视频url传给get_page函数,把返回的结果传给save_movie

    pool.submit(get_page, movie_url).add_done_callback(save_movie)

# 3、保存数据

def save_movie(res):

    movie_res = res.result()

    # 把视频写到本地

    with open(f'{uuid.uuid4()}.mp4', 'wb') as f:

        f.write(movie_res.content)

        print(f'视频下载结束: {movie_res.url}')

        f.flush()

if __name__ == '__main__':  # main + 回车键

    # 一 往get_page发送异步请求，把结果交给parse_index函数

    url = 'https://www.pearvideo.com/'

    pool.submit(get_page, url).add_done_callback(parse_index)

3.requests详细使用

'''

GET请求讲解

'''

'''

User-Agent

# 访问知乎发现

请求url:

    https://www.zhihu.com/explore


请求方式:

    GET


请求头:

    user-agent: Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.146 Safari/537.36


    cookies

'''

# 访问知乎

# import requests

# response = requests.get(url='https://www.zhihu.com/explore')

# print(response.status_code)  # 400

# print(response.text)  # 返回错误页面

# 携带请求头参数访问知乎:

import requests

# 请求头字典

# headers = {

#    'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.146 Safari/537.36'

# }

# 在get请求内，添加user-agent

# response = requests.get(url='https://www.zhihu.com/explore', headers=headers)

# print(response.status_code)  # 200

# # print(response.text)

# with open('zhihu.html', 'w', encoding='utf-8') as f:

#    f.write(response.text)

'''

params请求参数

访问百度搜查安徽工程大学url

https://www.baidu.com/s?wd=安徽工程大学&pn=10

https://www.baidu.com/s?wd=安徽工程大学&pn=20

# '''

from urllib.parse import urlencode

# url = 'https://www.baidu.com/s?wd=%E8%94%A1%E5%BE%90%E5%9D%A4'

# url = 'https://www.baidu.com/s?' + urlencode({"wd": "蔡徐坤"})

url = 'https://www.baidu.com/s?'

headers = {

    'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.146 Safari/537.36'

}

# print(url)

# 在get方法中添加params参数

# response = requests.get(url, headers=headers, params={"wd": "安徽工程大学"})

response = requests.get(url, headers=headers, params={"wd": "安徽工程大学", "pn": "20"})

# print(response.text)

with open('gongcheng2.html', 'w', encoding='utf-8') as f:

    f.write(response.text)

'''

携带cookies

携带登录cookies破解github登录验证

请求url:

    https://github.com/settings/emails


请求方式:

    GET


请求头:

    User-Agen


    Cookie: has_recent_activity=1; _ga=GA1.2.1416117396.1560496852; _gat=1; tz=Asia%2FShanghai; _octo=GH1.1.1728573677.1560496856; _device_id=1cb66c9a9599576a3b46df2455810999; user_session=1V8n9QfKpbgB-DhS4A7l3Tb3jryARZZ02NDdut3J2hy-8scm; __Host-user_session_same_site=1V8n9QfKpbgB-DhS4A7l3Tb3jryARZZ02NDdut3J2hy-8scm; logged_in=yes; dotcom_user=TankJam; _gh_sess=ZS83eUYyVkpCWUZab21lN29aRHJTUzgvWjRjc2NCL1ZaMHRsdGdJeVFQM20zRDdPblJ1cnZPRFJjclZKNkcrNXVKbTRmZ3pzZzRxRFExcUozQWV4ZG9kOUQzZzMwMzA2RGx5V2dSaTMwaEZ2ZDlHQ0NzTTBtdGtlT2tVajg0c0hYRk5IOU5FelYxanY4T1UvVS9uV0YzWmF0a083MVVYVGlOSy9Edkt0aXhQTmpYRnVqdFAwSFZHVHZQL0ZyQyt0ZjROajZBclY4WmlGQnNBNTJpeEttb3RjVG1mM0JESFhJRXF5M2IwSlpHb1Mzekc5M0d3OFVIdGpJaHg3azk2aStEcUhPaGpEd2RyMDN3K2pETmZQQ1FtNGNzYnVNckR4aWtibkxBRC8vaGM9LS1zTXlDSmFnQkFkWjFjanJxNlhCdnRRPT0%3D--04f6f3172b5d01244670fc8980c2591d83864f60


'''

import requests

# 请求url

url = 'https://github.com/settings/emails'

# 请求头

headers = {

    'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.146 Safari/537.36',

    # 在请求头中拼接cookies

# github_res = requests.get(url, headers=headers)

import requests

cookies = {

    'Cookie': 'ccc'; _ga='ddd'; _gat=1; tz=‘xxx’; _octo='yyy'; _device_id=‘zzz’

# 'ccc''ddd'‘xxx’'yyy'‘zzz’ depends on your browser information

}

github_res = requests.get(url, headers=headers, cookies=cookies)

print('xxx' in github_res.text)#xxx is your username

4.爬取豆瓣Top250电影信息

''''''

'''

主页:

    https://movie.douban.com/top250

    GET

    User-Agent: Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.146 Safari/537.36


re正则:

    # 电影详情页url、图片链接、电影名称、电影评分、评价人数

    <div class="item">.*?href="(.*?)">.*?src="(.*?)".*?<span class="title">(.*?)</span>.*?<span class="rating_num".*?>(.*?)</span>.*?<span>(.*?)人评价

'''

import requests

import re

url = 'https://movie.douban.com/top250'

headers = {

    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.146 Safari/537.36'

}

# 1、往豆瓣TOP250发送请求获取响应数据

response = requests.get(url, headers=headers)

# print(response.text)

# 2、通过正则解析提取数据

# 电影详情页url、图片链接、电影名称、电影评分、评价人数

movie_content_list = re.findall(

    # 正则规则

    '<div class="item">.*?href="(.*?)">.*?src="(.*?)".*?<span class="title">(.*?)</span>.*?<span class="rating_num".*?>(.*?)</span>.*?<span>(.*?)人评价',

    # 解析文本

    response.text,

    # 匹配模式

    re.S)

for movie_content in movie_content_list:

    # 解压赋值每一部电影

    detail_url, movie_jpg, name, point, num = movie_content

    data = f'电影名称:{name},  详情页url:{detail_url}, 图片url:{movie_jpg}, 评分: {point}, 评价人数: {num} \n'

    print(data)

    # 3、保存数据，把电影信息写入文件中

    with open('douban.txt', 'a', encoding='utf-8') as f:

        f.write(data)

©著作权归作者所有,转载或内容合作请联系作者
  • 人面猴
    序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
    沈念sama阅读 214,922评论 6赞 497
  • 死咒
    序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
    沈念sama阅读 91,591评论 3赞 389
  • 救了他两次的神仙让他今天三更去死
    文/潘晓璐 我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
    开封第一讲书人阅读 160,546评论 0赞 350
  • 道士缉凶录：失踪的卖姜人
    文/不坏的土叔 我叫张陵，是天一观的道长。 经常有香客问我，道长，这世上最难降的妖魔是什么？ 我笑而不...
    开封第一讲书人阅读 57,467评论 1赞 288
  • 港岛之恋（遗憾婚礼）
    正文 为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
    茶点故事阅读 66,553评论 6赞 386
  • 恶毒庶女顶嫁案：这布局不是一般人想出来的
    文/花漫 我一把揭开白布。 她就那样静静地躺着，像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上，一...
    开封第一讲书人阅读 50,580评论 1赞 293
  • 城市分裂传说
    那天，我揣着相机与录音，去河边找鬼。 笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。 我是一名探鬼主播，决...
    沈念sama阅读 39,588评论 3赞 414
  • 双鸳鸯连环套：你想象不到人心有多黑
    文/苍兰香墨 我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
    开封第一讲书人阅读 38,334评论 0赞 270
  • 万荣杀人案实录
    序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
    沈念sama阅读 44,780评论 1赞 307
  • 护林员之死
    正文 独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,092评论 2赞 330
  • 白月光启示录
    正文 我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,270评论 1赞 344
  • 活死人
    序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
    沈念sama阅读 34,925评论 5赞 338
  • 日本核电站爆炸内幕
    正文 年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
    茶点故事阅读 40,573评论 3赞 322
  • 男人毒药：我在死后第九天来索命
    文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,194评论 0赞 21
  • 一桩弑父案，背后竟有这般阴谋
    文/苍兰香墨 我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,437评论 1赞 268
  • 情欲美人皮
    我被黑心中介骗来泰国打工， 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。 一个月前我还...
    沈念sama阅读 47,154评论 2赞 366
  • 代替公主和亲
    正文 我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
    茶点故事阅读 44,127评论 2赞 352

推荐阅读更多精彩内容