selenium动态页面的爬取--基本用法

动态页面的生成有很多种,常见的有两种:

  • 一种是直接通过Ajax返回的数据来显示.对于这种,我们可以直接通过分析Ajax的接口来使用requests或者urllib等包直接来获取接口传输的数据,
  • 另外一种是返回的数据在页面上再进行加工后才显示的数据,这种数据往往是通过js进行各种复杂的计算得到的也是一种很常见的加密方式,通过requests并不能直接获取

针对上面说的一种情况我们会在另一篇文章中详细介绍,这里我们讨论第二种,通过前端js加密的数据如何获取,当然我们可以直接分析他们的js来读懂整个网站的js但是这需要很大的功夫去了解一个网站,对于一个大型网站可能网站的人员都不一定能全部理解整个网站的js加密方式. 对于我们爬虫来说还有另外一种非常强大的可见即可爬的方式---selenium

selenium

这是一款自动化测试工具,可以驱动浏览器(有界面,无界面)来执行特定的操作,可以模仿人的点击下拉等各种基本操作,对于js加密的信息的抓取非常有效

安装

这里我们会写一篇详细的安装教程大家可以先搜索相关教程这里我们需要selenium 即可

  • 直接pip install selenium

selenium的大体功能演示

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.support.wait import WebDriverWait

browser = webdriver.Firefox() # 创建一个浏览器对象,这里还可以使用chrome等浏览器
try:
    browser.get('https://www.baidu.com')# 打开百度的网页
    input = browser.find_element_by_id('kw') # 找到id为kw的元素
    input.send_keys('Python') # 给这个元素传递一个值'Python'
    input.send_keys(Keys.ENTER)  # 使用键盘的enter键
    wait = WebDriverWait(browser,10) # 浏览器等待10s
    wait.until(EC.presence_of_all_elements_located((By.ID,'content_left')))  # 等待直到出现'content_left'
    print(browser.current_url)  # 输出浏览器当前的url
    print(browser.get_cookies())  # 输出cookie
    print(browser.page_source)  # 输出网页的当前源码
finally:
    browser.close() # 关闭浏览器

运行代码会发现火狐浏览器被启动然后自动打开了百度的网页然后在搜索框中输入了 Python(如果看不清楚可以手动添加time模块进行暂停观察) 然后按下了回车键进行搜索,显示结果(同上看不清楚可以添加time模块)然后关闭,在我们的终端显示了很多内容截取其中一点如下:

https://www.baidu.com/s?ie=utf-8&f=8&rsv_bp=0&rsv_idx=1&tn=baidu&wd=Python&rsv_pq=ef704a420000296f&rsv_t=da9d9XB5i%2Fps1vejnUbOp0RAAdpd4K6q%2BkAH7Cem%2FPrpHtStgPgxtv8ta7E&rqlang=cn&rsv_enter=1&rsv_sug3=6&rsv_sug2=0&inputT=242&rsv_sug4=242
[{'name': 'BAIDUID', 'value': '590E5CC2557B638BFA8336815259E51A:FG=1', 'path': '/', 'domain': '.baidu.com', 'expiry': 3682926116, 'secure': False, 'httpOnly': False}, {'name': 'BIDUPSID', 'value': '590E5CC2557B638BFA8336815259E51A', 'path': '/', 'domain': '.baidu.com', 'expiry': 3682926116, 'secure': False, 'httpOnly': False}, {'name': 'PSTM', 'value':
...

我们可以去浏览器中取对比发现这个和浏览器的数据是一样的.也就是我们可以利用selenium来获取网页内容,selenium就是我们设定的爬虫,它按照我们给它设定的规则控制浏览器并读取浏览器里的内容.真正做到了可见即可爬.

操控步骤

  • 创建浏览器对象
  • 访问页面
  • 查找需要的内容
  • 关闭浏览器
  1. 创建浏览器对象
    我们可以利用创建完成的对象进行各种操作
from selenium import webdriver

browser = webdriver.Chrome()
browser = webdriver.Firefox()
browser = webdriver.Edge()
browser = webdriver.PhantomJS()
browser = webdriver.Safari()
  1. 访问页面

使用get()方法来请求网页,这里只需要传入一个url即可.比如我们想访问我们这个文章我们可以在上面代码的基础上运行一下代码

url = '//www.greatytc.com/p/9b36413506c7'
browser.get(url)

这里我们就可以打开我们指定的网页,用起来非常方便.

  1. 查找节点
    selenium 浏览器对象提供了很多方法供我们使用用来选择节点信息.

find_element_by_id
find_element_by_name
find_element_by_xpath
find_element_by_link_text
find_element_by_tag_name
find_element_by_class_name
find_element_by_css_selector

eg:

browser.get('https://www.baidu.com')
login_button = driver.find_element_by_link_text('登录')

这里还提供一个通用的方法:

find_element(By.ID,id) # 它需要两个值,一个是查找方式,另外一个这是查找值

如果是多个值的话,我们可以使用find_elements_by 这样的函数来进行查找,也就是上面说的方法在element后面加上一个s对于通用的方法同样的适用:

find_elements(By.ID,id)

  1. 节点交互
    这里可以使用.click() send_keys() clear()等方法来模拟用户的点击,输入,清空等操作
  2. 获取节点信息
    当我们使用selecet_element方法以后会返回一个WebElement对象,这个类型提供给我们了很多节点信息的方法.
  • 获取属性:
    get_attribute()
    eg:
login_button.get_attribute('class)
  • 获取文本值
    每个WebElement都有text属性通过这个方法我们可以提取标签的文本内容
  • 获取id,位置,标签名和大小
    WebElememt 节点还提供了一下其他的属性:
    id,location, tag_name, size ....这是比较常用的,具体的我们可以查看官方文档
  1. 切换Frame
    网页中有一种节点是iframe,相当于Frame,当我们遇到这样的页面后可以使用switch_to.frame()来进行切换,这里需要传入一个参数: 另外一个frame的名字
  2. 延时等待
    在网页中经常会由于ajax等操作这会导致网页延时才能加载出来,所以我们需要等待一定的时间,确保所有的节点都已经加载出来了.
  • 隐式等待
    当我们使用implicitly_wait()方法的时候也就是在执行的时候,如果selenium没有找到节点,将会继续等待,等待到我们给出的时间后再去查找一次,如果还是没有出现,将会抛出异常.
  • 显示等待
    当selenium在查找节点的时候如果,在规定的时间内加载出来了这个节点就返回查找的节点,如果到了规定的时间依旧没有加载该节点,就会抛出异常.

关于等待还有很多:

等待条件 含义
title_is 标题是某内容
title_contains 标题包含某内容
presence_of_element_located 节点加载出来,传入定位元祖,比如(By.ID,'p')
visibiltiy_of_element_located 节点可见,传入定位元组
visiblity_of 可见传入节点对象
presence_of_all_elements_located 所有节点加载出来
text_to_be_present_in_element 某个节点文本包含某些文字
text_to_be_present_in_element_valve 某个节点包含某个文字
frame_to_be_available_and_switch_to_it 加载并切换
invisibility_of_element_located 节点不可见
element_to_be_clickable 节点可点击
staleness_of 判断一个节点是否仍在DOM, 可判断页面是否已经刷新
aert_is_present 是否出现警告
  1. 前进和后退
    back() 和forward()方法可实现浏览器的后退和前进功能

  2. Cookies
    可以对cookie进行获取,添加,删除等操作
    .get_cookie()
    .delete_all_cookie()
    .add_cookie({})

  3. 选项卡
    browser.switch_to_window 可以切换选项卡

import time
from selenium import webdriver

browser = webdriver.Firefox()
browser.get('https://www.baidu.com')
browser.exexute_script('window.open()')
browser.switch_to_window(broser.window_hadles[1])
browser.get('https://www.taobao.com')
time.sleep(1)
browser.switch_to_window(browser.window_handles[0])
browser.get('https://www.duanrw.cn')

11.异常的处理
可以使用try...except 来捕获异常

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 214,776评论 6 496
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 91,527评论 3 389
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 160,361评论 0 350
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 57,430评论 1 288
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 66,511评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,544评论 1 293
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,561评论 3 414
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,315评论 0 270
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,763评论 1 307
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,070评论 2 330
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,235评论 1 343
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,911评论 5 338
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,554评论 3 322
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,173评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,424评论 1 268
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,106评论 2 365
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,103评论 2 352

推荐阅读更多精彩内容