Selenium进行页面导航操作
使用WebDriver要做的第一件事是导航到一个链接。通常通过调用get
方法:
driver.get("http://www.google.com")
1、与页面交互
仅仅是能够打开不同的页面并没有什么用。我们真正想做的是与页面交互,或者更具体的说,与页面中对的HTML元素交互。首先我们要找到一个元素。WebDriver 提供了一些方法查找元组。例如,给定一个元素定义为:
<input type="text" name="passwd" id="passwd-id" />
你可以找到它使用下面任何一个方法:
element = driver.find_element_by_id("passwd-id")
element = driver.find_element_by_name("passwd")
element = driver.find_element_by_xpath("//input[@id='passwd-id']")
你也可以通过它的text
查找,但是要小心。文本必须完全匹配。在WebDriver中使用XPATH
时也应该小心。如果有多个元素与查询匹配,则只返回第一个元素。如果什么也找不到,则会引发NoSuchElementException
。
WebDriver有一个“基于对象”的API;我们使用相同的接口表示所有类型的元素。这意味着,尽管您可能会看到许多可能的方法,当您点击IDE的自动完成键组合时,您可以调用它们,但并不是所有这些方法都有意义或有效。别担心!WebDriver将尝试做正确的事情,如果您调用一个没有意义的方法(例如,“meta”标签上的“setSelected()”),将引发异常。
你有一个元素。你能用它做什么?首先,你可能想在文本框中输入一些文本:
element.send_keys("some text")
你可以使用Keys
类模拟按箭头键:
element.send_keys(" and some", Keys.ARROW_DOWN)
可以在任何元素上调用send_keys,这样就可以测试键盘快捷方式,比如GMail上使用的快捷方式。这样做的一个副作用是,在文本字段中键入一些内容,但不会自动清除它。相反,您键入的内容将附加到已经存在的内容后面。使用clear
方法可以轻松清除文本字段或文本区域的内容:
element.clear()
2、填充表单
您可以“切换”下拉框的状态,并且可以使用“setSelected”设置类似于“OPTION tag selected”的内容。
element = driver.find_element_by_xpath("//select[@name='name']")
all_options = element.find_elements_by_tag_name("option")
for option in all_options:
print("Value is: %s" % option.get_attribute("value"))
option.click()
这将找到页面上的第一个“SELECT”元素,并依次循环遍历它的每个选项,打印出它们的值,并依次选择它们。
如您所见,这不是处理SELECT元素最有效的方法。WebDriver的支持类包括一个名为“Select”的类,它提供了与select标签交互的有用方法:
from selenium.webdriver.support.ui import Select
select = Select(driver.find_element_by_name('name'))
select.select_by_index(index)
select.select_by_visible_text("text")
select.select_by_value(value)
WebDriver还提供了取消选择所有选项的功能:
select = Select(driver.find_element_by_id('id'))
select.deselect_all()
这将从页面上的特定select标签中取消选择所有选项。假设在一个测试中,我们需要所有默认选中选项的列表,Select class提供了一个属性方法,返回一个列表:
select = Select(driver.find_element_by_xpath("//select[@name='name']"))
all_selected_options = select.all_selected_options
获取所有可用选项:
options = select.options
一旦您完成了表单的填写,您可能想要提交它。一种方法是找到“提交”按钮并点击它:
# Assume the button has the ID "submit" :)
driver.find_element_by_id("submit").click()
另外,WebDriver对每个元素都有快捷的方法“submit”。如果您对表单中的元素调用此函数,WebDriver将遍历DOM,直到找到所包含的表单,然后在此基础上调用submit。如果元素不在表单中,则会引发NoSuchElementException
:
element.submit() #只对获取的标签而言。
示例一:
from selenium import webdriver
url = 'https://v3.bootcss.com/css/#%E4%B8%8B%E6%8B%89%E5%88%97%E8%A1%A8%EF%BC%88select%EF%BC%89'
driver = webdriver.Chrome('D:\\Pycharm\\high_spider\\chromedriver.exe')
driver.get(url)
#查找select标签
select = driver.find_element_by_xpath('/html/body/div[2]/div/div[1]/div[6]/div[20]/form/select')
all_options = select.find_elements_by_tag_name('option')
print(all_options)
for option in all_options:
print("Text is: %s, Value is:%s" % (option.text, option.get_attribute('value')))
#选中text=2的元素。
for option in all_options:
if option.text == '2':
option.click()
示例二:
import time
from selenium import webdriver
from selenium.webdriver.support.ui import Select
url = 'https://v3.bootcss.com/css/#%E4%B8%8B%E6%8B%89%E5%88%97%E8%A1%A8%EF%BC%88select%EF%BC%89'
driver = webdriver.Chrome('D:\\Pycharm\\high_spider\\chromedriver.exe')
driver.get(url)
#查找select标签
element = driver.find_element_by_xpath('/html/body/div[2]/div/div[1]/div[6]/div[20]/form/select')
select = Select(element)
#选择一项
select.select_by_index(1)
time.sleep(4)
select.select_by_visible_text('3')
time.sleep(3)
#select.select_by_value('1')#这个代表option标签里面一定要有value的属性,否则报错
示例三:
import time
from selenium import webdriver
from selenium.webdriver.support.ui import Select
url = 'https://v3.bootcss.com/css/#%E4%B8%8B%E6%8B%89%E5%88%97%E8%A1%A8%EF%BC%88select%EF%BC%89'
driver = webdriver.Chrome('D:\\Pycharm\\high_spider\\chromedriver.exe')
driver.get(url)
#查找select标签
element = driver.find_element_by_xpath('/html/body/div[2]/div/div[1]/div[6]/div[21]/form/select')
select = Select(element)
#获取所有奇数项可用选项
options = select.options
print(options)
for i in range(len(options)):
if i % 2 == 0:
options[i].click()
time.sleep(5)
select.deselect_all()#取消选择所有选项的功能
time.sleep(3)
driver.quit()
3、拖放
您可以使用拖放操作,将一个元素移动一定的距离,或者移动到另一个元素上:
element = driver.find_element_by_name("source")
target = driver.find_element_by_name("target")
from selenium.webdriver import ActionChains
action_chains = ActionChains(driver)
action_chains.drag_and_drop(element, target).perform()
没有成功,不知道为啥。
http://www.w3school.com.cn/tiy/loadtext.asp?f=html5_draganddrop
4、在窗口和frames
之间移动
现代web应用程序很少出现一个页面中不包含任何frame
或者只包含一个单一的窗口。WebDriver支持使switch_to_window方法在指定窗口之间移动:
driver.switch_to_window("windowName")
所有对驱动程序的调用现在都将被解释为指向特定窗口。但是你怎么知道窗户的名字呢?看看打开它的javascript或链接:
<a href="somewhere.html" target="windowName">Click here to open a new window</a>
或者,您可以将“窗口句柄”传递给“switch_to_window()”方法。
知道了这一点,就可以像这样遍历每个打开的窗口:
for handle in driver.window_handles:
driver.switch_to_window(handle)
你也可以从一个frame进入另一个frame(或进入iframe):
driver.switch_to_frame("frameName")
可以通过用点分隔路径来访问子frame,还可以通过它的索引指定frame。
driver.switch_to_frame("frameName.0.child")
上面的代码将转到名为“frameName”的frame第一个名为“child”的子frame。
一旦我们完成了frame的工作,我们将不得不回到父frame,可以使用:
driver.switch_to_default_content()
示例一:
import time
from selenium import webdriver
url = 'https://www.baidu.com'
driver = webdriver.Chrome('D:\\Pycharm\\high_spider\\chromedriver.exe')
driver.get(url)
#查找input标签
label = driver.find_element_by_id('kw')
label.clear()
label.send_keys('图片')
#找到提交标签并且执行提交操作
label_submit = driver.find_element_by_id('su')
label_submit.click()
time.sleep(3)
#点击第一条信息
element3 = driver.find_element_by_xpath('//*[@id="1"]/h3/a')
element3.click()
time.sleep(4)
#切换window(到新的页面进行输入搜索)
winname = driver.window_handles[-1]#拿到所有window的句柄
driver.switch_to_window(winname)
element = driver.find_element_by_xpath('//*[@id="kw"]')
element.clear()
element.send_keys('大佬')
element1 = driver.find_element_by_xpath('//*[@id="imgMainSearch"]/div[1]/form/span[2]/input')
element1.click()
time.sleep(10)
driver.quit()
示例二:
import time
from selenium import webdriver
url = 'http://www.w3school.com.cn/tiy/t.asp?f=html_form_text'
driver = webdriver.Chrome('D:\\Pycharm\\high_spider\\chromedriver.exe')
driver.get(url)
#切换frame
driver.switch_to_frame('i') #i是iframe的名字
input1 = driver.find_element_by_xpath('/html/body/form/input[1]')
input1.clear()
input1.send_keys('小龙')
time.sleep(5)
#切回原来的窗口
driver.switch_to_default_content()
div = driver.find_element_by_xpath('//*[@id="TestCode"]')
div.clear()
time.sleep(10)
driver.quit()
5、弹出对话框
Selenium WebDriver内置了对弹出对话框处理的支持。当你触发了一个会弹出窗口的动作后,你可以通过以下方式访问弹框:
alert = driver.switch_to.alert
这将返回当前打开的alert对象。使用该对象,您现在可以接受、取消、读取其内容。此接口在警报、确认和提示上同样有效。
注意:对于弹出的对话框可以用上面的方式进行操作(因为这是浏览器提供的功能);对于模态框而言,他是用div标签、html代码和js做出来的,直接可以进行元素定位可以获得。
示例:
import time
from selenium import webdriver
url = 'http://www.w3school.com.cn/tiy/t.asp?f=js_confirm'
driver = webdriver.Chrome('D:\\Pycharm\\high_spider\\chromedriver.exe')
driver.get(url)
#切换到frame
# driver.switch_to_frame('i')
driver.switch_to.frame('i')
driver.find_element_by_xpath('/html/body/button').click()
#获取当前页面的alert框(这里是获取确认对话框)
alert = driver.switch_to.alert
print(alert.text)
time.sleep(5)
# alert.accept()# 模拟点击确认
alert.dismiss()#模拟点击取消
driver.quit()
6、导航:历史和位置
前面,我们讨论了使用“get”命令(driver.get(“http://www.example.com”))导航到一个页面。正如您所看到的,WebDriver有许多更小的、以任务为中心的界面,导航是一个有用的任务。要浏览网页,你可以使用get方法:
driver.get("http://www.example.com")
要在浏览器的历史中来回移动(上一个页面和下一个页面进行切换):
driver.forward()
driver.back()
请注意,此功能完全依赖于Selenium底层驱动程序,有时候有的浏览器不能实现,这是底层驱动的原因导致的。
示例:
import time
from selenium import webdriver
url = 'https://www.baidu.com'
driver = webdriver.Chrome('D:\\Pycharm\\high_spider\\chromedriver.exe')
driver.get(url)
#查找input标签
label = driver.find_element_by_id('kw')
label.clear()
label.send_keys('图片')
time.sleep(5)
#切换到上一个状态
driver.back()
time.sleep(5)
#前进(切换)到下一个状态
driver.forward()
time.sleep(5)
driver.quit()
7 、 Cookies的处理
# Go to the correct domain
driver.get("http://www.example.com")
# Now set the cookie. This one's valid for the entire domain
cookie = {‘name’ : ‘foo’, ‘value’ : ‘bar’}
driver.add_cookie(cookie)
# And now output all the available cookies for the current URL
driver.get_cookies()
示例:
from selenium import webdriver
url = 'https://www.baidu.com'
driver = webdriver.Chrome('D:\\Pycharm\\high_spider\\chromedriver.exe')
#设置自己的cookie:name是cookie的名字,value是cookie的值,在加自己的cookie的时候,必须要在会话(session,访问了相应的页面)状态之前加入,否则报错。
set_mycookie = {'name': 'xiaoming', 'value': 'jiji'}
driver.get(url)
driver.add_cookie(set_mycookie)
#获取当前所有的cookie
cookies = driver.get_cookies()
print(type(cookies), cookies)
#获取某一个cookie的值
print(driver.get_cookie('H_PS_PSSID'))
driver.quit()