Selenium模拟浏览器Python爬虫

1. 什么是Selenium

Selenium是一套完整的Web应用程序测试系统，它包含了测试的录制、编写及运行和测试的并行处理。支持的浏览器包括IE（7, 8, 9, 10, 11），Mozilla Firefox，Safari，Google Chrome，Opera等。完全有JavaScript编写，因此可以运行于任何支持JavaScript的浏览器上。

2. Selenium爬虫优劣势分析

2.1 优势

不需要做复杂的抓包、构造请求、解析数据等，开发难度相对要低一些。其访问参数跟使用浏览器的正常用户一模一样，访问行为也相对更像正常用户，不容易被反爬虫策略命中。

在需要模拟用户登录、浏览器滑动或点击时，使用Selenium执行js语句非常容易实现，比较适合动态网页的信息爬取。

2.2 劣势

相比于抓包→构造请求→解析返回值的爬虫，由于Selenium需要生成一个浏览器环境，所有操作（与元素交互、获取元素内容等）均需要等待页面加载完毕后才可以继续进行，所以速度相比构造请求的慢很多。

如果是爬取静态网页，不建议使用Selenium，原因是速度太慢，效率太低。建议使用其他爬虫工具，比如Scrapy。

3. 安装Selenium模块及浏览器驱动配置

3.1 Windows系统安装Selenium

第一步：安装配置Python环境，并安装pip组件。

第二步：在命令行工具中执行如下命令

pip install selenium

第三步：检查是否安装成功，再次执行上面命令，出现如下图所示，表示成功。

image.png

3.2 Ubuntu系统安装Selenium

执行如下命令：

apt-get install python-selenium

注：如果提示安装其他组件，请根据提示进行安装。

3.3 配置浏览器驱动

第一步：查看支持的浏览器驱动，依次执行命令：

python
from selenium import webdriver
help(webdriver)
image.png

第二步：选择需要使用的浏览器驱动Webdriver，根据电脑的浏览器版本下载对应的驱动到本地。下面是常用驱动下载地址。

Chromedriver（谷歌浏览器） [下载地址](http://chromedriver.storage.googleapis.com/index.html)
Geckodriver（火狐浏览器）    [下载地址](https://github.com/mozilla/geckodriver/releases)
IEdriver（IE浏览器）    [下载地址](http://selenium-release.storage.googleapis.com/index.html)
Operadriver（*Opera*浏览器）  [下载地址](https://cnpmjs.org/mirrors/operadriver)

第三步：将下载的驱动，拷贝到python安装目录。

4. Selenium爬虫框架

4.1 常用页面定位方法

# 获取单个页面元素
 driver.find_element_by_xpath()
 driver.find_element_by_id()
 driver.find_element_by_name()
 driver.find_element_by_class_name()
 driver.find_element_by_link_text()
 driver.find_element_by_tag_name()
# 获取多个页面元素
 driver.find_elements_by_id()
 driver.find_elements_by_class_name()
 driver.find_elements_by_link_text()
 driver.find_elements_by_name()
 driver.find_elements_by_xpath()
 driver.find_elements_by_tag_name()

4.1 基础框架

from selenium import webdriver
from selenium.webdriver.chrome.options import Options

if __name__ == '__main__':
    options = Options()
    options.add_argument('--headless')    # 不打开浏览器
    options.add_argument('--disable-gpu')    # 禁用GPU硬件加速
    options.add_argument('user-agent="Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.8.1.2pre) Gecko/20070215 K-Ninja/2.1.1"')  # 添加访问头
    # options.add_argument('proxy-server="60.13.42.109:9999"')    # 添加代理
    driver = webdriver.Chrome(options=options)   # 使用驱动配置
    driver.get("网站地址")
    driver.implicitly_wait(10)     # 等待时间
    element = driver.find_element_by_xpath("//div[@class='para']")    # 执行页面定位语句
    isDisplayed = element.is_displayed()   # 判断是否允许访问
    print(isDisplayed)
    print(element.text)

    # 将滚动条移动到页面的顶部 0：为顶部；1000000：为底部
    js = "var q=document.documentElement.scrollTop=10000000000"    # js语句
    driver.execute_script(js)    # 执行语句

    driver.close()

4.2 通用模板

执行文件main.java：

import time

import json
import urllib

from selenium import webdriver
from selenium.webdriver.chrome.options import Options

from resource import GetHeader


# 定义元素对象
class Item(object):
    name = None
    imgUrl = None
    difficulty = None
    pre_time = None
    total_time = None
    materials = []


class GetCookFood(object):
    def __init__(self):
        self.urlsFileName = "urlsFile.txt"
        self.itemsFileName = "itemsFile.txt"
        self.imageDir = 'images/'
        self.GetItemsList()

    def GetItemsList(self):
        options = Options()
        options.add_argument('--headless')
        options.add_argument('--disable-gpu')
        options.add_argument(GetHeader())
        # options.add_argument('proxy-server="60.13.42.109:9999"')    # 添加代理
        driver = webdriver.Chrome(options=options)
        items = []
        itemsUrl = readFile(self.urlsFileName)
        try:
            driver.get("网站地址")
            driver.implicitly_wait(10)
            driver.find_element_by_name("phone_number").send_keys("1892462331311")
            driver.find_element_by_name("password").send_keys("qwe223456711")
            time.sleep(2)
            driver.find_element_by_xpath('//button[@class="button--primary"]').click()
            driver.refresh()

            for index in range(0, len(itemsUrl)-1):
                item = Item()
                item.nutritions = []
                try:
                    driver.get(itemsUrl[index])
                    driver.implicitly_wait(10)
                    item.name = driver.find_element_by_xpath('//h1[@class="recipe-card__title"]').text
                    item.imgUrl = driver.find_element_by_xpath('//img[@class="core-tile__image"]').get_attribute("srcset")
                    item.imgUrl = item.imgUrl.split('.jpg', 1)[0] + ".jpg"
                    item.difficulty = driver.find_element_by_id("rc-icon-difficulty-text").text.split("\n")[1]
                    item.pre_time = driver.find_element_by_id("rc-icon-active-time-text").text.split("\n")[1]
                    item.total_time = driver.find_element_by_id("rc-icon-total-time-text").text.split("\n")[1]
                    item.materials = driver.find_element_by_id("ingredients-0").text.split("\n")
                    print(item.name)
                    print("第"+str(index)+"个正在执行URL："+itemsUrl[index])
                    items.append(item)
                except Exception as e1:
                    print(e1)
                    items.append(item)
            self.saveFile(self.itemsFileName, items)
        except Exception as e:
            print(e)
            self.saveFile(self.itemsFileName, items)
        return items


# 按行读取文件方法
def readFile(fileName):
    itemsUrl = []
    with open(fileName, 'r', encoding="utf-8")as fp:
        while True:
            line = fp.readline()
            itemsUrl.append(line)
            if not line:
                break
        fp.close()
    return itemsUrl

# 保存文件
def saveFile(self, imageDir, saveFileName, fileList):
    try:
        with open(saveFileName, 'a', encoding="utf8")as fp:
            for item in fileList:
                line = json.dumps(self.obj_2_json(item), ensure_ascii=False) + "\n"
                fp.write(line)
                response = urllib.request.urlopen(item.imgUrl)
                imageName = imageDir + item.name + '.jpg'
                with open(imageName, 'ab')as fpImage:
                    fpImage.write(response.read())
                    fpImage.close()
            fp.close()
        print("保存完成")
    except Exception as e:
        print(e)

# 将文件存为json格式
def obj_2_json(self, obj):
    return {
            "name": obj.name,
            "imgUrl": obj.imgUrl,
            "difficulty": obj.difficulty,
            "pre_time": obj.pre_time,
            "total_time": obj.total_time,
            "materials": obj.materials,
        }


if __name__ == '__main__':
    run = GetCookFood()
    time.sleep(1000000)

请求头资源文件resource.java：

import random

USER_AGENT_LIST = [
    "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; AcooBrowser; .NET CLR 1.1.4322; .NET CLR 2.0.50727)",
    "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0; Acoo Browser; SLCC1; .NET CLR 2.0.50727; Media Center PC 5.0; .NET CLR 3.0.04506)",
    "Mozilla/4.0 (compatible; MSIE 7.0; AOL 9.5; AOLBuild 4337.35; Windows NT 5.1; .NET CLR 1.1.4322; .NET CLR 2.0.50727)",
    "Mozilla/5.0 (Windows; U; MSIE 9.0; Windows NT 9.0; en-US)",
    "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Win64; x64; Trident/5.0; .NET CLR 3.5.30729; .NET CLR 3.0.30729; .NET CLR 2.0.50727; Media Center PC 6.0)",
    "Mozilla/5.0 (compatible; MSIE 8.0; Windows NT 6.0; Trident/4.0; WOW64; Trident/4.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; .NET CLR 1.0.3705; .NET CLR 1.1.4322)"
]

def GetHeader():
    header = 'user-agent=' + random.choice(USER_AGENT_LIST)
    print(header)
    return header

文档下载地址

https://wenku.baidu.com/view/1802f67b747f5acfa1c7aa00b52acfc789eb9f1b

最后编辑于 ：
©著作权归作者所有,转载或内容合作请联系作者
禁止转载，如需转载请通过简信或评论联系作者。
  • 人面猴
    序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
    沈念sama阅读 224,896评论 6赞 522
  • 死咒
    序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
    沈念sama阅读 96,283评论 3赞 402
  • 救了他两次的神仙让他今天三更去死
    文/潘晓璐 我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
    开封第一讲书人阅读 172,085评论 0赞 367
  • 道士缉凶录：失踪的卖姜人
    文/不坏的土叔 我叫张陵，是天一观的道长。 经常有香客问我，道长，这世上最难降的妖魔是什么？ 我笑而不...
    开封第一讲书人阅读 61,010评论 1赞 300
  • 港岛之恋（遗憾婚礼）
    正文 为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
    茶点故事阅读 70,015评论 6赞 400
  • 恶毒庶女顶嫁案：这布局不是一般人想出来的
    文/花漫 我一把揭开白布。 她就那样静静地躺着，像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上，一...
    开封第一讲书人阅读 53,492评论 1赞 314
  • 城市分裂传说
    那天，我揣着相机与录音，去河边找鬼。 笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。 我是一名探鬼主播，决...
    沈念sama阅读 41,858评论 3赞 428
  • 双鸳鸯连环套：你想象不到人心有多黑
    文/苍兰香墨 我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
    开封第一讲书人阅读 40,829评论 0赞 279
  • 万荣杀人案实录
    序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
    沈念sama阅读 47,374评论 1赞 324
  • 护林员之死
    正文 独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 39,409评论 3赞 346
  • 白月光启示录
    正文 我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 41,527评论 1赞 355
  • 活死人
    序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
    沈念sama阅读 37,131评论 5赞 351
  • 日本核电站爆炸内幕
    正文 年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
    茶点故事阅读 42,858评论 3赞 339
  • 男人毒药：我在死后第九天来索命
    文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 33,296评论 0赞 25
  • 一桩弑父案，背后竟有这般阴谋
    文/苍兰香墨 我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 34,434评论 1赞 276
  • 情欲美人皮
    我被黑心中介骗来泰国打工， 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。 一个月前我还...
    沈念sama阅读 50,087评论 3赞 381
  • 代替公主和亲
    正文 我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
    茶点故事阅读 46,597评论 2赞 366