selenium+re 爬虫实战(一)

1.chrome参数设置不打开web界面

2. 使用正则表达式匹配文字规则

3. 使用findall函数匹配正则并输出所需文字

from seleniumimport webdriver

import re

chrome_options=webdriver.ChromeOptions()  # 创建浏览器参数设置的对象

chrome_options.add_argument("--headless")    # 设置参数--headless,运行时不会弹出浏览器

driver= webdriver.Chrome('C:\\chromedriver.exe',options=chrome_options)

driver.get("http://www.cnblogs.com/yoyoketang/")

page= driver.page_source  #输出web页面展示内容

print(page)

pattern= re.compile(r'<a class="postTitle2" href=".*?">\s(.*?)</a>' 

                    r'.*?<div class="c_b_p_desc">(.*?)</div>',re.S)

url=pattern.findall(page)

print(url)

#输出结果

('[置顶]2020年第三期《python接口自动化+测试开发》课程,4月5号开学(火热报名中!)\n','\n摘要:2020年第三期《python接口自动化+python测试开发》课程,4月5号开学(火热报名中!)主讲老师:上海悠悠上课方式:QQ群视频在线教学,方便交流本期上课时间:4月5号6月27号,每周六、周日晚上20:3022:30报名费:报名费3000一人(周期3个月)联系QQ:28334<ahref="https://www.cnblogs.com/yoyoketang/p/12417056.html"class="c_b_p_desc_readmore">阅读全文</a>\n') ('[置顶]《2019测试面试题-上海悠悠.pdf》\n','\n摘要:前言面试测试岗位一般会有笔试题,笔试题考SQL和编程基础比较多,小编最近收集了多家公司的测试面试题,整理成一个文档供大家参考。2018年下半年一直不太平,听到最多的就是“p2p暴雷”,“xx平台跑路”,紧接着年底就是“裁员”、“xx部门就地解散”、“欠薪”,很多小伙伴已经提前回家准备过冬了,等待<ahref="https://www.cnblogs.com/yoyoketang/p/10302295.html"class="c_b_p_desc_readmore">阅读全文</a>\n') ('Cypress学习8-Cookies使用\n','\n摘要:前言cy.getCookie()根据cookie的name名称,获取对应cookie的value值cy.getCookies()获取浏览器全部cookiescy.setCookie()也可以给浏览器,自己添加cookiecy.clearCookies()清空全部coo<ahref="https://www.cnblogs.com/yoyoketang/p/12876966.html"class="c_b_p_desc_readmore">阅读全文</a>\n') ('Cypress学习7-连接器connectors\n','\n摘要:前言关于web页面上的选项,通常我们需要断言选项的个数,遍历每个选项的内容..each().its()判断选项里面元素个数.invoke()隐藏元素判断定位隐藏元素,对异常隐藏的判断.spread()遍历arr依次断言.then()要使用当前主题调用回调函数,请使用.the<ahref="https://www.cnblogs.com/yoyoketang/p/12875360.html"class="c_b_p_desc_readmore">阅读全文</a>\n') ('Cypress学习6-Assertions断言使用(should,expect)\n','\n摘要:前言每个测试用例需要加断言,Cypress里面断言常用的有should,expect隐式断言.should()可以使用.should()给当前用例加断言should(\'have.class\',\'success\')断言元素的class属性值是\'success\'should(\'hav<ahref="https://www.cnblogs.com/yoyoketang/p/12872094.html"class="c_b_p_desc_readmore">阅读全文</a>\n') ('Cypress学习5-table表格元素(别名使用Aliasing)\n','\n摘要:前言页面上有些元素定位路径比较复杂,可以先定位到该元素使用别名,通过这个别名去操作元素,这样看起来简洁一些。.as()使用别名定位元素table表格上的元素定位使用示例//ThefollowingDOMcommandchainisunwieldy.//Toavoidre<ahref="https://www.cnblogs.com/yoyoketang/p/12871996.html"class="c_b_p_desc_readmore">阅读全文</a>\n') ('Cypress学习4-操作页面元素(Actions行为事件)\n','\n摘要:前言ui自动化操作页面上的元素,常用的方法就那么几个,输入文本,点击元素,清空文本,点击按钮。还有一些特殊的checkbox,radio,滚动条等。.type()往输入框输入文本元素.focus()要聚焦DOM元素,请使用.focus()命令.blur()判断输入框是必填项.cle<ahref="https://www.cnblogs.com/yoyoketang/p/12870547.html"class="c_b_p_desc_readmore">阅读全文</a>\n') ('Cypress学习3-登录web网站案例脚本\n','\n摘要:前言先从第一个登录页面的案例开始,写一个登陆案例的脚本示例,这里以禅道网站登录为例。登录脚本脚本实现功能:输入用户名,断言输入框输入成功输入密码,断言输入成功点登陆按钮断言1判断页面重定向跳转到首页断言2判断页面包含某个文件断言3判断登录成功后,cookie存在login_<ahref="https://www.cnblogs.com/yoyoketang/p/12873091.html"class="c_b_p_desc_readmore">阅读全文</a>\n') ('Cypress学习2-pycharm写第一个脚本\n','\n摘要:前言Cypress是javascript语言写的,写js脚本可以用pycharm编辑器上直接编写。以第一个百度页面搜索框为案例编写一个可以运行的脚本pycharm导入工程上一篇新建的项目目录在D:\\CypresspycharmFileOpenD:\\Cypress\\cypress导入<ahref="https://www.cnblogs.com/yoyoketang/p/12868279.html"class="c_b_p_desc_readmore">阅读全文</a>\n') ('Cypress学习1-windows环境npm安装Cypress\n','\n摘要:前言web技术已经进化了,web的测试技术最终还是跟上了脚步,新一代的web自动化技术出现了?Cypress可以对在浏览器中运行的任何东西进行快速、简单和可靠的测试。"Thewebhasevolved.Finally,testinghastoo.Fast,easyandr<ahref="https://www.cnblogs.com/yoyoketang/p/12860329.html"class="c_b_p_desc_readmore">阅读全文</a>\n') ('pytest文档39-参数化(parametrize)结合allure.title()生成不同标题报告\n','\n摘要:前言pytest的参数化(parametrize)可以实现只需维护测试数据,就能生成不同的测试用例目的。可以在参数化的时候加ids参数对每个用例说明使用场景。最终我们希望在allure报告上能详细的展示出每个用例的标题描述,这样才能更直观的知道每个用例是干什么的。参数化parametr<ahref="https://www.cnblogs.com/yoyoketang/p/12853605.html"class="c_b_p_desc_readmore">阅读全文</a>\n') ('pytest文档38-allure.step()添加测试用例步骤\n','\n摘要:前言一般流程性的测试用例,写成自动化用例时,步骤较多写起来会比较长。在测试用例里面添加详细的步骤有助于更好的阅读,也方便报错后快速的定位到问题。举个常见的测试场景用例:从登陆开始,到浏览商品添加购物车,最后下单支付用例步骤:1.登陆,2.浏览商品3.添加购物车4.生成订单5.支付成功<ahref="https://www.cnblogs.com/yoyoketang/p/12846418.html"class="c_b_p_desc_readmore">阅读全文</a>\n')

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 218,858评论 6 508
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 93,372评论 3 395
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 165,282评论 0 356
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 58,842评论 1 295
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 67,857评论 6 392
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,679评论 1 305
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,406评论 3 418
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 39,311评论 0 276
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,767评论 1 315
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,945评论 3 336
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 40,090评论 1 350
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,785评论 5 346
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 41,420评论 3 331
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,988评论 0 22
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 33,101评论 1 271
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 48,298评论 3 372
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 45,033评论 2 355