App自动化之dom结构和元素定位方式(包含滑动列表定位)

先来看几个名词和解释:

  • dom: Document Object Model 文档对象模型
  • dom应用: 最早应用于html和js的交互。界面的结构化描述, 常见的格式为html、xml。核心元素为节点和属性
  • xpath: xml路径语言,用于xml 中的节点定位,XPath 可在 xml 文档中对元素和属性进行遍历
    如下我们再来看一个App的dom:

控件的基础知识和selenium一样,appium为移动端抽象出了一个控件模型,称为dom结构;会把所有的控件都理解为xml文件,在xml文件里,每个控件都有自己的类型和属性;

既然有了类型和属性,自然就可以根据这些来定位元素,又因为整个模型是xml,也就同样可以通过xpath的方法来定位各个控件的信息了,是不是似曾相识?在Web端自动化时候也介绍过相关元素定位方式,具体可在文章末尾往期回顾第一条点击查看。

  • 定位
  • 交互
  • 断言

通过uiautomatorviewer对雪球App首页的解析得到如下图结果:

通过解析结果我们可以看到元素的属性和类型有:

  • node
  • attribute
  • clickable
  • content-desc
  • resource-id
  • text
  • bounds

IOS和Android在控件属性和上稍微有些不同(这里先说个概括,后续单独出IOS的文章加以说明,欢迎关注):

  • dom属性和节点结构类似
  • 名字和属性的命名不同

Appium 支持 WebDriver 定位策略的子集:

2.21 通过 “class” 查找 (例如, UI 组件的类型)-一般不推荐

这种就是通过判断控件类型来查找,例如TextView、ImageView等

在实际工作中,这种定位方式几乎不用,因为一个页面中可能会有很多的TextView、ImageView等;

appiumdriver.findElementByClassName("android.widget.TextView");

如上所述,xpath是不仅可以在移动端进行元素定位,并且是我们最常用的定位方式之一,在web端自动化我们会首推CSS定位,而在移动端定位我们会首推xpath定位,良好的xpath定位语法会给我们定位带来准确度和便利度,对速度的影响也完全会在我们的接受范围以内

如下dom结构中,一个界面上有多同类型控件,这些控件有相同的id或属性,不具备唯一性,所以无法直接进行指定控件的定位操作,这个时候就该xpath大显身手了

如我们要定位"画好一个封闭的圆"后面跟着的第二个RelativeLayout,具体写法如下:

//下面两种写法均可实现
By.xpath("((//*[@text='画好一个封闭的圆'])[2]/following-sibling::android.widget.RelativeLayout)[2]")
By.xpath("((//*[@text='画好一个封闭的圆'])[2]/following-sibling::*[@class='android.widget.RelativeLayout'])[2]")

很多控件都是有text属性的,但是appium是不支持直接对text进行定位的,而在实际工作中,我们经常会拿text进行定位,这就要归功于xpath了,通过对xpath语法的封装,我们就可以自定义一个根据text定位元素的方法来:

public By ByText(String text){
        return By.xpath("//*[@text='"+ text + "']");
    }

appiumdriver.findElement(ByText("关注"));

另外,需要定位Toast弹框时,有且仅有通过xpath的方式来实现:
有时候我们进行某个操作后会弹出消息提示,例如点击某个按钮或下拉刷新后可能会出现类似"刷新成功"的提示语,然后几秒后消失;

弹出的消息很可能是Android系统自带的Toast,Toast在弹出的时候会在当前界面出现节点android.widget.Toast,随着消息的消失而消失;这个时候我们如果需要定位这个弹出消息,对其进行测试的话,就可以使用定位xpath方式了。

System.out.println( appiumdriver.findElementByXPath("//*[@class='android.widget.Toast']").getText());

结果:

更多xpath介绍可参考博客:
推开Web自动化的大门到达“犯罪现象”-侦破selenium架构、环境安装及常用元素定位方法
或W3C:
https://www.w3school.com.cn/xpath/xpath_syntax.asp

学过web自动化的同学知道,在HTML中元素是有自己的id的,在移动端,元素依然有自己的id值,只不过名字叫做resource-id,如下:

注: 我们看到id的值很长,其实实际使用只需要取斜杠/后面的部分就可以了,如下:

By.id("statusTitle")

在移动端自动化中有个特殊的定位方式就是根据accessibilityId定位,在dom中表现就是属性content-desc的值,如果Android中的content-desc中写入了值,便可以通过其进行定位:


这里比较尴尬。。。由于研发经常偷懒不写,找了半天也没能找到例子,大家知道用法就好~
另外要注意的是如果要写成"By.xxx"的形式,需要使用MobileBy

MobileBy.AccessibilityId("AccessibilityId");
appiumdriver.findElementByAccessibilityId("AccessibilityId");

有时候我们需要对界面进行一定的操作方式后才能找到我们想要的元素,比如滑动列表进行查找等,这个时候就可以借助于android uiautomator了
这里利用模拟器中的API Demo做演示,进入APIDemo中Views,然后滑屏寻找“Popup Menu”进行点击操作

可以利用Android的UIAutomator进行滑屏操作,这时候需要使用AndroidDriver,另外定位元素可以使用UiScrollable:

在官网的uiautomator UiSelector中有用ruby写的实例,不过定位方式是一致的,可以直接借鉴至java代码中

driver.findElementByXPath("//*[@text='Views']").click();
((AndroidDriver<MobileElement>)driver).
                findElementByAndroidUIAutomator
                 ("new UiScrollable(new UiSelector().scrollable(true).instance(0)).scrollIntoView(new UiSelector().text(\"Popup Menu\").instance(0))")
                 .click();

在实际运行中,AndroidUIAutomator偶尔有定位失败的情况,可能在定位元素是位置会产生一点偏差,这里稍加改造避免这种偶发性失败;

By departmentName = MobileBy.AndroidUIAutomator(
                "new UiScrollable(new UiSelector().scrollable(true).instance(0))." +
                        "scrollIntoView(new UiSelector().text(\""+ departName +"\").instance(0))");
        find(departmentName);
//        click(departmentName); 原来直接操作滑动查找的元素结果
        click(ByText(departName));//现在利用xpath重新定位确认后再操作,成功率大大提升

运行效果演示:

在之前的一篇文章中我们介绍过appium底层的使用了各种引擎,可在文章末尾往期回顾第一条点击查看。
先简单看如下图:


我们现在用的最新的版本优先支持的就是uiautomator2,如果你使用的是相对较前的版本,可能支持的是uiautomator,那么这两个引擎对于以上介绍的定位有什么影响呢?来看源码:

我们现在用的最新的版本优先支持的就是uiautomator2,如果你使用的是相对较前的版本,可能支持的是uiautomator,那么这两个引擎对于以上介绍的定位有什么影响呢?来看源码:

  • Uiautomator源码

以id定位为例,在Uiautomator的源码可见其对id定位要更为宽泛,当我们使用By.id的时候,会同时去匹配resourceId、accessibility id、id

  • Uiautomator2源码

在Uiautomator2中,将id的定位进行了细分,对应不同的id进行判断后再操作,因此在使用Uiautomator2的时候我们的写法要更为严谨

appium官方说明文档:
http://appium.io/docs/en/writing-running-appium/finding-elements/
http://appium.io/docs/en/commands/element/find-elements/

Uiautomator2源码路径:
https://github.com/appium/appium-uiautomator2-server/blob/master/app/src/main/java/io/appium/uiautomator2/handler/FindElement.java

来霍格沃兹测试开发学社,学习更多软件测试与测试开发的进阶技术,知识点涵盖web自动化测试 app自动化测试、接口自动化测试、测试框架、性能测试、安全测试、持续集成/持续交付/DevOps,测试左移、测试右移、精准测试、测试平台开发、测试管理等内容,课程技术涵盖bash、pytest、junit、selenium、appium、postman、requests、httprunner、jmeter、jenkins、docker、k8s、elk、sonarqube、jacoco、jvm-sandbox等相关技术,全面提升测试开发工程师的技术实力。

获取更多内容:请添加微信ceshiren001 https://qrcode.ceba.ceshiren.com/link?name=article&project_id=qrcode&from=jianshu&timestamp=1650790316

点击查看更多信息

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 207,113评论 6 481
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 88,644评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 153,340评论 0 344
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 55,449评论 1 279
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 64,445评论 5 374
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 49,166评论 1 284
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,442评论 3 401
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,105评论 0 261
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 43,601评论 1 300
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,066评论 2 325
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,161评论 1 334
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,792评论 4 323
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,351评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,352评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,584评论 1 261
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,618评论 2 355
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,916评论 2 344

推荐阅读更多精彩内容