辅助程序实现黑盒自动化测试的常见问题

背景

辅助程序（Accessibility）在大多数机型上具有重启设备后被激活的特性，可以完成Android测试框架（Uiautomator1.0、Uiautomator2.0）无法实现的功能。本文介绍如何搭建辅助程序和如何利用辅助程序进行黑盒测试。并总结了利用辅助程序执行黑盒测试遇到的问题，并在文末总结了各测试方案的应用场景。

辅助程序实现黑盒自动化测试的特点
辅助功能相较于测试框架在部分场景下有一定的优势，可以做更多场景的测试：

运行辅助程序过程中可以执行Uiautomator1.0或Uiautomator2.0测试用例，执行测试用例过程中辅助程序会被中断，当测试用例执行结束后辅助程序会恢复运行；
大部分机型重启设备，服务会自动运行，可以测试部分app开机自启功能等功能；
由于是App方案，所以可以直接读取手机短信，设备插上手机卡后，可以在逻辑数据层拦截短信验证码，实现程序的验证码登陆；

4.辅助程序有较高的优先级，程序保活能力非常强；

自动化软件测试交流群：642830685，领取最新软件测试资料大厂面试和Python自动化、接口、框架搭建学习资料！

由于测试方式是基于Accessibility服务的app，所以也有很多限制：

和被测应用不在同一进程内，相较于Uiautomator2.0只能做黑盒测试；
由于是App实现方案，所以在各系统上存在权限问题，不能像Uiautomator1.0一样获取系统运行信息（最近运行的应用、当前显示的activity）
执行点击动作需要使用AccessibilityNodeInfo#performAction方法，但是此方法只能在clickable=true时生效；
无法直接操作屏幕，需要借助AccessibilityService的手势功能实现滑动屏幕、点击屏幕等动作；
由于系统限制，高版本系统中启动其他App失败；
发送键盘事件受限制，只能发送Home、back、打开通知、打开快捷设置、打开电源弹窗等有限功能；
辅助程序异常退出时会关闭辅助程序配置，需要在设置页面手动配置；

辅助程序服务配置与黑盒自动化测试实现

自定义AccessibilityService服务，在服务内重载系统方法，

初始化测试服务：重载onServiceConnected方法

当服务激活时调用此方法，在这里进行服务的初始化工作，主要配置onAccessibilityEvent方法感知的事件类型和服务配置。

1、获取AccessibilityServiceInfo 对象：

getServiceInfo()方法获取当前使用的AccessibilityServiceInfo对象，如果方法返回null，直接通过AccessibilityServiceInfo()构造方法创建

AccessibilityServiceInfo accessibilityServiceInfo = getServiceInfo();
if (accessibilityServiceInfo == null) {
    accessibilityServiceInfo = new AccessibilityServiceInfo();
    setServiceInfo(accessibilityServiceInfo);
}

2、设置AccessibilityServiceInfo#eventTypes标记过滤AccessibilityEvent事件类型：

直接通过或运算符（|）添加标记，下面代码配置过滤控件点击、控件选择、控件获取焦点和文本变化事件，发生配置的事件时会调用onAccessibilityEvent方法。

accessibilityServiceInfo.eventTypes |= AccessibilityEvent.TYPE_VIEW_CLICKED;
accessibilityServiceInfo.eventTypes |= AccessibilityEvent.TYPE_VIEW_SELECTED;
accessibilityServiceInfo.eventTypes |= AccessibilityEvent.TYPE_VIEW_FOCUSED;
accessibilityServiceInfo.eventTypes |= AccessibilityEvent.TYPE_VIEW_TEXT_CHANGED;

3、设置AccessibilityServiceInfo#flags配置测试能力：

下面的代码在默认配置基础上增加WebView测试能力。

accessibilityServiceInfo.flags |= AccessibilityServiceInfo.DEFAULT;
accessibilityServiceInfo.flags |= AccessibilityServiceInfo.FLAG_REQUEST_ENHANCED_WEB_ACCESSIBILITY;

AccessibilityServiceInfo.FLAG_REQUEST_FILTER_KEY_EVENTS标记慎用，如果增加此标记，辅助程序会拦截设备按键事件，会导致点击返回键、home键无效。

4、更新配置信息：
需要调用
AccessibilityServiceInfo#setServiceInfo(AccessibilityServiceInfo info)
方法更新配置。

重载
onAccessibilityEvent(AccessibilityEvent accessibilityEvent)
方法，感知页面变化。

当发生页面变化时回调此方法，可用于触发自动处理弹窗的业务

image.png

重载onInterrupt()方法，释放资源

当系统中断辅助服务时调用（例如执行自动化测试用例），可以在这个方法内释放资源。

配置测试服务

配置清单文件：

需通过meta-data标签指定accessibilityservice配置文件，该文件位于res/xml文件夹下。

<service
    android:label="辅助按键服务"
    android:permission="android.permission.BIND_ACCESSIBILITY_SERVICE"
    android:exported="true"
    android:directBootAware="true"
    android:name=".service.TaskAccessibilityService">
    <intent-filter>
        <action android:name="android.accessibilityservice.AccessibilityService"/>
    </intent-filter>
    <meta-data
        android:name="android.accessibilityservice"
        android:resource="@xml/accessibility_service_config" />
</service>

属性介绍：
accessibilityservice配置辅助程序属性：

android:description 配置辅助程序描述信息，在设置页面中显示

android:accessibilityFeedbackType 反馈方式

android:canPerformGestures 模拟手势配置，辅助程序滑动屏幕时必须配置此属性为true

android:accessibilityFlags
等同AccessibilityServiceInfo#flags的设置，可以在代码中动态配置

res/xml/accessibility_service_config.xml文件信息：

<?xml version="1.0" encoding="utf-8"?>
<accessibility-service xmlns:android="http://schemas.android.com/apk/res/android"
    android:description="@string/accessibility_service_description"

    android:accessibilityFeedbackType="feedbackAllMask"
    android:canRetrieveWindowContent="true"
    android:canPerformGestures="true"
    android:notificationTimeout="100"
    android:accessibilityFlags="flagDefault"
    />

AccessibilityService支持动作

下面是AccessibilityService可以直接调用的方法概述，通过下面这些方法可以获取UI测试过程中必要的数据和执行测试动作。

image.png

performGlobalAction方法参数为AccessibilityNodeInfo的静态常量：

dispatchGesture实现点击、滑动滑动屏幕
系统SDK<24时无法点击和滑动屏幕，需要通过AccessibilityNodeInfo的performAction(int action)方法实现UI操作，参数指定ACTION_ACCESSIBILITY_FOCUS获取焦点、ACTION_LONG_CLICK执行长点击、执行ACTION_CLICK点击。

屏幕滑动和点击方法是借助dispatchGesture方法模拟手势实现的，通过Path指定屏幕滑动路径，调用dispatchGesture方法实现Path指定的滑动方式。具体实现代码如下：

Path mPath = new Path();
mPath.moveTo(startX, startY);//滑动的起始点
mPath.lineTo(endX, endY);//滑动终点。不指定lineTo的坐标，只配置moveTo坐标时执行点击动作，点击位置为moveTo指定的坐标。
    dispatchGesture(new GestureDescription.Builder().addStroke(new GestureDescription.StrokeDescription
            (mPath, 50, 500)).build(), new GestureResultCallback() {
        @Override
        public void onCompleted(GestureDescription gestureDescription) {
            super.onCompleted(gestureDescription);
            System.out.println("模拟手势成功");
        }

        @Override
        public void onCancelled(GestureDescription gestureDescription) {
            super.onCancelled(gestureDescription);
            System.out.println("模拟手势失败");
        }
    }, null);
} else {
    System.out.println("系统不支持" + Build.VERSION.SDK_INT);
}

App实现黑盒自动化测试痛点的解决
高版本系统通过intent启动APP失败

Android高版本系统对后台程序启动应用做了严格限制，解决这个问题有下面两种方案

辅助程序实现悬浮窗功能，在整个测试流程中App属于前台应用，具有启动其他App的权限。缺点：各版本系统适配麻烦，测试过程中会检测到悬浮窗。
通过UI操作启动App，在桌面滑动寻找被测应用的Launcher图标，然后通过点击操作打开App。

AccessibilityNodeInfo执行performAction失败
performAction方法执行失败是因为对应的AccessibilityNodeInfo不具有对应的操作属性，比如执行点击操作时AccessibilityNodeInfo#isClickable()方法返回false，此时点击操作就会失败。有两种解决方案：

1. 寻找响应事件的AccessibilityNodeInfo执行performAction操作

由于当前AccessibilityNodeInfo无法响应点击事件，那么寻找AccessibilityNodeInfo#isClickable()返回true的父控件执行操作。

public boolean clickNode(AccessibilityNodeInfo nodeInfo){
    AccessibilityNodeInfo actionNode=null;
    while (true){
        actionNode=nodeInfo.getParent();
        //循环时防止空指针异常
        if(actionNode==null){
            return false;
        }
        if(actionNode.isClickable()){
            break;
        }
    }
    //可能存在所有父控件均不可点击情况
    if(actionNode==null){
        return false;
    }
    actionNode.performAction(AccessibilityNodeInfo.ACTION_CLICK);
    return false;
}

如果SDK >= 24，则计算AccessibilityNodeInfo的屏幕坐标，然后点击对应的屏幕坐标即可。

public boolean clickNode(AccessibilityNodeInfo nodeInfo){
    if(Build.VERSION.SDK_INT >= Build.VERSION_CODES.N){
        //获取控件的屏幕坐标
        Rect rect=new Rect();
        nodeInfo.getBoundsInScreen(rect);
        //点击屏幕坐标
        clickScreen(rect.centerX(),rect.centerY());
        return true;
    }else {
        return false;
    }
}

public void clickScreen(int x, int y) {
    Path mPath = new Path();
    mPath.moveTo(x, y);//配置点击坐标

    if (Build.VERSION.SDK_INT >= Build.VERSION_CODES.N) {
        dispatchGesture(new GestureDescription.Builder().addStroke(new GestureDescription.StrokeDescription
                (mPath, 50, 50)).build(), new GestureResultCallback() {
            @Override
            public void onCompleted(GestureDescription gestureDescription) {
                super.onCompleted(gestureDescription);
                System.out.println("点击成功");
            }

            @Override
            public void onCancelled(GestureDescription gestureDescription) {
                super.onCancelled(gestureDescription);
                System.out.println("点击失败");
            }
        }, null);
    } else {
        System.out.println("系统不支持" + Build.VERSION.SDK_INT);
    }
}

选择测试方案的建议
以上就是通过App实现黑盒测试的简单介绍，再具体的信息可以查阅Android源码，下面介绍一下几种测试方案的使用场景：

UiAutomator1.0
权限： Shell权限，可以反射系统API实现常用功能，可以绕过Android安全机制，读取最近运行APP、正在运行进程、强杀其他应用；

保活：保活能力较强，不会被Android系统释放，可以用nohup模式异步运行，即使拔掉数据线也不影响服务（诺基亚手机除外）；

场景推荐：适用多App通用测试脚本，便于对脚本做项目扩展；提供远程手机服务接口。Android R（11）模拟器不支持，兼容Android R系统的脚本需要注意。

UiAutomator2.0

权限：与被测App运行在相同进程内部，与被测APP具有相同权限；

保活：保活能力差，被测App进程结束时，脚本即停止运行；

场景推荐：可以直接操作被测App的方法，可以用于白盒测试，对长期维护的重点项目可以用来进行单元测试和复杂业务测试。

辅助程序

权限：单独的App，跨进程操作，需单独申请app权限；

保活：由于是Android专用场景的服务，所以保活能力非常强，部分机型即使重启后服务依然存在，且不影响UiAutomator测试用例的执行，用例执行结束后服务自动恢复；

自动化软件测试交流群：642830685，领取最新软件测试资料大厂面试和Python自动化、接口、框架搭建学习资料！