聊聊 PC 端自动化最佳方案 - WinAppDriver

1. 前言

大家好,我是安果!

一提到自动化,可能大家想到的是 App 端的 Appium、Airtest、AutoJS,亦或是 Selenium、Puppeteer、Cypress 等 Web 端的自动化框架

本篇文章,我将和大家聊聊 PC 端的自动化工具 - WinAppDriver

2. 准备

WinAppDriver,全称为 Windows Application Driver,它是 Windows 上一个类似 Selenium 的 UI 自动化驱动服务框架

它支持 Appium,可以使用 Appium-Python-Client 依赖库完成对 Windows 桌面程序的自动化操作

项目地址:https://github.com/Microsoft/WinAppDriver

需要注意的是,要使用 WinAppDriver 服务框架完成 Windows 的自动化,需要满足 Windows10 或 Windows Server 2016 以上系统

另外,它支持的应用程序包含:

  • UWP - Universal Windows Platform

  • WinForms - Windows Forms

  • WPF - Windows Presentation Foundation

  • Win32 - Classic Windows

在实现之前,我们需要做好以下准备工作

2-1 开启「 开发者模式 」

关键字搜索「 开发者设置 」,选择开启「 开发者模式 」

image

2-2 安装窗口组件元素识别工具

常用的 2 种窗口元素识别工具为:inspect.exe、FlaUInspect

其中

作为官方的组件元素识别工具,inspect.exe 集成于 Windows SDK

如果本地不存在该文件,可以通过下面链接进行安装

https://download.microsoft.com/download/4/d/2/4d2b7011-606a-467e-99b4-99550bf24ffc/windowssdk/winsdksetup.exe

相比 inspect.exe,FlaUInspect 界面更简洁,功能更易用( 推荐 )

项目地址:https://github.com/FlaUI/FlaUInspect

2-3 安装 WinAppDriver

通过下面链接下载 WinAppDriver 应用程序,并在本地运行起来

https://github.com/Microsoft/WinAppDriver/releases

2-4 搭建 Appium 环境

这部分内容涉及 NodeJS 安装及 Appium-Server 环境的搭建

可以参考:https://www.cnblogs.com/amoyshmily/p/10500687.html

2-5 安装依赖

最后安装 Python 依赖库 Appium-Python-Client

# 安装依赖 Appium-Python-Client
pip3 install Appium-Python-Client

3. 实战一下

我们以操作 PC 端的微信为例,聊聊自动化的常见步骤

首先,我们在本机打开 WinAppDriver 服务,让它在后台运行

然后,我们使用 Python 编写自动化脚本

通过 ip 地址、端口号及 PC 版微信的绝对路径,使用 Appium 打开微信

import time, os
from appium import webdriver
from selenium.webdriver import ActionChains
from selenium.webdriver.common.keys import Keys
from time import sleep

class Auto():

    def open_weixin(self, host='localhost', port=4723):
        # 打开WinAppDriver服务
        # 注意:如果手动开启,则可以注释掉
        # os.system(r'start "" /d "C:\Program Files\Windows Application Driver\"  "WinAppDriver.exe"')

        # 配置信息
        # 包含:平台名、系统、应用程序绝对路径
        desired_caps = {'platformName': 'Windows', 'deviceName': 'WindowsPC',
                        'app': r"D:\Program Files (x86)\Tencent\WeChat\WeChat.exe"}

        try:
            # 连接WinAppDriver服务,打开目标软件
            self.driver = webdriver.Remote('http://{}:{}'.format(host, port), desired_caps)
        except Exception as e:
            raise AssertionError(e)

接着,通过「 组件元素识别工具 」拿到界面元素的属性值,执行常见的点击、移动、滑动等操作

比如:点击「 文件传输助手 」,发送一条信息

# 给文件传输助手发送一条信息
def send_msg(self, element_name, msg):
    """
    :param element_name:元素name值
    :param msg:
    :return:
    """
    # 通过name属性,找到目标元素
    chat_element = self.weixin_driver.find_element_by_name(target_name)

    # 点击元素,进入聊天界面
    chat_element.click()

    # 找到输入框,并输入
    self.weixin_driver.find_element_by_name("输入").send_keys(msg)

    # 点击右下角的发送,发送消息出去
    self.weixin_driver.find_element_by_name("发送(S)").click()

需要注意的是,如果涉及界面的滑动,可以使用「 ActionChains 」移动鼠标,然后使用 win32api 和 win32con 模拟屏幕滑动即可

import win32api
import win32con
from appium import webdriver
from selenium.webdriver import ActionChains

# 模拟屏幕滑动
# 1、移动到某个元素区域
ActionChains(self.weixin_driver).move_to_element(
     self.weixin_driver.find_element_by_name("element_name")).perform()

# 2、滑动界面
# 比如,向上滚动,模拟滑动
win32api.mouse_event(win32con.MOUSEEVENTF_WHEEL, 0, 0, -500)

完成自动化操作后,就可以主动释放资源、关闭 WinAppDriver 服务

# 释放资源及关闭服务
def tearDownFunc(self):
    print("准备退出")
    sleep(2)

    # 1、释放资源
    self.weixin_driver.quit()

    # 2、关闭WinAppDriver应用程序
    os.system(' @taskkill /f /im WinAppDriver.exe')

4. 最后

在实际使用过程中,可能会遇到复杂的桌面应用程序,这时我们可以通过打印驱动对象的「 page_source」元素控制树值,以此来帮助我们进行快速定位元素,进而完善自动化脚本

如果你觉得文章还不错,请大家 点赞、分享、留言 下,因为这将是我持续输出更多优质文章的最强动力!

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 219,539评论 6 508
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 93,594评论 3 396
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 165,871评论 0 356
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 58,963评论 1 295
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 67,984评论 6 393
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,763评论 1 307
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,468评论 3 420
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 39,357评论 0 276
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,850评论 1 317
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 38,002评论 3 338
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 40,144评论 1 351
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,823评论 5 346
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 41,483评论 3 331
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 32,026评论 0 22
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 33,150评论 1 272
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 48,415评论 3 373
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 45,092评论 2 355

推荐阅读更多精彩内容