其实，用python进行windows端UI自动化的库有很多，比如pywinauto等，本文介绍一个使用autoit3来实现的 pyautoit 库。

pyautoit 是一个用python写的基于AutoItX3.dll的接口库，用来进行windows窗口的一系列操作，也支持鼠标键盘的操作。

AutoIt现在最新版是V3版本，这是一个类似BASIC脚本语言的免费软件，用于Windows GUI中进行自动化操作。利用模拟键盘按键，鼠标移动，窗口和控件的组合来实现自动化任务，而这是其他语言不可能做到和无可靠方法实现的（例如VBScript和SendKeds）

一、AutoIT中文手册

https://www.autoitx.com/doc/

1.1、安装AutoIt

链接: AutoIt Downloads - AutoIt
下载下图的安装包

解压后运行后第一个界面直接NEXT

1.2、使用Auto Window Info

控件control定位
打开Auto Window Info(x64)或Auto Window Info(x86)

类似于浏览器的F12，使用Finder Tool获取窗口的title等信息

点击上访的图标，进行拖拉，到想访问的位置，注意下图两个红框中的数值，上面的框表示页面的标题和类，下面的框表示控件的类和序号（一般连起来使用）

二、python引用

2.1、安装

pip install pyautoithttps://pypi.org/project/PyAutoIt/

2.2、引用

import autoit    # 注意：引用的模块名跟安装的模块名是不一样的

2.3、使用

 启动程序
autoit.run("notepad.exe")
run(filename[，work_dir[，show_flag]]): 运行指定程序
filename参数：设置运行的程序的路径和名称
work_dir参数：设置工作路径。默认为windows系统文件夹(C:\Windows）
show_flag参数：设置窗口显示的方式。默认为Properties.SW_SHOWNORMAL（窗口正常显示） 可选值：
○ Properties.SW_HIDE: 表示隐藏窗口
○ Properties.SW_MAXIMIZE: 表示最大化窗口
○ Properties.SW_MINIMIZE: 表示最小化窗口run_wait(filename[，work_dir[，show_flag]]): 运行指定程序并暂停脚本执行，直到程序结束

2.3.1、窗口操作

autoit.win_wait_active(title="无标题- 记事本", timeout=10)  # 等待窗口激活
autoit.win_exists("aaa")   # 判断窗口是否存在
autoit.win_get_handle("无标题- 记事本")  # 获取窗口句柄
autoit.win_activate("bbb")  # 激活窗口
autoit.win_close("[CLASS:Notepad]")  # 关闭窗口
此处，窗口标题的匹配模式也是可以自定义的，默认是1 -- 匹配开始部分，可以在脚本前面加上以下改为2--匹配子字符串：
autoit.opt("WinTitleMatchMode", 2)

autoit.win_active(title): 检查指定标题的窗口是否为激活状态返回值： ○  1表示窗口已激活 ○  0表示窗口未激活
autoit.win_close(title): 关闭指定标题的窗口
autoit.win_exists(title): 检查指定标题的窗口是否存在返回值：○ 1表示窗口已存在○ 0表示窗口未存在
autoit.win_get_pos(title): 获取指定标题的窗口的位置和尺寸(left, top, right, bottom) 返回值：[x, y, width, height]
autoit.win_get_process 获取指定窗口关联的进程ID(PID/-1)
autoit.win_get_text 获取指定窗口中的文本(文本/0)
autoit.win_kill(title): 强制关闭指定标题的窗口
autoit.win_move 移动指定的窗口或调整窗口的大小(PID/0) 参数(x, y, width, height)
autoit.win_set_state 显示,隐藏,最小化,最大化或还原一个窗口 参数(flag 1= 显示2 = 最小化/隐藏3 = 最大化4 = 还原)
autoit.win_waitwin_wait(title[, timeout]):  暂停脚本的执行直至指定窗口存在(出现)为止(1/0) 参数(timeout 单位为秒)在指定时间内等待指定标题的窗口打开  time_out参数：设置超时时间，单位为秒(s)。默认为0，表示一直等待
autoit.win_wait_active 暂停脚本的执行直至指定窗口被激活(成为活动状态)为止 参数(timeout 单位为秒)
autoit.win_wait_close(title[,timeout]): 暂停脚本的执行直至所指定窗口不再存在为止 参数(timeout 单位为秒)
autoit.win_wait_active(title[, timeout])：暂停脚本的执行直至指定窗口不是激活状态为止 参数(timeout 单位为秒)在指定时间内等待指定标题的窗口激活time_out参数与win_wait_active函数的timeout参数相同
autoit.control_click 向指定控件发送鼠标点击命令 参数(timeout control 控件)

2.3.2、控件操作

autoit.control_set_text("无标题", "Edit1", "12312313123")    # 输入文字
autoit. control_click(title, control[，button[, clicks[, x[, y]]]]): 对控件进行点击button参数：设置点击方式。默认为“left”，还可以设置为"right" or "middle" clicks参数：设置点击次数。默认为1次x:   设置点击的水平位置。默认为center(中心)y:   设置点击的垂直位置。默认为center(中心)
autoit.control_get_text(title="title", control="controlid")   # 获取控件文本
autoit.control_command(title="title", control="controlid", command="command")
autoit.control_list_view(title="title", control="controlid", command="command")
autoit.control_tree_view(title="title", control="controlid", command="command")

2.3.3、进程操作

autoit.process.process_wait(process="process", timeout=10)
autoit.process.process_close("process")
autoit.process.process_exists("process")

2.3.4、鼠标操作

autoit.mouse_click(button='left', x=100, y=200, clicks=1, speed=-1)mouse_click([button[, x, y[, clicks[, speed]]]]): 点击鼠标button参数：设置点击方式。默认为“left”, 还可以设置为"right", "middle", "main", "menu", "primary", "secondary"x,y参数：鼠标移动的位置。不传参表示在鼠标当前位置点击clicks: 设置鼠标点击次数speed: 设置鼠标移动的速度。默认-1，速度范围为[1, 100]，1最快，100最慢
autoit.mouse_move(x=200, y=300, speed=-1)mouse_move(x, y[, speed])
autoit.mouse_wheel(direction="down")

2.3.5、键盘操作

autoit.send("12312412")
autoit.send("+{F10}")  # 发送shift+F10（右键效果）
autoit.send("^a")   # 发送ctrl+a

win切换窗口（键盘按下alt，操作tab键）
操作步骤如下：
AutoITLibrary.send    {ALT DOWN}
AutoITLibrary.send    {tab}
AutoITLibrary.send    {tab}
AutoItLibrary.Send    {ALT UP}其它键盘操作，请参考：
键盘输入[Arguments]    ${keys}  ${flag}=0[Documentation]  模拟键盘输入，需要两个参数：...  第一个参数： 需要输入的键盘按键...  第二个参数： 标记变量，可选值，默认为0，...               0:  代表第一个参数${keys}中的!+^#代表特殊按键...               1:  代表第一个参数${keys}中的所有字符都是普通字符串...  举例：...  ^a^c^v!{F4}      代表：Ctrl+a Ctrl+c Ctrl+v Alt+F4...  关于特殊按键的说明：...      如果${flag}为0，则：...     !  代表ALT按键...     +  代表SHIFT按键...     ^  代表CTRL按键...     #  代表WIN按键...  比如：!+a  代表：ALT+SHIFT+a...  其他特殊按键：...  ${flags}为0的时候，还支持下述特殊按键：...     输入  最终的键盘按键...     {!}                     !...     {#}                     #...     {+}                     +...     {^}                     ^...     {{}                     {...     {}}                     }...     {SPACE}                 SPACE...     {ENTER}                 ENTER key on the main keyboard...     {ALT}                   ALT...     {BACKSPACE} or {BS}     BACKSPACE...     {DELETE} or {DEL}       DELETE...     {UP}                    Cursor up...     {DOWN}                  Cursor down...     {LEFT}                  Cursor left...     {RIGHT}                 Cursor right...     {HOME}                  HOME...     {END}                   END...     {ESCAPE} or {ESC}       ESCAPE...     {INSERT} or {INS}       INS...     {PGUP}                  PageUp...     {PGDN}                  PageDown...     {F1} - {F12}            Function keys...     {TAB}                   TAB...     {PRINTSCREEN}           Print Screen key...     {LWIN}                  Left Windows key...     {RWIN}                  Right Windows key...     {NUMLOCK on}            NUMLOCK (on/off/toggle)...     {CAPSLOCK off}          CAPSLOCK (on/off/toggle)...     {SCROLLLOCK toggle}     SCROLLLOCK (on/off/toggle)...     {BREAK}                 for Ctrl+Break processing...     {PAUSE}                  PAUSE...     {NUMPAD0} - {NUMPAD9}    Numpad digits...     {NUMPADMULT}             Numpad Multiply...     {NUMPADADD}              Numpad Add...     {NUMPADSUB}              Numpad Subtract...     {NUMPADDIV}              Numpad Divide...     {NUMPADDOT}              Numpad period...     {NUMPADENTER}            Enter key on the numpad...     {APPSKEY}                Windows App key...     {LALT}                   Left ALT key...     {RALT}                   Right ALT key...     {LCTRL}                  Left CTRL key...     {RCTRL}                  Right CTRL key...     {LSHIFT}                 Left Shift key...     {RSHIFT}                 Right Shift key...     {ALTDOWN}                Holds the ALT key down until {ALTUP} is sent...     {SHIFTDOWN}              Holds the SHIFT key down until {SHIFTUP} is sent...     {CTRLDOWN}               Holds the CTRL key down until {CTRLUP} is sent...     {LWINDOWN}               Holds the left Windows key down until {LWINUP} is sent...     {RWINDOWN}               Holds the right Windows key down until {RWINUP} is sent...     {ASC nnnn}               Send the ALT+nnnn key combinationAutoItLibrary.Send  ${keys}  ${flag}键盘输入Alt+F4AutoItLibrary.Send  !{F4}键盘输入Ctrl+SpaceAutoItLibrary.Send  ^{SPACE}键盘输入Ctrl+aAutoItLibrary.Send  ^a键盘输入Ctrl+cAutoItLibrary.Send  ^c键盘输入Ctrl+vAutoItLibrary.Send  ^v键盘输入Ctrl+sAutoItLibrary.Send  ^s键盘输入Ctrl+pAutoItLibrary.Send  ^p键盘输入Ctrl+HomeAutoItLibrary.Send  ^{HOME}键盘输入Ctrl+EndAutoItLibrary.Send  ^{END}键盘输入Win+d键盘输入  {LWINDOWN}d{LWINUP}键盘输入Win+r键盘输入  {LWINDOWN}r{LWINUP}AutoIt 可发送所有的 ASCII 码及扩展 ASCII 码字符（0-255），若要发送 UNICODE 编码的字符则必须使用“ASC”选项加上您要发送的字符代码（见下面的 {ASC}）。Send("#r");开始运行
Send("^!+{F6}") ;发送CTRL+ALT+F6组合键如果要发送 ASCII 字符 A 则参考下例（相当于 ALT+065，按住ALT键并在数字键盘上顺序按下065）Send("{ASC 065}")(在使用两位数的 ASCII 码时必须在前面加一个 0，否则将使用 437号代码页)如果要发送 UNICODE 字符则输入该字符代码，例如下例将发送一个中文字符Send("{ASC 2709}")可参考下例重复发送某按键：Send("{DEL 4}") ;连续4次按下 DEL 键
Send("{S 30}") ;发送30个字符“S”
Send("+{TAB 4}) ;连续4次按下 SHIFT+TAB如果要按住（保持按下状态）某个按键（通常用于游戏中）Send("{a down}") ;按住按键 A
Send("{a up}") ;松开按键 A如果要用变量来指定重复发送的次数，参考下例：$n = 4
Send("+{TAB " & $n & "}")如果要用变量来指定要重复发送的 ASCII 字符（比如 A），参考下例：$x = Chr(65)
Send("{" & $x & " 4}")大多数笔记本电脑的键盘上都会有一个特殊的 Fn 键，此键无法被模拟。注意，若把标志参数的值设为1则“按键”参数将被原样发送。如果某些文本是从变量里拷贝而来，而您又希望完全按原样发送这些文本的话，就应该使用这一设置。

2.3.5.1、Send 是非常有用的一个函数/命令，因为我们可用它来对窗口进行操作而无需使用鼠标。

2.3.5.1.1、例如，先打开 文件夹选项窗口（位于控制面板），然后请尝试执行下面这些语句：

Send("{TAB}")	切换到（焦点切换）下一个控件（按钮、复选框等）
Send("+{TAB}")	切换到上一个控件
Send("^{TAB}")	切换到下一个窗口标签
Send("^+{TAB}")	切换到上一个窗口标签
Send("{SPACE}")	可用来切换复选框的选中状态或点击某个按钮
Send("{+}")	通常用来选中某个复选框（如果它“确实是”复选框的话）
Send("{-}")	通常用来取消选中某个复选框
Send("{NumPadMult}")	完全展开 SysTreeView32 控件内显示的文件夹

2.3.5.1.2、组合 Alt 键使用可访问菜单项，请打开记事本窗口然后尝试执行下面这些语句：

Send("!f")	发送 Alt+f，这是打开记事本的文件菜单的快捷键，您还可以试试其它的！
Send("{DOWN}")	移动焦点到下一个菜单项
Send("{UP}")	移动焦点到上一个菜单项
Send("{LEFT}")	切换到左边的菜单或收缩子菜单
Send("{RIGHT}")	切换到右边的菜单或展开子菜单

2.3.5.1.3、如果您对快捷键（Alt+F4、PrintScreen、Ctrl+C等等）的重要性还不太了解，请查看 Windows 的帮助信息（按下热键 Win+F1即可）以获得关于快捷键的完整列表。

Send 命令（无标志参数）	键击结果
{!}	!
{#}	#
{+}	+
{^}	^
{{}	{
{}}	}
{SPACE}	空格
{ENTER}	主键盘区的 回车键
{ALT}	ALT
{BACKSPACE} 或 {BS}	退格
{DELETE} 或 {DEL}	删除（DELETE）
{UP}	向上箭头
{DOWN}	向下箭头
{LEFT}	向左箭头
{RIGHT}	向右箭头
{HOME}	HOME
{END}	END
{ESCAPE} 或 {ESC}	ESC键
{INSERT} 或 {INS}	INS（Insert）
{PGUP}	PGUP（PageUp）
{PGDN}	PGDN（PageDown）
{F1} - {F12}	功能键
{TAB}	TAB
{PRINTSCREEN}	PRINTSCREEN
{LWIN}	左徽标键
{RWIN}	右徽标键
{NUMLOCK}	NUMLOCK
{CTRLBREAK}	Ctrl+Break
{PAUSE}	PAUSE
{CAPSLOCK}	CAPSLOCK
{NUMPAD0} - {NUMPAD9}	数字键盘上的 数字键
{NUMPADMULT}	数字键盘上的 乘号
{NUMPADADD}	数字键盘上的 加号
{NUMPADSUB}	数字键盘上的 减号
{NUMPADDIV}	数字键盘上的 除号
{NUMPADDOT}	数字键盘上的 点号
{NUMPADENTER}	数字键盘上的 回车键
{APPSKEY}	Windows 应用程序键
{LALT}	左 ALT 键
{RALT}	右 ALT 键
{LCTRL}	左 CTRL 键
{RCTRL}	右 CTRL 键
{LSHIFT}	左 Shift 键
{RSHIFT}	右 Shift 键
{SLEEP}	系统休眠（SLEEP）键
{ALTDOWN}	按住 ALT 键直到发送 {ALTUP} 为止
{SHIFTDOWN}	按住 SHIFT 键直到发送 {SHIFTUP} 为止
{CTRLDOWN}	按住 CTRL 键直到发送 {CTRLUP} 为止
{LWINDOWN}	按住左徽标键直到发送 {LWINUP} 为止
{RWINDOWN}	按住右徽标键直到发送 {RWINUP} 为止
{ASC nnnn}	发送 ALT+nnnn 组合键{BROWSER_BACK}	仅支持2000/XP：按下浏览器中的“后退”按钮
{BROWSER_FORWARD}	仅支持2000/XP：按下浏览器中的“前进”按钮
{BROWSER_REFRESH}	仅支持2000/XP：按下浏览器中的“刷新”按钮
{BROWSER_STOP}	仅支持2000/XP：按下浏览器中的“停止”按钮
{BROWSER_SEARCH}	仅支持2000/XP：按下浏览器中的“搜索”按钮
{BROWSER_FAVORITES}	仅支持2000/XP：按下浏览器中的“收藏夹”按钮
{BROWSER_HOME}	仅支持2000/XP：运行浏览器并转到主页
{VOLUME_MUTE}	仅支持2000/XP：切换系统静音状态
{VOLUME_DOWN}	仅支持2000/XP：减小系统音量
{VOLUME_UP}	仅支持2000/XP：增大系统音量
{MEDIA_NEXT}	仅支持2000/XP：在播放器中选择播放下一个轨道（影音媒体）
{MEDIA_PREV}	仅支持2000/XP：在播放器中选择播放上一个轨道
{MEDIA_STOP}	仅支持2000/XP：使播放器停止播放
{MEDIA_PLAY_PAUSE}	仅支持2000/XP：使播放器播放/暂停
{LAUNCH_MAIL}	仅支持2000/XP：运行邮件客户端程序
{LAUNCH_MEDIA}	仅支持2000/XP：运行播放器（Media player）
{LAUNCH_APP1}	仅支持2000/XP：运行用户程序1（我的电脑）
{LAUNCH_APP2}	仅支持2000/XP：运行用户程序2（计算器）

三、易报错点

3.1 等待页面激活

autoit.win_wait_active("[CLASS:Notepad]", 3)#等待3秒
#常用于切换页面后，最好加上，不然容易报错window/control cannot find

3.2点击

#用标题或者类名表示当前页面，一般两个方法通用
#如果报错window/control cannot find,可以尝试换一种方法表示
autoit.control_click("[CLASS:Notepad]", "Button2")
autoit.control_click("*无标题 - 记事本", "Button2")

3.1 打开文件

一般以我们平时操作，会从下图上方的地址栏进行操作，这里注意可以直接从下方的文件名处，输入对应的绝对地址，如：F:\程序设计书籍\《啊哈！算法》.pdf

autoit.control_set_text("Open File", "Edit1",file_path)  # 输入文件地址

四、项目所需，所封装的接口demo

import autoitclass MyPyAutoIt(object):@staticmethoddef open_exe(title, exe_path, timeout=30):'''打开软件并等待加载完成，窗口最大化:return:'''try:autoit.run(exe_path)autoit.win_wait_active(title, timeout)autoit.win_set_state(title, flag=autoit.autoit.Properties.SW_MAXIMIZE)except Exception as e:print(e)print('软件打开失败')exit(1)@staticmethoddef send_keys(title, control, text):'''指定输入框输入文本:param title: 主窗口标题:param control:  对应的控件的ClassnameNN:param text: 要输入的文本:return:'''autoit.control_click(title, control)time.sleep(0.1)# 复制pyperclip.copy(text)# ctrl + vautoit.send('{CTRLDOWN}')autoit.send('{v down}')autoit.send('{v up}')autoit.send('{CTRLUP}')@staticmethoddef control_click(title, control):'''点击该打开软件的某个控件:param title: 主窗口标题:param control: 对应的控件的ClassnameNN:return: 返回点击控件后的界面的text control对'''autoit.control_click(title, control)if title == 'xxxxxx':time.sleep(2)return MyPyAutoIt.get_dic(title)@staticmethoddef control_click_no_wait(title, control):'''点击该打开软件的某个控件:param title: 主窗口标题:param control: 对应的控件的ClassnameNN:return: 返回点击控件后的界面的text control对'''autoit.control_click(title, control)@staticmethoddef close_notice_window(title='提示', control=None, timeout=10):'''点击该打开软件的提示窗口的某个控件:param title: 提示窗口标题:param control: 对应的控件的ClassnameNN:param timeout: 超时时间:return:'''def close_inform():autoit.send('{TAB}')autoit.send('{TAB}')autoit.send('{SPACE}')autoit.send('{TAB}')autoit.send('{SPACE}')autoit.send('{TAB}')autoit.send('{TAB}')autoit.send('{SPACE}')autoit.send('{TAB}')autoit.send('{SPACE}')autoit.send('{SPACE}')autoit.send('{SPACE}')try:if title == '提示':autoit.win_wait_active(title, timeout)autoit.control_click(title, control)elif title == '告知书':autoit.win_wait(title, timeout)autoit.mouse_click(x=800, y=400)  # 点击告知书提示框使其被选中close_inform()autoit.send('{SPACE}')autoit.send('{SPACE}')except Exception as e:print('{}窗口关闭失败, msg : {}'.format(title, str(e)))@staticmethoddef ca_login(title='FormAccountPassword', psw_input_control=None, login_control=None, timeout=10):'''增值税 一般纳税人进入该表时要用CA密码验证:param title::param psw_input_control::param login_control::param timeout::return:'''autoit.win_wait_active(title, timeout)MyPyAutoIt.send_keys(title, psw_input_control, 'xxxxxx')MyPyAutoIt.control_click(title, login_control)@staticmethoddef get_username(title, username_list):'''获得账号名和对应的control组成的dict:param title::param username_list: 账号（公司全称）构成的list:return:dict， key为公司全称， value为对应的control'''dic = {}for key, value in MyPyAutoIt.get_dic(title).items():if key in username_list:dic[key] = valuereturn dic@staticmethoddef get_dic(title):''':param title::param control ：要获取的控件的Class:return: 由text和对应的control组成的字典， key：text， value：control'''static_control = 'WindowsForms10.STATIC.app.0.33c0d9d'button_control = 'WindowsForms10.BUTTON.app.0.33c0d9d'edit_control = 'WindowsForms10.EDIT.app.0.33c0d9d'def get_d(control_str, n=500):d = {}for s in (control_str + str(i) for i in range(1, n)):try:key = autoit.control_get_text(title, s)if key == '':continueelif key in d.keys():if isinstance(d[key], list):d[key] = d[key].append(s)else:d[key] = [d[key], s]else:d[key] = sexcept autoit.autoit.AutoItError:continuereturn dreturn dict(get_d(static_control), **get_d(button_control), **get_d(edit_control))@staticmethoddef get_text_control(title):'''获取该界面中的text和其对应的control:param title: 窗口标题:return: 由text和对应的control组成的字典， key：text， value：control'''return MyPyAutoIt.get_dic(title)@staticmethoddef switch_account(title, username, username_list):'''切换账号:param title: 主窗口标题:param username_list: 公司全称列表:param username: 要切换的公司全称:return:'''dic = MyPyAutoIt.get_username(title, username_list)return MyPyAutoIt.control_click(title, dic[username])@staticmethoddef get_check_result(title, timeout=2):'''获取审核结果:param title::param timeout::return:返回审核结果'''autoit.win_wait_active(title, timeout)return autoit.win_get_text(title)@staticmethoddef exit_table(title, control='WindowsForms10.BUTTON.app.0.33c0d9d1', timeout=5):'''返回上一级，返回税表的上一级(提示要保存表格数据时，默认不保存):param title::param control::param timeout::return:'''MyPyAutoIt.control_click(title, control)try:autoit.win_wait_active('提示', timeout)MyPyAutoIt.control_click('提示', 'Button2')except autoit.autoit.AutoItError:pass@staticmethoddef get_text_by_control(title, control):'''根据给定的control 获取对应的text:param title::param control::return: ctrl对应的text'''return autoit.control_get_text(title, control)@staticmethoddef screen_capture(title, control, text=''):'''对相应的控件截图:param title::param control::param text::return:'''left, top, right, bottom = autoit.control_get_pos(title, control, text)img = ImageGrab.grab((left, top, right, bottom))img.show()

五、WEB UI自动化将AutoIT与Selenium结合

# Writer:Taka
from selenium import webdriver
from time import sleep
from selenium.webdriver.common.action_chains import ActionChains
import os
from tools.Hightlightelement import heighLightElementdriver = webdriver.Chrome()
driver.get("https://sahitest.com/demo/php/fileUpload.htm")
sleep(2)
ele = driver.find_element_by_id('file')
heighLightElement(driver,ele)
ActionChains(driver).click(ele).perform()
sleep(2)
os.system(r'D:\PYFILE\PycharmProjects\UI_automation\tools\test.exe')
sleep(3)
driver.quit()

六、 Windows PC自动化将AutoIT与Airtest结合

''后续介绍