RPA使用Native Messaging协议实现浏览器自动化

RPA 即机器人流程自动化,是一种利用软件机器人或人工智能来自动化业务流程中规则性、重复性任务的技术。RPA 技术可以模拟和执行人类在计算机上的交互操作,从而实现自动化处理数据、处理交易、触发通知等任务。帮助企业或个人实现业务流程的自动化和优化,提升生产力和效率。

在RPA中自动化通常分为两大块:桌面自动化、浏览器自动化。所谓浏览器自动化就是通过RPA软件控制浏览器执行自动化任务,比如自动打开网页,自动填写网页中的输入框等等。

当时在研发RPA软件时,我实现了一种常用的控制方式:通过进程间通信 + JavaScript代码,来控制浏览器。当时使用Chrome浏览器验证技术链路,其他浏览器大同小异,原理相同。其他控制浏览器的方式还有模拟键鼠操作、WebDriver等,以后分享出来。

技术原理

使用 RPA Chrome插件 + Native Messaging 协议 + Native Messaging Host进程,从而实现本地应用(如RPA软件)与Chrome之间的互相通信、互相控制。

RPA Chrome插件:实际上是通过浏览器插件的方式告诉Chrome浏览器,Native Messaging Host进程所在位置。并且RPA插件解析从RPA进程发来的数据,作为JS代码在浏览器中运行控制网页行为。

Native Messaging(NM)协议:Chrome浏览器与Native Messaging Host通信的协议(传输UTF8 JSON数据,数据格式为 4字节头 + 实际数据,数据头表示后面实际数据的字节数),建立在stdio通信之上。

Native Messaging Host(NM Host)进程:RPA提供的与浏览器通信的桥梁进程,Chrome浏览器打开时,会把Native Messaging Host作为子进程启动。

Chrome浏览器插件有两个核心文件background.js与content.js。background运行在背景页,content与web页面(或tab页)交互。如果使用 Native Messaging 协议,background.js上端负责与content.js通信,下端负责与NM Host进程通信。控制端(RPA软件)与NM Host通信,整个链路就通了:RPA进程 <==byIPC==> NM Host <==> Chrome进程 <==> Chrome插件 <==> 浏览器网页

详细原理图如下:

执行过程

  1. RPA进程的打开浏览器指令打开Chrome浏览器进程,通过系统中已安装Chrome的位置,就能打开浏览器进程。
  2. Chrome进程打开后,随之打开NM Host进程(如上图),并与NM Host进程用NM协议通信。
  3. RPA进程找到NM Host进程,并与之进程间通信(stdio)。
  4. RPA进程只要发送正确的JS代码给NM Host进程(通过NM协议),NM Host把数据给浏览器,浏览器的RPA插件收到的数据,解析为JS代码执行,从而控制浏览器行为(如控制网页,打开关闭tab页等)。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.hqwc.cn/news/576130.html

如若内容造成侵权/违法违规/事实不符,请联系编程知识网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

mysql--事务四大特性与隔离级别

事务四大特性与隔离级别 mysql事务的概念事务的属性事务控制语句转账示例 并发事务引发的问题脏读脏读场景 不可重复读幻读幻读场景 事务的隔离级别读未提交读已提交可重复读&#xff08;MySQL默认&#xff09; 总结 mysql事务的概念 事务就是一组操作的集合&#xff0c;他是一…

深入浅出的揭秘游标尺模式与迭代器模式的神秘面纱 ✨

​&#x1f308; 个人主页&#xff1a;danci_ &#x1f525; 系列专栏&#xff1a;《设计模式》 &#x1f4aa;&#x1f3fb; 制定明确可量化的目标&#xff0c;坚持默默的做事。 &#x1f680; 转载自&#xff1a;设计模式深度解析&#xff1a;深入浅出的揭秘游标尺模式与迭代…

智能车主控板原理图原理讲解

智能车主控板原理图原理讲解 综述&#xff1a;本篇文章对智能车主控板的一部分电路进行原理分析&#xff0c;文末附加整体原理图。 1. 电源电路 &#xff08;1&#xff09;通过外接电池供电并通过电源模块电路&#xff0c;运用稳压芯片lm2940&#xff0c;将电源电压转化为5V…

2024年天府杯A题论文免费分享,全网首发

天府杯免费分享资料&#xff08;A题论文代码&#xff09;链接&#xff1a;https://pan.baidu.com/s/17QtYt036ORk1xGIDi0JSew 提取码&#xff1a;sxjm 摘要 在近年来&#xff0c;随着科技的快速发展和社会经济的不断进步&#xff0c;科学研究的作用和地位日益凸显。本文基于…

MYSQL数字函数:不可不知的数据处理利器

&#x1f308; 个人主页&#xff1a;danci_ &#x1f525; 系列专栏&#xff1a;《设计模式》 &#x1f4aa;&#x1f3fb; 制定明确可量化的目标&#xff0c;坚持默默的做事。 &#x1f680;转载自&#xff1a;MYSQL数字函数&#xff1a;不可不知的数据处理利器 ✨ MYSQL数字…

李宏毅【生成式AI导论 2024】第5讲 让语言模型彼此合作,把一个人活成一个团队

GPD4,它也有非常强大的能力。但是GPT4如果跟其他的语言模型合作,他们其实可以发挥1加1大于二的力量。 为什么要让模型合作? 那怎么让模型彼此合作呢?有很多不同的方式。一个可能性是假设你现在手边就有一堆语言模型,他们可能有不同的能力使用,他们可能有不同的成本局来…

最小可行架构实践:创建家庭保险聊天机器人——可持续架构(四)

前言 即使像聊天机器人这样的简单应用也需要一个最小可行产品&#xff08;MVP&#xff09;和最小可行架构&#xff08;MVA&#xff09;&#xff0c;因为正确开发聊天机器人应用并不容易&#xff0c;而开发失败可能会极大地影响客户满意度。MVP是产品开发策略的一个有用组成部分…

Linux内核之最核心数据结构之一:struct file(三十)

简介&#xff1a; CSDN博客专家&#xff0c;专注Android/Linux系统&#xff0c;分享多mic语音方案、音视频、编解码等技术&#xff0c;与大家一起成长&#xff01; 优质专栏&#xff1a;Audio工程师进阶系列【原创干货持续更新中……】&#x1f680; 优质专栏&#xff1a;多媒…

SnapGene 5 for Mac 分子生物学软件

SnapGene 5 for Mac是一款专为Mac操作系统设计的分子生物学软件&#xff0c;以其强大的功能和用户友好的界面&#xff0c;为科研人员提供了高效、便捷的基因克隆和分子实验设计体验。 软件下载&#xff1a;SnapGene 5 for Mac v5.3.1中文激活版 这款软件支持DNA构建和克隆设计&…

电子负载的使用

一&#xff0c;电子负载的介绍 1、电子负载简介和应用 我们通常说的电子负载&#xff0c;其实是一个假负载&#xff0c;充当我们的负载&#xff0c;比如灯头&#xff0c;电机等等。它是一种直流可编程电子负载&#xff0c;首先是直流模式的&#xff0c;可编程是内部写入程序&…

1.java openCV4.x 入门-环境搭建

专栏简介 &#x1f492;个人主页 &#x1f4d6;心灵鸡汤&#x1f4d6;大家 &#x1f4f0;专栏目录 点击上方查看更多内容 环境搭建 一、开发环境二、环境搭建1.openCV安装1.下载程序包 2.程序包安装3.搭建项目 三、非必要资源1.扩展库2.cmake 一、开发环境 开发工具 i…

2024年北京事业单位报名照片要求,注意格式

2024年北京事业单位报名照片要求&#xff0c;注意格式