(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210247638.X (22)申请日 2022.03.14 (71)申请人 达而观信息科技 （上海） 有限公司 地址 201203 上海市浦东 新区亮秀路1 12号 B座301、 303、 304室 (72)发明人 刘迪康　金克　邵万骏　何双钻　 王攀　张涛　陈运文　纪达麒　 (74)专利代理 机构 上海智力专利商标事务所 (普通合伙) 31105 专利代理师 周涛 (51)Int.Cl. G06F 9/451(2018.01) G06F 9/4401(2018.01) G06F 9/445(2018.01) (54)发明名称 一种流程自动化机器人控制浏览器的实现 方法 (57)摘要 本发明涉及一种流程自动化机器人自动化 控制浏览器的实现方法， 包括服务端、 插件端， 服 务端安装有RPA机器人， RPA机器人启动浏览器， 插件端初始化后， 浏览器连接服务端； 服务端向 插件端发送捕获元素请求， 插件端接收来自服务 端的捕获请求后向所有页面发送鼠标监听， 服务 端获取捕获元素后结束鼠标监听； 服务端向插件 端发送捕获元素信息， 插件端根据捕获元素信息 中的元素属性查找元素， 元素属性与元素进行匹 配， 匹配成功后服务端控制操作浏览器。 通过本 发明的方法提升了浏览器操控的效率， 扩充RPA 软件对场景的适应能力， 解决Chro meDriver等浏 览器Driver依 赖问题， 简化浏览器自动化的准备 流程， 使得浏览器插件本身无需更新， 缩短浏览 器类操控软件更新所需最短时间。 权利要求书1页 说明书3页 附图3页 CN 114816614 A 2022.07.29 CN 114816614 A 1.一种流程自动化机器人自动化控制浏 览器的实现方法， 其特征在于， 包括服务端、 插 件端， 服务端安装有RPA机器人， RPA机器人启动浏览器， 插件端初始化后， 浏览器连接服务 端； 服务端向插件端发送捕 获元素请求， 插件端接收来自服务端的捕 获请求后向所有页面 发送鼠标监听， 服 务端获取捕获元 素后结束鼠标监听； 服务端向插件端发送捕获元素信息， 插件端根据捕获元素信息中的元素属性查找元 素， 元素属性与元 素进行匹配， 匹配成功后服 务端控制操作浏览器。 2.根据权利要求1所述的一种流程自动 化控制浏览器的实现方法， 其特征在于， 插件端 向所有页面发送鼠标监听后， 鼠标移动同时进行元素标记， 插件端记录最后一次移动鼠标 下的元素。 3.根据权利要求2所述的一种流程自动 化控制浏览器的实现方法， 其特征在于， 服务端 从插件端获取最后一次移动鼠标下 的元素， 获取完成后结束捕获元素操作并通知插件端， 插件端接收结束捕获元 素操作的通知后通知所有页面结束监听鼠标移动， 结束监听。 4.根据权利要求1所述的一种流程自动 化控制浏览器的实现方法， 其特征在于， 元素属 性与元素匹配成功后， 服务端向插件端发送执行控制操作指令， 插件端接 收到执行控制操 作指令后向页面发送操作指令， 浏览器执行操作并将执行结果发送到插件端， 插件端再将 操作结果发送至服 务端。 5.根据权利要求1所述的一种流程自动 化控制浏览器的实现方法， 其特征在于， 所述服 务端为WebSocket服 务器， 其包 含所以需要注入的JS脚本； 所述插 件端为WebSocket客户端。 6.根据权利要求5所述的一种流程自动 化控制浏览器的实现方法， 其特征在于， 浏览器 启动后， 先执行插件端自身脚本； 浏览器连接服务端后， 服务端向插件端发送初始脚本； 插 件端先在background下执行初始脚本， 执行成功后接收服务端发送的初始化content的脚 本， 插件端在所有非空页面执 行初始化脚本 。 7.根据权利要求6所述的一种流程自动化控制浏览器的实现方法， 其特征在于， 所述 background监听页面变动， 并动态在新的页面执 行初始化脚本 。权　利　要　求　书 1/1 页 2 CN 114816614 A 2一种流程自动化机 器人控制浏览器的实现方 法 技术领域 [0001]本发明涉及机器人流程自动化领域， 具体涉及一种流程自动化机器人控制浏览器 的实现方法。 背景技术 [0002]Chromium内核浏览器的自动化目前主要依靠Selenium框架和内核提供的 Accessibility两种技术， Selenium通过与浏览器driver通信的方式来获取浏览器元素信 息并对其进行操控， 浏览器的Accessibility由内核提供Microsoft的Accessibility  API 的Provider来达 到直接调用W indows Accessibility API就能操控浏览器的效果。 [0003]使用Selen ium作为RPA的操控浏览器的解决方案主 要有以下问题： [0004]1、 由于Selenium主要是用于 自动化测试 的场景， 对于RPA中比较关键的捕获功 能 支持有限。 这部分功能一般通过浏览器的插件实现。 而插件又一般会有native   application存在， 在W indows注册nativeap p需要修改用户注 册表。 [0005]2、 Selenium依赖于浏览器driver， 而chromium内核浏览器每个版本浏览器有不同 的driver且不内置， 因此操作不同版本 Chrome需要下 载对应版本的driver。 [0006]直接使用内核的Ac cessibility主要有以下问题： [0007]1、 元素的树结构与浏览器DOM不一致， 例如某 些树状多层结构在Accessibility下 为平铺的单层结构。 [0008]2、 Accessibility只能获取浏览器元素中的有限属 性， 在很多场景下无法通过这 些有限的属性定位到元 素。 点击、 设置文本等操作可能需要鼠标、 键盘来配合进行控制。 [0009]3、 由于Accessibility  API每次获取元素或元素属性都会带来IPC， 因此这种方案 效率不高。 发明内容 [0010]为了提升浏览器操控的效率， 解决某些场景下插件无法安装的情况， 扩充RPA软件 对场景的适应 能力， 解决ChromeDriver等浏览器Driver依赖问题， 简化浏览器自动化的准 备流程， 使 得浏览器插件本身 无需更新， 缩短浏览器类操控软件更新所需最短时间， 本发明 提供了一种流 程自动化机器人自动控制浏览器的实现方法。 [0011]本发明的技 术目的是通过以下技 术方案实现的： [0012]一种流程自动化机器人自动化控制浏览器的实现方法， 包括服务端、 插件端， 服务 端安装有RPA机器人， RPA机器人启动浏览器， 插 件端初始化后， 浏览器连接服 务端； [0013]服务端向插件端发送捕获元素请求， 插件端接收来自服务端的捕获请求后向所有 页面发送鼠标监听， 服 务端获取捕获元 素后结束鼠标监听； [0014]服务端向插件端发送捕获元素信息， 插件端根据捕获元素信息中的元素属性查找 元素， 元素属性与元 素进行匹配， 匹配成功后服 务端控制操作浏览器。 [0015]进一步地， 插件端向所有页面发送鼠标监听后， 鼠标移动同时进行元素标记， 插件说　明　书 1/3 页 3 CN 114816614 A 3