(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202211303445.8 (22)申请日 2022.10.24 (65)同一申请的已公布的文献号 申请公布号 CN 115373550 A (43)申请公布日 2022.11.22 (73)专利权人 中诚华隆计算机技 术有限公司 地址 100012 北京市朝阳区来广营乡紫月 路18号院3号楼8层 (72)发明人 王嘉诚　张少仲　张栩　 (74)专利代理 机构 北京智燃律师事务所 1 1864 专利代理师 柴琳琳 (51)Int.Cl. G06F 3/0481(2022.01) G06F 3/023(2006.01) G06V 10/44(2022.01)G06V 10/82(2022.01) G06V 20/62(2022.01) G06V 30/10(2022.01) G06V 30/18(2022.01) H04L 67/01(2022.01) H04L 67/10(2022.01) (56)对比文件 CN 109889907 A,2019.0 6.14 CN 109309844 A,2019.02.0 5 CN 108806355 A,2018.1 1.13 CN 113794903 A,2021.12.14 US 2009313536 A1,2009.12.17 审查员 马春黎 (54)发明名称 一种获取交 互信息的方法、 系统及芯片 (57)摘要 本发明公开了一种获取交互信息的方法、 系 统及芯片， 涉及信息传输技术领域， 其中所述方 法包括： 云应用服务器识别解码后的输入信息是 否为正常状态或非正常状态； 若为非正常状态， 则调用云应用服务器中缓存的第一帧图像， 计算 其与第二帧图像 之间的差值后， 判断输入内容为 文字元素或字符画元素， 将其进行标记后通过输 入内容套接字上传给后台服务器。 通过本发明， 使云应用服务器通过对发送 图像帧和接收图像 帧求差得到输入信息的轮廓， 并通过人工智能方 式判断输入信息类型以及采取对应方式提取保 存和向后台服务器上传输入内容， 使后台服务器 可以正确显示所有类型的输入信息， 解决用户交 互信息传输的准确性问题， 提高云应用使用过程 中的用户体验。 权利要求书2页 说明书7页 附图2页 CN 115373550 B 2022.12.20 CN 115373550 B 1.一种获取交 互信息的方法， 所述方法包括： 客户端捕捉用户在本地的操作， 当检测到输入法触发操作时， 向云应用服务器发起输 入请求； 所述云应用服务器接受所述输入请求后向所述客户端发送携带输入标签的第一帧图 像数据包， 所述云应用服务器将第一帧图像进行缓存， 所述客户端接受并解码第一帧图像 获取输入标签后在前 景图层中渲染出对话框结构并调用本地输入法； 所述客户端检测到本地输入完毕触发提交发送时， 将客户端当前屏幕图像信 息保存为 第二帧图像， 将第二帧图像和输入信息打包成第二帧图像数据包发送给云应用服 务器； 所述云应用服务器对所述第 二帧图像数据包进行解码， 获取解码后的输入信 息和第二 帧图像； 所述云应用服 务器识别解码后的输入信息是否为 正常状态或非正常状态； 若为正常状态， 则将所述 解码后的输入信息通过输入内容套接 字上传给后台服 务器； 若为非正常状态， 则调用云应用服务器中缓存的第一帧图像， 计算其与第二帧图像之 间的差值后， 判断输入内容为文字元素或字 符画元素， 通过字符识别确定输入文字， 以及通 过数组形式表示字符画或表情符， 将文字元素或字符画元素进行标记后通过输入内容套接 字上传给 所述后台服 务器； 所述后台服务器接收到输入内容套接字， 进行解码后获得输入内容字段， 使用所述输 入内容字段 更新界面显示内容字段。 2.如权利要求1所述的方法， 其特征在于， 云应用服务器识别解码后的输入信 息是否为 正常状态或非正常状态， 包括： 提取所述解码后的输入信 息的特征信 息， 将所述特征信 息输入至语义理解深度神经网 络模型中， 根据所述深度神经网络的输出判断输入信息是否为 正常状态； 当根据所述语义理解深度神经网络模型的输出判断输入信 息是否为非正常状态时， 所 述云应用服务器读取缓存中的第一帧图像， 计算其与将解码后的第二帧图像之间的差值， 将所述差值输入至文字输入异常深度神经网络模型中， 根据文字输入异常深度神经网络模 型的输出判断文字 输入异常类型； 所述文字 输入异常类型包括文字乱码、 字符画或表情符。 3.如权利要求2所述的方法， 其特 征在于， 当所述文字 输入异常类型为文字乱码时， 通过字符识别确定 输入文字； 当所述文字输入异常类型为字符画或者表情符时， 通过数组形式表示字符画或表情 符。 4.如权利要求1所述的方法， 其特征在于， 在所述第 一帧图像数据包中设置至少两个数 据域， 所述两个数据域分别用来承载第一帧图像数据和输入标签， 并在数据包头中指示两 个数据域的数据量大小， 客户端解码所述第一帧图像数据包的包头获得非零数据量的输入 标签数据域时， 表明有输入信息获取 的指示信息， 所述客户端在前景图层中渲染出对话框 结构并调用本地输入法。 5.如权利要求4所述的方法， 其特征在于， 所述第 一帧图像数据包用于承载输入标签的 数据域中还包括用户预设的输入风格标签， 所述客户端根据所述输入风格标签在前景图层 中渲染出对话框结构。权　利　要　求　书 1/2 页 2 CN 115373550 B 26.如权利要求1所述的方法， 其特征在于， 所述云应用服务器接收和解码客户端发送的 第二帧图像数据包， 所述第二帧图像数据包中至少包括两个数据域， 所述两个数据域分别 用于承载第二帧图像和输入信息， 所述第二帧图像数据包的两个数据域都不能为空， 否则 云应用服 务器指示 客户端重传第二帧图像数据包。 7.如权利要求1所述的方法， 其特征在于， 将文字元素或字符画元素进行标记后 通过输 入内容套接 字上传给 所述后台服 务器包括： 按照用户输入的先后顺序给不同的元 素进行标号。 8.如权利要求1所述的方法， 其特 征在于， 当前服务存续期间， 当满足多次返回的结果都为正常达到兼容性合格条件时， 所述云 应用服务器更改输入指 令设置， 向客户端发出指示客户端不再通过第二帧图像数据包发送 输入信息， 改用输入信息数据包发送所述输入信息 。 9.一种获取交互信息的系统， 所述系统包括客户端， 云应用服务器， 后台服务器， 其中 所述客户端用于执行权利要求1 ‑8任一项中客户端对应的所述方法， 所述云应用服务器用 于执行权利要求1 ‑8任一项中云应用服务器对应的所述方法， 所述后台服务器用于执行权 利要求1‑8任一项中后台服 务器对应的所述方法。 10.一种获取交互信息的芯片， 用于执行计算机可读存储介质中的程序代码以实现权 利要求1‑8任一项中客户端的所述方法， 或者用于执行计算机可读存储介质中的程序代码 以实现权利要求1 ‑8任一项中云应用服务器的所述方法； 用于执行计算机可读存储介质中 的程序代码以实现权利要求1 ‑8任一项中后台服 务器的所述方法。权　利　要　求　书 2/2 页 3 CN 115373550 B 3