(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210599742.5 (22)申请日 2022.05.30 (71)申请人 深圳市中视典数字科技有限公司 地址 518000 广东省深圳市南 山区学苑大 道与留仙大道交界处南山智园C区3栋 24层 (72)发明人 陈沛东毅　徐猛　兰坚　 (74)专利代理 机构 广州嘉权专利商标事务所有 限公司 4 4205 专利代理师 黄广龙 (51)Int.Cl. H04L 65/1066(2022.01) H04L 67/55(2022.01) H04N 13/332(2018.01) H04N 13/398(2018.01)G06F 9/451(2018.01) G06Q 10/00(2012.01) (54)发明名称 一种远程指导方法、 远程指导系统、 电子设 备及存储介质 (57)摘要 本申请实施例提供了一种远程指导方法、 远 程指导系统、 电子设备及存储介质， 属于运维技 术领域。 该方法包括： 将现场终端和远程终端分 别与后台服务器进行通信连接； 通过现场终端采 集空间环境深度数据信息和实时音视频流画面 信息； 通过后台服务器对空间环 境深度数据信息 进行虚拟网格体构建， 得到全景远程协作空间； 通过远程终端更新全景远程协作空间； 通过远程 终端发送指导指令信息,并通过后台服务器对实 时音视频流画面信息进行特征提取， 根据提取后 的结果进行识别匹配以得到多个候选指导信息； 通过远程终端或后台服务器对多个候选指导信 息进行匹配选择得到目标指导信息。 本申请实施 例能够提高设备运维的效率且保证了运维数据 的质量。 权利要求书3页 说明书15页 附图4页 CN 115051974 A 2022.09.13 CN 115051974 A 1.一种远程指导方法， 其特 征在于， 所述方法包括： 将现场终端和远程终端分别与后台服务器进行通信连接， 以建立所述现场终端和所述 远程终端之间的远程指导连接； 通过所述现场终端采集当前空间环境区域的空间环境深度数据信息和实时音视频流 画面信息； 通过所述后台服务器对所述空间环境深度 数据信息进行虚拟网格体构建， 以得到全景 远程协作空间， 所述全景远程协作空间用于同步显示所述远程终端对所述现场终端的指导 操作； 通过所述远程终端获取所述现场终端采集的所述实时音视频流画面信息和所述空间 环境深度数据信息,以更新所述全景远程协作空间； 通过所述远程终端向所述现场终端发送指导指令信 息， 所述指导指令信 息用于指示所 述现场终端 进行远程指导操作； 通过所述后台服务器对所述现场终端回传的所述实时音视频流画面信息进行特征提 取， 并根据所述指导指令信息对特征提取后的结果进行识别匹配以得到多个候选指导信 息； 通过所述远程终端或所述后台服务器对所述多个候选指导信息进行匹配选择以得到 目标指导信息， 并将所述 目标指导信息发送至所述现场 终端， 以使所述现场 终端执行与所 述目标指导信息对应的远程指导操作。 2.根据权利要求1所述的方法， 其特征在于， 所述将现场终端和远程终端分别与后台服 务器进行通信连接， 以建立所述现场终端和所述远程终端之间的远程指导连接， 包括： 将现场终端和远程终端分别与后台服 务器进行通信连接； 通过所述现场终端向所述远程终端发送远程指导请求信息； 通过所述后台服 务器对所述远程终端 进行在线状态检测， 以得到在线状态结果； 根据所述在线状态结果和所述远程指导请求信息建立所述现场终端和所述远程终端 之间的远程指导连接 。 3.根据权利要求2所述的方法， 其特征在于， 所述后台服务器可以连接多个所述远程终 端， 所述在线状态结果包括有在线状态和无在线状态， 所述有在线状态用于表示至少一个 所述远程 终端与所述后台服务器建立通信连接， 所述无在线状态用于表示没有一个所述远 程终端与所述后台服务器建立通信连接， 或所述无在线状态用于表示与所述后台服务器连 接的全部所述远程终端没有在预设响应时间内响应所述远程指导请求信息， 对应地， 所述 根据所述在线状态结果和所述远程指导请求信息建立所述现场 终端和所述远程终端之间 的远程指导连接， 至少包括以下步骤之一： 当所述在线状态结果为所述有在线状态且至少一个所述远程终端确认与所述现场终 端建立远程指导连接， 根据所述远程指导请求信息 建立至少一个所述远程终端与所述现场 终端的所述远程指导连接； 当所述在线状态结果为所述无在线状态， 根据所述远程指导请求信 息和所述后台服务 器自动建立与所述现场终端的远程指导连接 。 4.根据权利要求1所述的方法， 其特征在于， 所述通过所述现场终端采集当前空间环境 区域的空间环境深度数据信息和实时音视频流画面信息， 包括：权　利　要　求　书 1/3 页 2 CN 115051974 A 2通过所述现场终端确 认协作起始位置信 息， 并根据 所述协作起始位置信 息采集当前空 间环境区域的空间环境深度数据信息和实时音视频流画面信息 。 5.根据权利要求1所述的方法， 其特征在于， 所述通过所述远程终端获取所述现场终端 采集的所述 实时音视频流画 面信息和所述空间环境深度数据信息,以更新所述全景远程协 作空间， 包括： 通过所述后台服务器向所述远程终端发送所述现场终端采集的所述实时音视频流画 面信息和所述空间环境深度数据信息， 以向所述远程终端同步所述全景远程协作空间； 通过所述远程终端根据 所述实时音视频流画面信 息和所述空间环境深度 数据信息， 以 更新所述全景远程协作空间。 6.根据权利要求1所述的方法， 其特征在于， 在所述根据 所述实时音视频流画面信 息和 所述空间环境深度数据信息， 以更新所述全景远程协作空间之后， 所述方法还 包括： 通过所述远程终端在所述全景远程协作空间的目标场景画面上标注指令操作， 以得到 标注指令信息； 通过所述后台服 务器将所述标注指令信息发送至所述现场终端； 通过所述现场终端根据所述空间环境深度数据信息对所述标注指令信息进行位置比 例计算， 以得到 显示在所述现场终端对应的场景画面上的目标指令标记信息 。 7.根据权利要求1至6任一项所述的方法， 其特征在于， 所述通过所述后台服务器对所 述现场终端回传的所述实时音视频流画 面信息进 行特征提取， 并根据所述指导指 令信息对 特征提取后的结果进行识别匹配以得到多个候选指导信息， 包括： 通过所述后台服 务器获取根据历史远程指导过程构建的远程指导知识图谱； 通过所述后台服 务器获取 所述现场终端回传的所述实时音视频流画面信息； 通过所述后台服务器基于预设的卷积神经网络对所述实时音视频流画面信息进行特 征提取， 以得到三维数据信息； 通过所述后台服务器将所述远程终端发送的所述指导指令信息与所述远程指导知识 图谱进行关联， 以更新所述远程指导知识图谱； 通过所述后台服务器和更新后的所述远程指导知识图谱对所述三维数据信息进行识 别匹配， 以得到多个候选指导信息 。 8.一种远程指导系统， 其特 征在于， 所述系统包括： 远程连接建立模块， 用于将现场终端和远程终端分别与后台服务器进行通信连接， 以 建立所述现场终端和所述远程终端之间的远程指导连接； 信息采集模块， 用于通过所述现场终端采集当前空间环境 区域的空间环境深度 数据信 息和实时音视频流画面信息； 全景远程协作空间构建模块， 用于通过所述后台服务器对所述空间环境深度 数据信息 进行虚拟网格体构建， 以得到全景远程协作 空间， 所述全景远程协作 空间用于同步显示所 述远程终端对所述现场终端的指导操作； 全景远程协作空间更新模块， 用于通过所述远程终端获取所述现场终端采集的所述实 时音视频流画面信息和所述空间环境深度数据信息,以更新所述全景远程协作空间； 指导指令信息发送模块， 用于通过所述远程终端向所述现场终端发送指导指令信息， 所述指导指令信息用于对所述现场终端 进行远程指导操作；权　利　要　求　书 2/3 页 3 CN 115051974 A 3