(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211070526.8 (22)申请日 2022.09.02 (71)申请人 中国银行股份有限公司 地址 100818 北京市西城区复兴门内大街1 号 (72)发明人 宋雨　李敬文　杨晓明　程璐　 黄康　陈欢　赵辉　柏莹　王舒倩　 程轼博　简苡霖　 (74)专利代理 机构 北京集佳知识产权代理有限 公司 11227 专利代理师 侯珊 (51)Int.Cl. G06F 3/01(2006.01) G06F 3/0484(2022.01) G06Q 40/02(2012.01)G06N 5/02(2006.01) (54)发明名称 基于手势交互的业务办理方法、 装置及自助 服务设备 (57)摘要 本申请提供了一种基于动态手势交互的业 务办理方法、 装置、 自助服务设备及存储介质， 可 应用于人工智能、 云计算、 大数据等多个领域或 金融领域， 本申请通过响应针对请求办理业务客 户的服务模式切换指令， 触发自助服务设备进入 手势交互服务模式后， 可以输出业务办理询问手 势， 来主动询问客户想要办理的业务， 这样， 客户 可以据此输入办理业务答复手势， 通过这种手势 交互方式， 告知自助服务设备客户想要办理的业 务， 通过查询预先构建的业务知识库， 获得针对 客户请求办理业务的业务办理引导手势后输出， 以指导客户快速且准确办理业务， 提高业务办理 效率， 且无需业务工作人员学习手语指导语言障 碍客户办理业 务， 降低了人工成本 。 权利要求书2页 说明书13页 附图6页 CN 115437500 A 2022.12.06 CN 115437500 A 1.一种基于手势交 互的业务办理方法， 其特 征在于， 所述方法包括： 响应针对请求办理业务客户的服务模式切换指令， 触发自助服务设备进入手势交互服 务模式， 输出业 务办理询问手势； 获取所述客户基于所述 业务办理询问手势输入的办理业 务答复手势； 基于所述办理业务答复手势， 查询预先构建的业务知识库， 输出针对所述客户请求办 理业务的业务办理引导手势， 以指导所述 客户通过手势交 互方式办理业 务。 2.根据权利要求1所述的方法， 其特征在于， 所述响应针对请求办理业务客户的服务模 式切换指令， 包括： 获取请求办理业务客户的身份识别信息， 确定所述身份识别信息满足手势交互条件， 响应针对自助服 务设备的手势交 互服务模式的服 务模式切换指令； 或者， 检测到针对自助服务设备的手势交互服务模式预先配置的唤醒动作， 响应针对所述手 势交互服务模式的服 务模式切换指令 。 3.根据权利要求2所述的方法， 其特征在于， 所述获取请求办理业务客户的身份识别信 息， 确定所述身份识别 信息满足手势交 互条件， 包括： 获取请求办理业 务客户的人脸图像； 对所述人脸图像进行人脸识别， 依据业务系统所存储的客户标注信息， 确定所述客户 被标注为语言障碍者或使用手势交 互方式办理业 务。 4.根据权利要求2所述的方法， 其特征在于， 所述获取请求办理业务客户的身份识别信 息， 确定所述身份识别 信息满足手势交 互条件， 包括： 获取自助服 务设备的业 务办理区域的视频 数据； 对所述视频 数据进行分析， 确定有客户进入所述 业务办理区域， 输出 特定语音语句； 获取所述客户针对所述特定语音语句的反应视频 数据； 对所述反应视频 数据进行音频和身体动作识别， 确定满足手势交 互条件。 5.根据权利要求1 ‑4任一项所述的方法， 其特征在于， 所述输出业务办理询问手势， 包 括： 获取所述客户在业 务系统上的历史 交互信息； 对所述历史交互信息进行分析， 获得所述客户请求办理的预测业务， 以及对所述预测 业务的预测操作； 构建针对所述预测业 务的业务询问信息， 以及针对所述预测操作的操作询问信息； 将所述业务询问信息转换为 业务询问手势后输出； 将所述操作询问信息转换为操作询问手势后输出。 6.根据权利要求5所述的方法， 其特征在于， 所述获取所述客户基于所述业务办理询问 手势输入的办理业 务答复手势， 包括： 获取所述客户基于所述业务询问手势输入的业务答复手势， 以及基于所述操作询问手 势输入的操作答复手势； 所述基于所述办理业务答复手势， 查询预先构建的业务知识库， 输出针对所述客户请 求办理业 务的业务办理引导手势， 包括： 分别对所述业务答复手势和所述操作答复手势进行语义识别， 将识别 到的语义信 息进 行合并处 理， 得到办理业 务答复信息；权　利　要　求　书 1/2 页 2 CN 115437500 A 2查询预先构建的业务知识库， 得到与所述办理业务答复信 息相匹配的业务办理引导信 息； 将所述业务办理引导信息转换为 业务办理引导手势输出。 7.根据权利要求1 ‑4任一项所述的方法， 其特征在于， 所述输出业务办理询问手势， 包 括： 获取业务系统预先配置的特定语音语句， 将所述特定语音语句转换为业务办理询问手 势后输出； 或者， 调取针对所述手势交互服务模式预先配置的业务办理询问手势， 输出所述业务办理询 问手势。 8.根据权利要求1 ‑4任一项所述的方法， 其特征在于， 所述业务知识库的构建方法包 括： 接收业务客户 端发送的特定业务手势； 所述特定业务手势是客户针对特定业务输入 的； 基于手势数据库或手势转换模型， 获取业 务系统所支持的各业 务对应的业 务手势； 将接收到的所述特定业务手势以及所获取的所述各业务对应的业务手势， 与对应业务 的业务标识进行关联， 构建业 务知识库； 其中， 所述业务知识库中的所述特定业务手势关联有， 输入所述特定业务手势 的所述 客户的身份标识； 且同一所述 业务标识关联有至少一个业 务手势。 9.一种基于手势交 互的业务办理装置， 其特 征在于， 所述装置包括： 服务模式切换模块， 用于响应针对请求办理业务客户的服务模式切换指令， 触发自助 服务设备进入手势交 互服务模式； 业务办理询问手势输出模块， 用于 输出业务办理询问手势； 办理业务答复手势获取模块， 用于获取所述客户基于所述业务办理询问手势输入的办 理业务答复手势； 业务办理引导手势输出模块， 用于基于所述办理业务答复手势， 查询预先构建的业务 知识库， 输出针对所述客户请求办理业务的业务办理引导手势， 以指导所述客户通过手势 交互方式办理业 务。 10.一种自助服 务设备， 其特 征在于， 所述自助服 务设备包括： 音视频采集器； 显示器； 通信模块； 存储器， 用于存储实现如权利要求1 ‑8任一项所述的基于手势交互的业务办理方法的 程序； 处理器， 用于加载执行所述存储器存储的所述程序， 实现如权利要求1 ‑8任一项所述的 基于手势交 互的业务办理方法。权　利　要　求　书 2/2 页 3 CN 115437500 A 3