(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211048738.6 (22)申请日 2022.08.30 (71)申请人 中国银行股份有限公司 地址 100818 北京市西城区复兴门内大街1 号 (72)发明人 朱胜　 (74)专利代理 机构 北京三友知识产权代理有限 公司 11127 专利代理师 马冬生　田勇 (51)Int.Cl. G06Q 10/06(2012.01) G06Q 40/02(2012.01) G06K 9/62(2022.01) G06V 40/16(2022.01) G10L 25/63(2013.01) (54)发明名称 银行服务质量反馈方法及装置 (57)摘要 本发明公开了银行服务质 量反馈方法及装 置， 可用于 人工智能技术领域， 方法包括： 采集目 标用户的人脸视频数据， 根据第一人脸情绪识别 结果以及第二人脸情绪识别结果确定目标用户 的人脸情绪变化值， 根据第一语音情绪识别结果 以及第二语音情绪识别结果确定目标用户的语 音情绪变化值， 根据人脸情绪变化值以及语音情 绪变化值确定目标用户对应的银行服务质量反 馈结果。 本发明实现了自动反馈银行服务质量， 减少用户操作， 提高了效率， 提高了银行服务质 量反馈的实时性及准确性。 权利要求书3页 说明书7页 附图3页 CN 115409371 A 2022.11.29 CN 115409371 A 1.一种银 行服务质量反馈方法， 其特 征在于， 包括： 采集目标用户的人脸视频 数据； 根据所述人脸视频数据确定第一时间帧下的第一人脸图像数据以及第二时间帧下的 第二人脸图像数据； 所述第一时间帧对应银行服务开始 时刻； 所述第二时间帧对应银行服 务结束时刻； 将第一人脸图像数据输入至人脸情绪识别模型， 得到第 一人脸图像数据对应的第 一人 脸情绪识别结果； 所述人脸情绪识别模型为利用历史用户的人脸图像数据及对应的人脸情 绪识别结果， 对机器学习模型进行训练后得到； 将第二人脸图像数据输入至人脸情绪识别模型， 得到第 二人脸图像数据对应的第 二人 脸情绪识别结果； 根据所述第一人脸情绪识别结果以及所述第二人脸情绪识别结果确定目标用户的人 脸情绪变化 值； 确定目标用户所处环境中： 第一时间帧所处第一时间段内的第一语音数据， 以及第二 时间帧所处第二时间段内的第二语音数据； 将第一语音数据输入至语音情绪识别模型， 得到第 一语音数据对应的第 一语音情绪识 别结果； 所述语音情绪识别模型为利用历史用户的语音数据及对应的语音情绪识别结果， 对机器学习模型进行训练后得到； 将第二语音数据输入至语音情绪识别模型， 得到第 二语音数据对应的第 二语音情绪识 别结果； 根据所述第一语音情绪识别结果以及所述第二语音情绪识别结果确定目标用户的语 音情绪变化 值； 根据所述人脸情绪变化值以及所述语音情绪变化值确定目标用户对应的银行服务质 量反馈结果。 2.如权利要求1所述的银行服务质量反馈方法， 其特征在于， 在将第 一人脸图像数据输 入至人脸情绪识别模型， 得到第一人脸图像数据对应的第一人脸情绪识别结果之前， 还包 括： 将历史用户的人脸图像数据及对应的人脸情绪识别结果作为样本数据， 构建第 一训练 集和第一测试集； 利用第一训练集对机器学习模型进行训练， 得到所述人脸情绪识别模型； 利用第一测试集对所述人脸情绪识别模型进行测试。 3.如权利要求1所述的银行服务质量反馈方法， 其特征在于， 在将第 一语音数据输入至 语音情绪识别模型， 得到第一语音数据对应的第一语音情绪识别结果之前， 还 包括： 将历史用户的语音数据对应的语音情绪识别结果作为样本数据， 构建第 二训练集和第 二测试集； 利用第二训练集对机器学习模型进行训练， 得到所述语音情绪识别模型； 利用第二测试集对所述语音情绪识别模型进行测试。 4.如权利要求1所述的银行服务质量反馈方法， 其特征在于， 根据 所述第一人脸情绪识 别结果以及所述第二人脸情绪识别结果确定目标用户的人脸情绪变化 值， 包括： 根据所述第 一人脸情绪识别结果以及所述第 二人脸情绪识别结果， 确定人脸情绪识别权　利　要　求　书 1/3 页 2 CN 115409371 A 2结果差值； 根据所述人脸情绪识别结果差值， 确定目标用户的人脸情绪变化 值。 5.如权利要求1所述的银行服务质量反馈方法， 其特征在于， 根据 所述人脸情绪变化值 以及所述语音情绪变化 值确定目标用户对应的银 行服务质量反馈结果， 包括： 根据所述人脸情绪变化值以及所述语音情绪变化值确定目标用户对应的综合情绪变 化值； 根据预设的综合情绪变化值与银行服务质量反馈结果的关系确定银行服务质量反馈 结果。 6.一种银 行服务质量反馈装置， 其特 征在于， 包括： 获取模块， 用于采集目标用户的人脸视频 数据； 人脸情绪识别模块， 用于根据 所述人脸视频数据确定第 一时间帧下的第 一人脸图像数 据以及第二时间帧下 的第二人脸图像数据； 所述第一时间帧对应银行服务开始 时刻； 所述 第二时间帧对应银行服务结束时刻； 将第一人脸图像数据输入至人脸情绪识别模型， 得到 第一人脸图像数据对应的第一人脸情绪识别结果； 所述人脸情绪识别模型为利用历史用户 的人脸图像数据及对应的人脸情绪识别结果， 对机器学习模型进行训练后得到； 将第二人 脸图像数据输入至人脸情绪识别模型， 得到第二人脸图像数据对应的第二人脸情绪识别结 果； 根据所述第一人脸情绪识别结果以及所述第二人脸情绪识别结果确定目标用户的人脸 情绪变化 值； 语音情绪识别模块， 用于确定目标用户所处环境中： 第一时间帧所处第一时间段内的 第一语音数据， 以及第二时间帧所处第二时间段内的第二语音数据； 将第一语音数据输入 至语音情绪识别模型， 得到第一语音数据对应的第一语音情绪识别结果； 所述语音情绪识 别模型为利用历史用户的语音 数据及对应的语音情绪识别结果， 对机器学习模型进行训练 后得到； 将第二语音数据输入至语音情绪识别模型， 得到第二语音数据对应的第二语音情 绪识别结果； 根据所述第一语音情绪识别结果以及所述第二语音情绪识别结果确定目标用 户的语音情绪变化 值； 银行服务质量反馈模块， 用于根据 所述人脸情绪变化值以及所述语音情绪变化值确定 目标用户对应的银 行服务质量反馈结果。 7.如权利要求6所述的银行服务质量反馈装置， 其特征在于， 所述人脸情绪识别模块还 用于： 在将第一人脸图像数据输入至人脸情绪识别模型， 得到第 一人脸图像数据对应的第 一 人脸情绪识别结果之前， 将历史用户的人脸图像数据及 对应的人脸情绪识别结果作为样本 数据， 构建第一训练集和第一测试集； 利用第一训练集对机器学习模型进行训练， 得到所述人脸情绪识别模型； 利用第一测试集对所述人脸情绪识别模型进行测试。 8.如权利要求6所述的银行服务质量反馈装置， 其特征在于， 所述人脸情绪识别模块具 体用于： 根据所述第 一人脸情绪识别结果以及所述第 二人脸情绪识别结果， 确定人脸情绪识别 结果差值； 根据所述人脸情绪识别结果差值， 确定目标用户的人脸情绪变化 值。权　利　要　求　书 2/3 页 3 CN 115409371 A 3