(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210880555.4 (22)申请日 2022.07.25 (71)申请人 浙江大华 技术股份有限公司 地址 310051 浙江省杭州市滨江区滨安路 1187号 (72)发明人 朱婷　郝敬松　朱树磊　殷俊　 (74)专利代理 机构 深圳市威世博知识产权代理 事务所(普通 合伙) 44280 专利代理师 严翠霞 (51)Int.Cl. G06V 40/16(2022.01) G06V 10/44(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 微表情检测方法、 电子 设备及计算机可读存 储介质 (57)摘要 本申请公开了一种微表情检测方法、 电子设 备及计算机可读存储介质。 该微表情检测方法包 括： 对视频图像序列进行检测， 获取视频图像序 列中人脸区域的人脸关键点； 从人脸关键点中剔 除与表情无关的无效关键点， 以获得有效关键 点， 并基于有效关键点获取视频图像序列的关键 点向量； 基于人脸关键点获取视频图像序列的关 键区域光流特征向量； 基于关键点向量及关键区 域光流特征向量， 获取视频图像序列的发生微表 情的置信度。 通过上述方式， 本申请可 以从人脸 关键点中剔除与表情无关的无效关键点去除噪 声， 从而有效地提高对人脸微表情检测的准确 性。 权利要求书2页 说明书11页 附图8页 CN 115424315 A 2022.12.02 CN 115424315 A 1.一种微表情检测方法， 其特 征在于， 包括： 对视频图像序列进行检测， 获取 所述视频图像序列中人脸区域的人脸关键点； 从所述人脸关键点中剔除与表情无关的无效关键点， 以获得有效关键点， 并基于所述 有效关键点获取 所述视频图像序列的关键点向量； 基于所述人脸关键点获取 所述视频图像序列的关键区域 光流特征向量； 基于所述关键点向量及所述关键区域光流特征向量， 获取所述视频图像序列的发生微 表情的置信度。 2.根据权利要求1所述的微表情检测方法， 其特征在于， 所述从所述人脸关键点中剔除 与表情无关的无效关键点， 以获得有效关键点， 并基于所述有效关键点获取所述视频图像 序列的关键点向量， 包括： 剔除所述人脸区域的外轮廓关键点、 鼻边关键点及嘴巴内侧关键点并增加所述人脸 区 域的前额区域关键点及嘴巴周边关键点， 以获得 所述有效关键点； 将所述有效关键点进行 连接， 以获取 所述视频图像序列所述关键点向量。 3.根据权利要求1所述的微表情检测方法， 其特征在于， 所述基于所述人脸关键点获取 所述视频图像序列的关键区域 光流特征向量， 包括： 基于所述人脸关键点的位置， 去除所述视频图像序列中眼眶活动区域； 利用光流法获取 所述视频图像序列的所述关键区域 光流特征向量。 4.根据权利要求1所述的微表情检测方法， 其特征在于， 所述基于所述关键点向量及所 述关键区域 光流特征向量， 获取 所述视频图像序列的发生 微表情的置信度， 包括： 利用图注意力卷积网络模型对所述关键点向量进行特征提取， 以获取关键点空间特 征； 利用一维卷积网络模型对所述关键区域光流特征向量进行特征提取， 以获取关键区域 时域特征； 基于所述关键点空间特 征与所述关键区域时域特 征， 以获取 所述置信度。 5.根据权利要求4所述的微表情检测方法， 其特征在于， 所述基于所述关键点空间特征 与所述关键区域时域特 征， 以获取 所述置信度， 包括： 融合所述关键点空间特 征与所述关键区域时域特 征， 以获取空域特 征； 基于所述空域特 征以获取 所述置信度。 6.根据权利要求5所述的微表情检测方法， 其特征在于， 所述融合所述关键点空间特征 与所述关键区域时域特征， 包括将所述关键点空间特征与所述关键区域时域特征进行像素 级的相加乘操作， 以得到所述空域特 征。 7.根据权利要求1 ‑6任一项所述的微表情检测方法， 其特征在于， 所述微表情检测方法 进一步包括： 获取滑窗宽度系数； 用所述滑窗宽度系数的滑窗， 对待检测视频流进行滑窗操作， 以获得多个所述视频图 像序列； 获取每一个所述视频图像序列的发生 微表情的所述置信度； 基于所有所述置信度， 获取 所述待检测视频流的微表情发生区间。 8.根据权利要求7所述的微表情检测方法， 其特征在于， 所述基于所有所述置信度， 获权　利　要　求　书 1/2 页 2 CN 115424315 A 2取所述待检测视频流的微表情发生区间， 包括： 获取所述待检测视频流的置信度曲线， 其中， 所述置信度曲线的x轴表示所述待检测视 频流的帧号， 所述置信度曲线的y轴表示所述视频图像序列的发生 微表情的置信度； 对所述置信度曲线进行标准阈值检测及局部峰值检测， 以获取所述待检测视频流的峰 值帧； 基于所述峰值帧获取 所述待检测视频流的微表情发生区间。 9.根据权利要求1所述的微表情检测方法， 其特征在于， 所述对视频图像序列进行检 测， 获取所述视频图像序列中人脸区域的人脸关键点， 包括： 获取视频图像序列； 对所述视频图像序列进行 人脸检测， 标定出 所述视频图像序列中的所述人脸区域； 基于所述人脸区域， 对所述视频图像序列进行人脸关键点检测， 以获取所述人脸关键 点， 并将所述人脸关键点与所述人脸区域进行 人脸对齐处 理。 10.一种电子设备， 其特征在于， 所述电子设备包括处理器以及与 所述处理器连接的存 储器， 其中， 所述存储器中存储有程序数据， 所述处理器执行所述存储器存储的所述程序数 据， 以执行实现： 对视频图像序列进行检测， 获取 所述视频图像序列中人脸区域的人脸关键点； 从所述人脸关键点中剔除与表情无关的无效关键点， 以获得有效关键点， 并基于所述 有效关键点获取 所述视频图像序列的关键点向量； 基于所述人脸关键点获取 所述视频图像序列的关键区域 光流特征向量； 基于所述关键点向量及所述关键区域光流特征向量， 获取所述视频图像序列的发生微 表情的置信度。 11.一种计算机可读存储介质， 其特征在于， 其内部存储有程序指令， 所述程序指令被 执行以实现： 对视频图像序列进行检测， 获取 所述视频图像序列中人脸区域的人脸关键点； 从所述人脸关键点中剔除与表情无关的无效关键点， 以获得有效关键点， 并基于所述 有效关键点获取 所述视频图像序列的关键点向量； 基于所述人脸关键点获取 所述视频图像序列的关键区域 光流特征向量； 基于所述关键点向量及所述关键区域光流特征向量， 获取所述视频图像序列的发生微 表情的置信度。权　利　要　求　书 2/2 页 3 CN 115424315 A 3