(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211279831.8 (22)申请日 2022.10.19 (71)申请人 天津中科智能识别有限公司 地址 300450 天津市滨 海新区天津经济技 术开发区第二大街57号泰达MSD-G1座 1001单元 (72)发明人 茹一伟　孙哲南　何召峰　 (74)专利代理 机构 天津市三利专利商标代理有 限公司 12107 专利代理师 韩新城 (51)Int.Cl. G06V 40/40(2022.01) G06V 40/16(2022.01) G06V 10/40(2022.01) G06V 10/54(2022.01)G06V 10/75(2022.01) G06V 10/764(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) (54)发明名称 基于面部光流场与纹理特性融合的深伪视 频检测方法 (57)摘要 本发明公开一种基于面部光流场与纹理特 性融合的深伪视频检测方法， 包括： 计算输入的 人脸图像序列的光流强度图， 得到对应的光流图 像序列； 对人脸图像序列的RGB图像与对应的光 流图像序列的光流强度图逐个进行融合； 将得到 的融合图像序列输入检测模型中进行真伪鉴别， 输出真伪结果。 本发明效利用了光流强度图的特 性， 保留光流方法对伪造视频帧间 “伪影”抖动敏 感的同时， 又具备了融合面部原有纹理特性的能 力， 能实现对深伪视频的有效检测。 权利要求书2页 说明书7页 附图4页 CN 115527276 A 2022.12.27 CN 115527276 A 1.基于面部光 流场与纹 理特性融合的深伪视频检测方法， 其特 征在于， 包括 步骤： 计算输入人脸序列的光 流强度图， 得到对应的光 流图像序列； 对人脸图像序列的RGB图像与对应的光流图像序列的光流强度图逐个进行融合， 得到 融合图像序列； 将得到的融合图像序列输入训练好的检测模型中进行真伪鉴别， 输出真伪结果。 2.根据权利要求1所述基于面部光流场与纹理特性融合的深伪视频检测方法， 其特征 在于， 利用图像拼接或权重融合手段， 对所述人脸图像序列的RGB图像与对应的光流图像序 列的光流强度图逐个进行融合。 3.根据权利要求2所述基于面部光流场与纹理特性融合的深伪视频检测方法， 其特征 在于， 所述人脸图像序列的RGB图像与对应的光流图像序列的光流强度图按不同的融合系 数ρ 进行融合， ρ 大于 0小于1； 设Irgb代表RGB图像， Ioptical_flow代表光流图像， Imix代表融合后的图像， 则融合图像可表 示为： Imix＝(1‑ρ )×Irgb+ρ×Ioptical_fl ow。 4.根据权利要求3所述基于面部光流场与纹理特性融合的深伪视频检测方法， 其特征 在于， 所述人脸图像序列的RGB图像与对应的光流图像序列的光流 强度图按1:1的比例进 行 融合， 融合系数ρ 为0.5 。 5.根据权利要求1所述基于面部光流场与纹理特性融合的深伪视频检测方法， 其特征 在于， 所述的检测模型对融合图像经过网络计算后， 得到范围为[0,1] 的预测结果， 预测结 果越趋近于0代表输入图越真实， 预测结果越趋 近于1代表输入图像为 生成图像。 6.根据权利要求1所述基于面部光流场与纹理特性融合的深伪视频检测方法， 其特征 在于， 所述的计算输入 人脸序列的光流 强度图时， 首先利用两个子模块对t、 t+1时刻的两幅 输入图像视频帧分布进行光流特征图的卷积提取， 得到两个相关的多通道特征图， 在两个 多通道特 征图之间执 行特征块的比较， 计算两个特 征块的相关性时， 通过以下步骤实现： 给定最大位移d， 对于每个待匹配块x1， 限制搜索匹配块x2的范围， 仅在D＝2 ×d+1的邻 域中计算相关性c(x1,x2)， 使用步幅s1和步幅s2， 以全局量化待匹配 块x1， 并量化以待匹配 块 x1为中心的邻域内的搜索匹配块x2； 式中， f1,f2分别为两个多通道特 征图。 7.根据权利要求1所述基于面部光流场与纹理特性融合的深伪视频检测方法， 其特征 在于， 提取输入人脸序列的光 流强度图， 得到光 流图像序列的步骤之前， 还 包括步骤： 对输入序列进行人脸检测、 跟踪、 关键点检测、 识别操作， 将识别出的人脸按照识别的 ID分别进行存 储， 形成人脸序列。 8.根据权利要求1所述基于面部光流场与纹理特性融合的深伪视频检测方法， 其特征 在于， 输出真伪结果时， 将模型的预测结果在输入视频上进 行可视化展示， 将人脸检测框用 不同的颜色表示或在人脸检测框的一侧进行真伪标注。 9.根据权利要求1所述基于面部光流场与纹理特性融合的深伪视频检测方法， 其特征权　利　要　求　书 1/2 页 2 CN 115527276 A 2在于， 所述的检测模型 可以采用如下步骤训练形成： 将真实视频集与伪造视频集进行标签化， 真实视频的标签为0， 伪造视频的标签为1， 然 后对真实视频集与伪造 视频集进行解码 操作， 得到对应的图像序列； 对图像序列进行 人脸检测， 并检测到的人脸进行跟踪； 当检测到 图像序列中存在多个人脸时， 应用人脸识别方法， 将图像序列中的裁剪后的 人脸按ID信息分别存 储， 对裁剪好的人脸序列进行光 流计算； 得到光流图后， 利用不同的图像融合方法， 将光 流图像与裁 剪到的人脸图像进行融合； 对于得到的融合图像， 采用扩增方法进行 数据增广； 将增广后的数据送入分类网络中进行训练， 当分类网络的Loss降低到足够低时， 得到 最优的分类模型， 保存此时分类模型的结构与权重参数， 用于后续的检测过程， 至此训练过 程结束。 10.根据权利要求9所述基于面部光流场与纹理特性融合的深伪视频检测方法， 其特征 在于， 所述的进行 数据增广的方法包括随机 裁剪、 色调、 亮度、 对比度、 随机遮挡。权　利　要　求　书 2/2 页 3 CN 115527276 A 3