(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210891572.8 (22)申请日 2022.07.27 (71)申请人 西安航天发动机有限公司 地址 710100 陕西省西安市雁塔区航天基 地神舟二路69号 (72)发明人 冯亚岗　李慧斌　闫建忠　马可　 高艳红　王力　 (74)专利代理 机构 西安智邦专利商标代理有限 公司 6121 1 专利代理师 王少文 (51)Int.Cl. G06V 40/16(2022.01) G06V 20/64(2022.01) G06V 10/44(2022.01) G06V 10/82(2022.01) (54)发明名称 基于三维人脸识别的货柜人员验证方法 (57)摘要 本发明涉及一种人脸识别的方法， 具体涉及 一种基于三维人脸识别的货柜人员验证方法； 本 发明提供了一种基于三维人脸识别的货柜人员 验证方法， 包括如下步骤： 步骤1： 打开相机， 进行 视频帧目标人脸RGB图像Pi采集； 步骤2： 对采集 到的目标人脸RGB图像Pi进行目标人脸位置检 测； 步骤3： 对检测到的目标人脸位置进行关键点 检测， 得到目标人脸关键点； 步骤4： 对人脸图像 进行特征提取与人脸识别确定人员身份； 该方法 解决了现有技术中存在的因动态场景下存在大 角度变换、 面部有遮挡、 光照不均匀、 运动模糊导 致面部识别失败的问题。 权利要求书1页 说明书3页 附图1页 CN 115273192 A 2022.11.01 CN 115273192 A 1.一种基于三维人脸识别的货柜人员验证方法， 其特 征在于， 包括以下步骤： 步骤1： 打开相机， 进行视频帧目标人脸RGB图像采集， 将采集到的视频帧目标人脸RGB 图像输入至潜在目标人脸检测深度神经网络模型Np， 得到潜在目标人脸位置Bq以及对应的 置信度Sq； 所述目标人脸检测深度神经网络模型Np中包含所有的潜在目标人脸位置B1，…， Br以及对应的置信度S1，…， Sr； r为潜在目标 人脸图像数量， r为大于1的整数， 1＜q≤r； 步骤2： 对目标 人脸RGB图像进行增强预处 理 步骤2.1， 将采集到的视频 帧目标人脸RGB图像与潜在目标人脸位置Bq输入至人脸增强 预处理深度神经网络模型Nd， 得到目标人脸图像位置Bj以及对应的置信度Sj； 所述人脸增 强预处理深度神经网络模型Nd中包含所有候选人人脸图像位置B1，…， Bn和对应的置信度 S1，…， Sn； n为候选人人脸图像数量， n 为大于1的整数， 1＜j≤n， 且n ＝r； 步骤2.2， 比较置信度Sj和置信度 阈值Td， 若Sj大于等于Td， 则将目标人脸位置Bj作为 最终的目标 人脸位置， 否则， 舍弃Bj； 步骤3： 将最终的目标人脸位置输入至目标人脸轮廓点检测深度神经网络模型Nk， 得到 目标人脸关键点二 维坐标集合Ki， 并根据目标人脸关键点二 维坐标集合Ki得到对应的目标 人脸图像块 Ii， 其中， 1＜i≤p， p为目标 人脸图像块的数量， 且1＜p≤n； 步骤4： 对人脸图像进行 特征提取与人脸识别确定人员身份 步骤4.1， 将目标人脸图像块Ii输入至人脸特征提取与人脸识别深度神经网络Nf， 得到 目标人脸图像块 Ii的特征向量Fi； 步骤4.2， 重复步骤4.1操作得到所有目标 人脸的特 征向量F1，…， Fp； 步骤4.3， 计算目标人脸图像块Ii的特征向量Fi与所有目标人脸的特征向量F1，…， Fp之 间的余弦距离D1，…， Dp， 并取最大值Dmax， 则与最大值Dmax对应的特征向量作为所有目标 人脸识别的结果， 从而确定 了目标人脸的身份。 2.根据权利要求1所述的基于三维人脸识别的货柜人员验证方法， 其特 征在于： 步骤3中， 所述目标 人脸关键点包括人脸左眼、 右眼、 鼻尖、 左嘴角、 右嘴角。 3.根据权利要求1或2所述的基于三维人脸识别的货柜人员验证方法， 其特 征在于： 步骤1中， 所述目标 人脸检测深度神经网络模型Np为repvg gnet模型； 步骤2.1中， 所述人脸增强预处 理深度神经网络模型Nd为FasterRcn n模型； 步骤3中， 所述目标 人脸轮廓点检测深度神经网络模型N k为RepVGG模型； 步骤4.1中， 所述人脸特 征提取与人脸识别深度神经网络Nf为resnext5 0模型。权　利　要　求　书 1/1 页 2 CN 115273192 A 2基于三维人脸识别的 货柜人员验证方 法 技术领域 [0001]本发明涉及 一种人脸识别的方法， 具体涉及一种基于三维人脸识别的货柜 人员验 证方法。 背景技术 [0002]在现有的货柜人员验证方法中， 大多通过指纹、 射频识别、 电子卡等方式实现， 对 于货柜使用人员的准确核验以及伪造身份攻击的防范是两项重点需求。 指纹识别存在手指 磨损、 工伤、 戴手套、 无法直接接触等常见难点应用场景； 其次， 射频识别、 电子卡等验证方 式容易被伪造、 仿造， 存在安全隐患； 目前基于指纹、 射频识别、 电子卡的人员验证方法普遍 存在上述问题。 [0003]虽然目前人脸识别也被大量运用到了生活中的方方面面， 常规人脸识别被检测人 员必须保持静止， 识别的面部不能有遮挡物， 站 立在光照均匀的特定区域内正对摄像头， 但 是由于受到外界光线的干扰、 面部戴有口罩等遮挡物、 以及检测人员 在动态场景下不能正 对摄像头， 往往会导致识别失败。 发明内容 [0004]本发明目的是解决现有技术中存在的因动态场景下存在大角度变换、 面部有遮 挡、 光照不均匀、 运动模糊导致面部识别失败的问题， 提供一种基于三 维人脸识别的货柜人 员验证方法。 [0005]为了实现上述目的， 本发明所提供的技 术解决方案是： [0006]一种基于三维人脸识别的货柜人员验证方法， 其特殊之处在于， 包括以下步骤： [0007]步骤1： 打开相机， 进行视频帧目标人脸RGB图像采集， 将采集到的视频帧目标人脸 RGB图像输入至潜在目标人脸检测深度神经网络模型Np， 得到潜在目标人脸位置Bq以及对 应的置信度Sq； 所述目标人脸检测深度神经网络模型Np中包含所有的潜在目标人脸位置 B1，…， Br以及对应的置信度S1，…， Sr； r为潜在目标人脸图像数量， r为大于1的整数， 1＜q≤ r； [0008]步骤2： 对目标 人脸RGB图像进行增强预处 理 [0009]步骤2.1， 将采集到的视频帧目标人脸RGB图像与潜在目标人脸位置Bq输入至人脸 增强预处理深度神经网络模型Nd， 得到目标人脸图像位置Bj以及对应的置信度Sj； 所述人 脸增强预处理深度神经网络模型Nd中包含所有候选人人脸图像位置B1，…， Bn和对应的置 信度S1，…， Sn； n为候选人人脸图像数量， n 为大于1的整数， 1＜j≤n， 且n ＝r； [0010]步骤2.2， 比较置信度Sj和置信度阈值T d， 若Sj大于等于T d， 则将目标人脸位置Bj 作为最终的目标 人脸位置， 否则， 舍弃Bj； [0011]步骤3： 将最终的目标人脸位置输入至目标人脸轮廓点检测深度神经网络模型Nk， 得到目标人脸关键点二 维坐标集合Ki， 并根据目标人脸关键点二 维坐标集合Ki得到对应的 目标人脸图像块 Ii， 其中， 1＜i≤p， p为目标 人脸图像块的数量， 且1＜p≤n；说　明　书 1/3 页 3 CN 115273192 A 3