(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210917559.5 (22)申请日 2022.08.01 (71)申请人 厦门路桥信息股份有限公司 地址 361022 福建省厦门市软件园三期诚 毅大街370号1801单元、 1802单元、 1803单元、 1804单 元 (72)发明人 汪燕青　叶宏　黄清晰　黄昊　 林小敏　卢志勇　 (74)专利代理 机构 广东金泰智汇 专利商标代理 事务所(普通 合伙) 44721 专利代理师 郭正江 (51)Int.Cl. G06V 20/52(2022.01) G06V 10/46(2022.01) G06V 10/44(2022.01)G06N 3/08(2006.01) G06N 3/04(2006.01) (54)发明名称 一种基于深度学习的遮挡行 人重识别方法 (57)摘要 本发明公开了一种基于深度学习的遮挡行 人重识别方法， 包括以下步骤： 步骤一， 模型训 练； 步骤二， 模型推理； 本发明通过使用知识蒸馏 技术， 在测试时通过姿态引导网络分支提取的行 人关键点局部特征， 指导行人重识别骨架分支训 练， 从而舍弃了对姿态引导网络的依赖； 通过基 于记忆库的模块， 在训练时通过逐步迭代更新关 键点局部 特征， 解决了姿态引导数据集和行人重 识别数据集之间存在的领域间隙问题； 通过数据 增强方案， 使生成的遮挡行人图像 即能保证遮挡 类型多样性， 又不会让遮挡太复杂而让网络难以 收敛； 通过遮挡掩膜学习模块， 引 导网络学习判 别图像的遮挡， 并学习提取更具判别力的特征， 增强前景信息和对 遮挡的鲁棒 性。 权利要求书2页 说明书7页 附图2页 CN 115311619 A 2022.11.08 CN 115311619 A 1.一种基于深度学习的遮挡行人重识别方法， 包括以下步骤： 步骤一， 模型训练； 步骤 二， 模型推理； 其特 征在于： 其中在上述 步骤一中， 模型训练具体包括以下步骤： 1)初始化卷积神经网络； 2)行人重识别分支前向传播获得 行人图像的全局特 征； 3)姿态引导分支前向传播并获得 行人关键点热力图； 4)数据增强模块 生成遮挡行 人图像； 5)遮挡掩膜学习分支根据输入 遮挡行人图像和生成的图像得到遮挡掩膜； 6)通过关键点热力图和图像特 征图得到行 人姿态局部特 征； 7)基于全局特 征和遮挡掩膜得到行 人遮挡局部特 征； 8)基于姿态局部特 征和全局特 征来计算的姿态分支损失； 9)基于遮挡局部特 征和全局特 征来计算的遮挡掩膜分支损失； 10)使用随机梯度下降算法更新 参数； 11)重复步骤2)～10)直到收敛； 其中在上述 步骤二中， 模型推理具体包括以下步骤： 1)初始化卷积神经网络； 2)神经网络前向传播获得图像的特 征图； 3)行人重识别分支前向传播并获得遮挡行 人图像特 征。 2.根据权利要求1所述的一种基于深度 学习的遮挡行人重识别方法， 其特征在于： 所述 步骤一3)中， 使用在COCO数据集上预训练的现成的人体关键点检测网络HRNet作为人体关 键点提取器。 3.根据权利要求1所述的一种基于深度 学习的遮挡行人重识别方法， 其特征在于： 所述 步骤一4)中， 生 成方案为： 训练过程中随机位置选择行人图像的一个面积从小到大的区域， 让网络自适应地判别行人图像中的那一块区域是否是背景信息， 将识别为背 景的图像块存 储在全局列表中并作为遮挡块 替换行人图像被选中的那个图像块区域。 4.根据权利要求1所述的一种基于深度 学习的遮挡行人重识别方法， 其特征在于： 所述 步骤一5)中， 基于自注意机制和孪生网络的遮挡掩膜模块 来生成遮挡掩膜。 5.根据权利要求1所述的一种基于深度 学习的遮挡行人重识别方法， 其特征在于： 所述 步骤一8)中， 姿态分支损失函数分别为： 局部特征约束损失函数： LCL＝∑i， jdist(fifinal， fjfinal)* δ(i， j)； 知识蒸馏损失函数： 行人重识别常用的损失函数： 权　利　要　求　书 1/2 页 2 CN 115311619 A 2最终损失为： 6.根据权利要求1所述的一种基于深度 学习的遮挡行人重识别方法， 其特征在于： 所述 步骤一9)中， 遮挡掩膜分支损失函数分别为： 差异损失函数： 行人重识别常用的损失函数： LReID＝LID(FC(f))+τ*LTriHard(f)； 最终损失为： L＝ λdiff*Ldiff+LReID+L′ReID。权　利　要　求　书 2/2 页 3 CN 115311619 A 3