(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202111674399.8 (22)申请日 2021.12.31 (65)同一申请的已公布的文献号 申请公布号 CN 114333062 A (43)申请公布日 2022.04.12 (73)专利权人 江南大学 地址 214122 江苏省无锡市滨湖区蠡湖大 道1800号 (72)发明人 孔军　周花　蒋敏　 (74)专利代理 机构 苏州市中南伟业知识产权代 理事务所(普通 合伙) 32257 专利代理师 夏苏娟 (51)Int.Cl. G06V 40/20(2022.01) G06V 40/10(2022.01) G06K 9/62(2022.01)G06V 10/762(2022.01) G06V 10/764(2022.01) G06V 10/774(2022.01) (56)对比文件 CN 112200111 A,2021.01.08 CN 111860678 A,2020.10.3 0 CN 112115781 A,2020.12.2 2 CN 112069920 A,2020.12.1 1 CN 111476168 A,2020.07.31 CN 113326731 A,2021.08.31 CN 111709331 A,2020.09.25 罗善益.基 于注意力模型的行 人重识别算法 研究. 《中国知网》 .2020, 蒋敏等.基 于多尺度注意力机制的多分支行 人重识别算法. 《中国知网》 .2020, 审查员 夏永强 (54)发明名称 基于异构双网络和特征一致性的行人重识 别模型训练方法 (57)摘要 本发明公开了一种基于异构双网络和特征 一致性的域自适应行人重识别模 型训练方法、 设 备、 装置及计算机存储介质和行人重识别方法， 本发明设计了一个异构双网络框架， 它包含两个 非对称分支， 其中一个使用感受野有限的卷积来 获取局部信息， 另一个使用Transformer模块来 捕获长程依赖， 利用异构双网络的互学习来提高 网络间的异质性和互补性， 从而提高对噪声伪标 签的鲁棒性； 为了减少网络在优化过程中受噪声 伪标签的干扰， 提出了特征一致性损失， 其不需 要依赖任何标签信息， 更关注样 本在特征空间的 一致性； 为了增强网络的语义信息， 本发明设计 了一个自适应通道互感知模块， 对 行人的显著性 区域进行特征提取， 从而提高了行人重识别的精 度与效率。 权利要求书3页 说明书12页 附图3页 CN 114333062 B 2022.07.15 CN 114333062 B 1.一种行 人重识别模型训练方法， 其特 征在于， 包括： 预先构建行人重识别异构双网络， 所述行人重识别异构双网络包括第一分支网络、 第 二分支网络和双分支自适应通道互感知模块， 所述第二分支网络包括Transformer模块； 所 述双分支自适应通道互感知模块用于同时对所述第一分支网络提取的局部特征和所述第 二分支网络中Transformer模块 提取的全局特 征进行增强并将其 拼接； 将无标签目标域图像输入利用有标签的源域数据集预训练后的所述行人重识别异构 双网络中； 获取所述第一分支网络的第一时间平均模型和所述第二分支网络的第二时间平均模 型； 将所述第一时间平均模型提取的特征与所述第二时间平均模型提取的特征的平均值 进行聚类， 生成硬伪标签； 利用所述第 一时间平均模型与所述第 二时间平均模型预测所述无标签目标域图像， 生 成软伪标签； 构建特征一致性损失函数， 以便利用所述第 一时间平均模型提取的特征监督所述第 二 分支网络提取的特征， 利用所述第二时间平均模型提取的特征监督所述第一分支网络提取 的特征； 利用所述硬伪标签分别训练所述第一分支网络和所述第二分支网络直至分类损失函 数和三元组损失函数收敛； 利用所述软伪标签分别作为对方网络真值标签进行相互监督训练直至软分类损失函 数、 软三元组损失函数和所述特 征一致性损失函数收敛； 计算所述三元组损失函数、 所述分类损失函数、 所述软三元组损失函数、 所述软分类损 失函数及所述特征一致性损失函数的总损失作为训练目标， 更新优化所述行人重识别异构 双网络。 2.根据权利要求1所述的行人重识别模型训练方法， 其特征在于， 所述Transformer模 块采用ResT的第三阶段的网络结构。 3.根据权利要求1所述的行人重识别模型训练方法， 其特征在于， 所述将无标签目标域 图像输入利用有标签的源域数据集预训练后的所述行 人重识别异构双网络前包括： 将所述有标签的源域数据集同时输入所述第 一分支网络和第 二分支网络， 所述有标签 的源域数据集包括源域图像和真值标签； 将所述第一分支网络提取的局部图像特征和所述第二分支网络提取的全局增强特征 分别输入所述双分支自适应通道互感知模块； 所述局部图像特征经过全局最大池化得到最大特征， 所述全局增强特征经过全局 平均 池化得到平均特 征； 将所述平均特 征和所述 最大特征经过全连接操作得到对应概 率分布； 利用三元组损失函数和分类损失函数作为训练目标对所述预先构建的行人重识别异 构双网络进行优化得到预训练完成的所述行 人重识别异构双网络 。 4.根据权利要求1所述的行人重识别模型训练方法， 其特征在于， 所述获取所述第 一分 支网络的第一时间平均模型和所述第二分支网络的第二时间平均模型包括： 计算第一分支网络参数的移动平均值得到第一时间平均模型参数；权　利　要　求　书 1/3 页 2 CN 114333062 B 2计算第二分支网络参数的移动平均值得到第二时间平均模型参数。 5.根据权利要求1所述的行人重识别模型训练方法， 其特征在于， 所述将所述第 一时间 平均模型提取的特征与所述第二时间平均模型提取的特征的平均值进 行聚类， 生成硬伪标 签包括： 将所述第一时间平均模型提取的特征与所述第二时间平均模型提取的特征的平均值 作为聚类特 征； 利用DBSCAN聚类算法将每个所述无标签目标域图像聚成不同的类别， 并为其分配硬伪 标签。 6.根据权利要求1所述的行人重识别模型训练方法， 其特征在于， 所述构建特征一致性 损失函数， 以便利用所述第一时间平均模型提取的特征监督所述第二分支网络提取的特 征， 利用所述第二时间平均模型提取的特 征监督所述第一分支网络提取的特 征包括： 所述特征一致性损失函数为： 其中 表示时间平均模型提取的特征， 表示原网络提取的特征， 为 原分支网络参数， 为时间平均模型参数。 7.一种行 人重识别方法， 其特 征在于， 包括： 利用权利要求1 ‑6任一项所述的行人重识别模型训练方法训练行人重识别异构双网 络； 将待检图像输入训练完成的所述行 人重识别异构双网络中； 利用所述第一分支网络提取局部特 征， 得到局部特 征图； 利用所述第二分支网络的所述Transformer模块 提取全局特 征， 得到全局特 征图； 利用所述双分支自适应通道互感知模块对所述局部特征图和所述全局特征图进行显 著性特征增强后拼接并进行通道打乱操作， 得到目标 行人特征图。 8.一种行 人重识别模型训练的装置， 其特 征在于， 包括： 构建网络模块， 用于预先构建行人重识别异构双网络， 所述行人重识别异构双网络包 括第一分支网络、 第二分支网络和双分支自适应通道互感知模块， 所述第二分支网络包括 Transformer模块； 所述双分支自适应通道互感知模块用于同时捕获所述第一分支网络提 取的局部特 征和所述第二分支网络中Transformer模块 提取的全局特 征并将其 拼接； 输入模块， 用于将无标签目标域图像输入利用有标签的源域数据集预训练后的所述行 人重识别异构双网络中； 时间平均模型获取模块， 用于获取所述第 一分支网络的第 一时间平均模型和所述第 二 分支网络的第二时间平均模型； 硬伪标签获取模块， 用于将所述第 一时间平均模型提取的特征与所述第 二时间平均模 型提取的特 征的平均值进行聚类， 生成硬伪标签；权　利　要　求　书 2/3 页 3 CN 114333062 B 3