(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210904172.6 (22)申请日 2022.07.29 (71)申请人 浙江大学 地址 310058 浙江省杭州市西湖区余杭塘 路866号 (72)发明人 闫禹铭　于慧敏　李殊昭　 (74)专利代理 机构 杭州求是专利事务所有限公 司 33200 专利代理师 邱启旺 (51)Int.Cl. G06V 20/52(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/26(2022.01) G06V 10/44(2022.01)G06V 10/764(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01) (54)发明名称 一种基于注意力机制进行衣着信息分离的 行人重识别方法 (57)摘要 本发明提供了一种基于注意力机制进行衣 着信息分离的行人重识别方法， 包括训练和测试 阶段。 在训练阶段， 该方法包括： 利用语义 分割模 型遮盖掉非衣着区域得到行人的衣着图片， 并输 入衣着信息提取分支中提取衣着信息， 网络使用 标注的衣着标签监督训练； 行人图片输入衣着信 息和身份信息分离分支提取特征， 然后利用注意 力机制分离为身份信息和衣着信息； 利用衣着信 息提取分支来辅助身份信息和衣着信息的分离。 该方法包括： 将需要识别的行人图片输入衣着信 息和身份信息分离分支提取身份信息来进行特 征度量， 判断行人身份。 本发明通过身份信息与 衣着信息的分离， 利用身份信息来进行检索， 可 以在一定程度上消除行人换装对检索 的消极影 响。 权利要求书2页 说明书6页 附图2页 CN 115359417 A 2022.11.18 CN 115359417 A 1.一种基于注意力机制进行衣着信息分离的行人重识别方法， 其特征在于， 包括以下 步骤： (1)从一段监控视频获得所需的一帧行人图片， 利用语义分割模型将行人图片的上衣 区域和下衣区域进行分割， 得到行 人的衣着区域掩膜； (2)使用步骤(1)中得到的衣着区域掩膜遮盖掉行人图片的非衣着区域， 得到行人的衣 着区域图片， 再将衣着区域图片输入 到衣着信息提 取分支模型E中提取衣着特征fCA， 使用人 工预先标注的衣着类别标签监督模型E训练， 得到训练好的衣着信息提取模型 所述模型E 包含衣着信息提取主干网络和衣着特 征分离注意力机制； (3)利用步骤(2)训练好的衣着信息提取模型 提取得到衣着特征 来辅助衣着信息 和身份信息分离分支的特征提取， 具体为， 行人图片输入至模型M中， 通过衣着信息和身份 信息提取主干网络提取得到特征维度为CxHxW的特征， 又通过注意力机制分离得到身份信 息特征fID和衣着信息特征fC， 再利用标注的身份和衣着标签经交叉熵分类损失和三元 组损 失监督模型M训练， 且 保证分离出的衣着信息特征fC与衣着信息提取模型 提取得到的衣着 特征 一致， 得到训练好的最佳参数模型； 所述模型M包含衣着信息和 身份信息提取主干 网络和衣着信息和身份信息分离注意力机制； (4)将需要识别身份的行人图片输入到最佳参数模型中提取其身份信息特征， 利用其 身份信息特 征进行相似度计算， 推断和识别行 人身份。 2.根据权利要求1所述的一种基于注意力机制进行衣着信息分离的行人重识别方法， 其特征在于， 所述的步骤(1)中， 利用语义分割模型分割出上衣和下衣区域作为掩膜， 使用 的语义分割模型 可以是当前任意公开模型。 3.根据权利要求1所述的一种基于注意力机制进行衣着信息分离的行人重识别方法， 其特征在于， 所述的步骤(2)中衣着信息提取主干网络为当前任意的主干网络结构中的一 种。 4.根据权利要求1所述的一种基于注意力机制进行衣着信息分离的行人重识别方法， 其特征在于， 所述的步骤(3)中衣着信息和身份信息的分离 分支具体为， 行人图片 输入衣着 信息和身份信息提取主干网络中提取特征， 然后经过注意力机制对衣着信息特征fC和身份 信息特征fID进行分离， 其数 学表达式为： fC＝Atten(fS)*fS fID＝(1‑Atten(fS))*fS 其中， fS为行人图片输入主干网络提取 的特征， Atten(fS)为注意力机制应用到fS得到 的注意力图。 5.根据权利要求1所述的一种基于注意力机制进行衣着信息分离的行人重识别方法， 其特征在于， 所述 的步骤(3)中， 经注意力机制分离得到的衣着信息特征fC通过与步骤(2) 中衣着信息提取模型 提取得到的衣着特征 保持一致， 使用均方误差损失MSE度量函数 度量分离出的特 征的差异， 其数 学表达式为： 其中， ||·||表示两个向量或者矩阵的距离函数， 即MSE损失函数。权　利　要　求　书 1/2 页 2 CN 115359417 A 26.根据权利要求1所述的一种基于注意力机制进行衣着信息分离的行人重识别方法， 其特征在于， 所述的步骤(3)中再利用标注的身份和衣着标签经交叉熵分类损失和三元组 损失监督模型M训练具体为， 利用标注的身份和衣着标签计算交叉熵分类损失和三元组损 失， 同时保证分离出的衣着信息特征和模型E提取的衣着特征的一致性损失， 利用交叉熵分 类损失LID， 三元组损失LREIDTL和一致性损失来 监督模型M训练， 其数 学表达式为： 其中， ||·||表示两个向量或者矩阵的距离函数； yi表示一个样本的真实标签， 表示 预测标签； N表示样本数； 表示一个锚样本, 表示锚样本 经网络提取的身份特征； 表示与锚样本属 于同一个身份的正样本， 表示 经网络提取的身份特征； 表示 与锚样本属于不同身份的负样本， 表示 经网络提取的身份特征； α 表示希望正负样 本对距离推 远的边际值。 7.根据权利要求1所述的一种基于注意力机制进行衣着信息分离的行人重识别方法， 其特征在于， 所述的步骤(4)中， 将需要识别身份的行人图片 输入到衣着信息和身份信息 分 离分支中提取精炼的身份特征用于行人身份推 断； 所述具体推 断过程为： 计算需要识别身 份的行人图片提取 的身份特征与提前保存的行人数据集中的行人图片的身份特征的相似 度， 选择相似度最高的那个行人数据中的图片对应的身份作为该需要识别身份图片的身 份。权　利　要　求　书 2/2 页 3 CN 115359417 A 3