(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211155651.9 (22)申请日 2022.09.22 (71)申请人 之江实验室 地址 311121 浙江省杭州市余杭区之江实 验室南湖总部 (72)发明人 王宏升　陈光　 (74)专利代理 机构 北京志霖恒远知识产权代理 有限公司 1 1435 专利代理师 戴莉 (51)Int.Cl. G06V 20/40(2022.01) G06V 20/52(2022.01) G06V 10/82(2022.01) G06V 10/44(2022.01) G06V 40/10(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种用于增强行人局部特征的联合建模方 法和装置 (57)摘要 本发明公开了一种用于增强行人局部特征 的联合建模 方法和装置， 包括以下步骤： S1： 获取 原始监控视频图像数据集， 将原始监控视频图像 数据集按比例划分训练集与测试集； S2： 将监控 视频图像训练集进行切割得到图像块向量序列； 本发明采用多头注意力神经网络提取视频图像 行人局部 特征， 使用通道卷积核学习图像通道权 重参数， 利用空间卷积在图像上扫描空间特征， 增强行人局部特征提高行人识别率， 采用前馈神 经网络与激活函数， 输入前馈神经网络经过线性 层变换， 并采用激活函数将行人概率分布映射成 分类， 识别出行人， 输出行人在图像中位置坐标 并框选出行人， 实现行人重识别， 使得能够获取 可用的人脸图像 。 权利要求书3页 说明书8页 附图6页 CN 115240121 A 2022.10.25 CN 115240121 A 1.一种用于增强行 人局部特 征的联合建模方法， 其特 征在于： 包括以下步骤： S1： 获取原始监控视频图像数据集， 将原始监控视频图像数据集按比例划分训练集与 测试集； S2： 将监控视频图像训练集进行切割得到图像块向量序列； S3： 构建多头注意力神经网络， 将图像块向量序列输入多头注意力神经网络， 提取行人 局部特征； S4： 构建增强通道特征神经网络， 将图像输入增强通道特征神经网络， 采用三通道图像 卷积， 捕捉行 人图像通道之间差异特 征； S5： 构建增 强空间特征神经网络， 将图像输入增 强空间特征神经网络， 采用空间卷积， 扫描得到行 人图像空间差异特 征； S6： 将多头注意力神经网络的行人局部特征、 增强通道特征神经网络的行人图像通道 之间差异特征、 增强空间特征神经网络的行人图像空间差异特征， 交互拼接， 进行联合建 模， 增强行 人局部特 征； S7： 将增强行 人局部特 征输入前馈神经网络， 在图像中识别出 行人； S8： 对联合建模得到的神经网络迭代训练， 得到行 人重识别联合模型并识别出 行人。 2.如权利要求1所述的一种用于增强行人局部特征的联合建模方法， 其特征在于： 所述 步骤S1中原始监控视频图像数据集包括图像标注样本、 图像标注样本坐标文件、 未标注样 本。 3.如权利要求1所述的一种用于增强行人局部特征的联合建模方法， 其特征在于： 所述 步骤S2包括如下子步骤： S21： 将监控视频图像按照图像的通道数进行分割， 得到图像块； S22： 将图像块的高度与宽度转换成多头注意力神经网络固定的输入大小； S23： 将图像块平铺构成序列， 得到图像块向量序列。 4.如权利要求1所述的一种用于增强行人局部特征的联合建模方法， 其特征在于： 所述 图像块向量序列的长度等于图像大小乘以图像高度乘以图像宽度， 所述图像块向量序列包 含图像块 位置坐标， 将序列转 转换成矩阵， 所述矩阵作为多头注意力神经网络的输入。 5.如权利要求1所述的一种用于增强行人局部特征的联合建模方法， 其特征在于： 所述 步骤S3包括如下子步骤： S31： 计算单个注意力： 对于步骤S3中图像块向量序列存在的查询矩阵、 键矩阵、 值矩 阵， 通过查询矩阵与键矩阵进行矩阵相乘得出注意力 分数矩阵， 将注意力 分数矩阵作用于 值矩阵， 将两者矩阵相乘后经 过激活函数 得出单个注意力； S32： 构建多头注意力： 针对图像块向量序列， 分别计算每一个图像块向量序列的单个 注意力， 将每 个图像块向量序列计算得 出的单个注意力进行交 互计算得到多头注意力； S33： 利用多头注意力提取行人局部特征： 将图像块向量序列输入已构建的多头注意力 神经网络， 采用局部多头 自注意力机制， 计算每个图像的像素与相邻图像的像素局部自注 意力， 通过并行矩阵乘法计算， 提取 行人局部特 征。 6.如权利要求1所述的一种用于增强行人局部特征的联合建模方法， 其特征在于： 所述 步骤S4包括如下子步骤： S41： 针对输入图像的三个通道， 构建三通道增 强图像卷积神经网络， 三通道增 强图像权　利　要　求　书 1/3 页 2 CN 115240121 A 2卷积神经网络包括 三个卷积核， 三个卷积核分别对应图像的三个通道； S42： 三个卷积核分别学习相对应图像通道的权 重参数， 输出三组不同的权 重参数； S43： 三个卷积核之间独立计算， 学习三个同通道之间的差异参数权重， 得到三个通道 特征空间图， 将三个通道特 征空间图交 互计算得 出行人图像通道特 征。 7.如权利要求1所述的一种用于增强行人局部特征的联合建模方法， 其特征在于： 所述 步骤S5包括如下子步骤： S51： 定义 一个二维卷积， 将二维卷积在空间上分为两个子卷积核； S52： 使用两个子卷积核分别扫描图像空间特征， 得到两个空间特征， 将两个空间特征 进行矩阵相乘得到行 人图像空间差异特 征。 8.如权利要求1所述的一种用于增强行人局部特征的联合建模方法， 其特征在于： 所述 步骤S6包括如下子步骤： S61： 增强通道特征神经网络至多头注意力神经网络的交互拼接： 首先卷积网络的输出 经过全局平均池化层， 使用第一层三通道卷积进行图像通道间的权重参数学习， 经过第一 层激活函数之后再使用第二层三通道卷积变换维度， 最后经过激活函数将特征值转化为概 率分布， 并将概 率分布输入多头自注意力分支中计算； S62： 多头注意力神经网络至增强通道特征神经网络的交互拼接： 多头注意力计算的输 出经过第一层三通道卷积， 学习三通道之间不同的权重参数， 并将图像道数转换为一， 经过 第一层激活函数之后再经过第二层三通道卷积， 减少学习到的权重参数， 经过第二层激活 函数， 变为空间维度上的概 率分布， 作为增强通道特 征卷积网络分支中的输出； S63： 增强空间特征神经网络至增强通道特征神经网络的交互拼接： 增强空间特征神经 网络的二 维卷积的两个子卷积输出行人多维卷积空间特征矩阵， 将行人多维空间特征矩阵 转换成二维空间特征矩阵， 通过矩阵乘法再经过激活函数， 作为增强通道特征神经网络的 输出； S64： 将多头注意力的输出、 增 强通道特征卷积的输出、 空间卷积的输出输入多层感知 机， 行人局部特 征通过线性层映射到并行分支进行 特征融合计算， 得到增强行 人局部特 征。 9.如权利要求1所述的一种用于增强行人局部特征的联合建模方法， 其特征在于： 所述 步骤S7包括如下子步骤： S71： 采用前馈神经网络与激活函数方式， 针对已得出的增强行人局部特征输入前馈神 经网络中， 经 过线性层变换， 并采用激活函数将行 人概率分布映射成分类， 识别出 行人； S72： 根据已识别的行人和原始监控视频图像数据集中的图像标注样本坐标， 计算两者 坐标的交并比、 计算精确率与召回率， 其中精确率是针对已识别出的行人， 表 示预测为正的 样本中真正的行人 的比例； 召回率是针对原始监控视频图像数据集中的图像标注样本， 表 示样本中的正例中被正确识别行 人比例。 10.如权利要求1所述的一种用于增强行人局部特征的联合建模方法， 其特征在于： 所 述步骤S8包括如下子步骤： S81： 对联合建模得到的神经网络采用残差连接方式， 加速模型收敛， 迭代训练， 调整训 练参数， 得到行 人重识别联合模型； S82： 根据步骤S81训练得到的行人重识别联合模型， 输入原始监控视频图像测试集进 行预测， 并在图像中框 选出行人， 实现行 人重识别。权　利　要　求　书 2/3 页 3 CN 115240121 A 3