(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202111677811.1 (22)申请日 2021.12.31 (65)同一申请的已公布的文献号 申请公布号 CN 114333064 A (43)申请公布日 2022.04.12 (73)专利权人 江南大学 地址 214122 江苏省无锡市滨湖区蠡湖大 道1800号 (72)发明人 蒋敏　刘姝雯　孔军　 (74)专利代理 机构 苏州市中南伟业知识产权代 理事务所(普通 合伙) 32257 专利代理师 李柏柏 (51)Int.Cl. G06V 40/20(2022.01) G06V 20/40(2022.01) G06K 9/62(2022.01) G06F 16/73(2019.01) G06V 10/74(2022.01) G06V 10/764(2022.01)(56)对比文件 CN 113688878 A,2021.1 1.23 CN 112001345 A,2020.1 1.27 CN 113780345 A,2021.12.10 CN 113807176 A,2021.12.17 CN 110569886 A,2019.12.13 罗善威等.基于双重相似度孪生网络的小样 本实例分割. 《武汉科技大 学学报》 .2020,第59- 66页. Wei Zhu et al. .Temperature netw ork for few-shot learn ing with distributi on- aware large-margi n metric. 《Pat tern Recognition》 .2021,第1-10页. Jinfu Lin et al. .Gaussian Prototype Rectificati on For Few-shot Ima ge Recognition. 《2021 I nternati onal Joint Conference o n Neural Netw orks》 .2021,第1-8 页. 审查员 李振娟 (54)发明名称 基于多维原型重构增强学习的小样本行为 识别方法及系统 (57)摘要 本发明涉及一种基于多维原型重构增强学 习的小样 本行为识别方法， 包括在计算得到视频 描述子之后， 通过动态时序转换进行网络优化， 计算所述支持集视频描述子中的每一类视频的 类平均原型， 并利用重加权相似度注 意力分别计 算查询集样本和支持集样本与类平均原型的相 似度， 根据各自对应的相似度对支持集样本和查 询集样本重加权， 得到两个原型， 将两个原型进 行加权求和得到交叉增强原型， 并且构建双三元 组优化分类特征空间增强所述交叉增强原型对 不同类别的可鉴别能力， 利用优化后的所述交叉 增强原型对 所述查询集样本中的视频进行分类， 其大大提高了分类准确度。 权利要求书4页 说明书10页 附图3页 CN 114333064 B 2022.07.26 CN 114333064 B 1.一种基于多维原型重构增强学习的小样本行为识别方法， 其特 征在于， 包括： 基于获取的支持集样本和查询集样本计算得到支持集 时序特征和查询集 时序特征， 利 用支持集时序特征和查询集时序特征计算得到支持集视频描述子和查询集的视频描述子， 包括针对支持集样本和查询集样本分别构建网络输入， 对样本集中每个视频进行分段采 样， 得到支持集视频表示 和查询集视频表示 对输入的 和 分别提 取相应空间信息， 得到支持集帧级特征 和查询集帧级特征 使用时序卷积网络TCN基 于所述支持集帧级特征 和查询集帧级特征 获得支持集时序特征 和查询集时序特征 采用MLP对所述支持集时序特征 和查询集时序特征 进行压缩， 经过softmax后得 到 支 持 集 时 序 注 意 力 和 查 询 集 时 序 注 意 力 将支持集时序注意力与相应 的时序特征相乘， 获得支持集 视频描述子 将查询集时序注意力与相应的时序特征相乘， 获得查询集 视频描述子 其中 为加权求和操作； 基于所述支持集 时序特征求解原始时序注意力， 在所述支持集 时序特征上施加随机打 乱重排列操作， 得到支持集时序特征的补充 特征， 计算所述补充 特征的打乱时序 注意力， 对 所述打乱时序 注意力实施逆操作得到补充时序注 意力， 计算所述原始时序 注意力与补充时 序注意力的差值， 并将其作为动态时序变换损失用于优化注意力网络； 利用平均法计算所述支持集视频描述子 中的每一类视频的类平均原型， 并利用重加权 相似度注意力分别计算查询集样本和支持集样本与类平均 原型的相似度， 根据各自对应的 相似度对支持集样本和查询集样本重加权， 得到两个原型， 将两个原型进行加权求和得到 交叉增强原型， 包括： 支持集视频描述子定义记为Xs， 查询集视频描述子记为Xq， 则支持集第c类视频描述子 可以记为 定义三个线性映射 函数fq、 fk、 fv： 1)： 对 施加fq和fv函数， 得到 和 相 应地， 对Xq施加fq和fv函数， 得到Qq＝fq(Xq)＝XqWq， Vq＝fv(Xq)＝XqWv； 2)： 对第c类原型， 遵循原型网络， 对c类视频描述子求平均得到基本原型 对 施加fk函数得到 3) ：利 用 重 加 权 相 似 度 注 意 力 计 算 支 持 集 样 本 与 类 平 均 原 型 相 似 度 其中ft表示矩阵转置， 根据相似度对支持集c类样本 重加权得到原型 4) ： 通 过 伪标 签 策略 ， 利 用重 加权 相似 度 注 意 力计 算 Qq与Kc的 相似 度权　利　要　求　书 1/4 页 2 CN 114333064 B 2其中ft表示矩阵转置， 挑选前k个最大相似度 其中topk()用来求输入张量中某个维度的前k大的值以及对应 的索引， 根据每个伪样本与Kc相似度加权求和得到查询集上的重加权原型 5)： 对两个原型根据其对最终原型的贡献度进行加权求和得到交叉增强原型 分别以交叉增强原型为中心和以查询集的样本为中心构建双三元组， 通过正负样本的 相对距离计算可适应边距， 基于上述双三元组和可适应边距设计双三元组可适应损失， 增 强所述交叉增强原型对不同类别的可鉴别能力， 包括： 以查询集中的样本qi为中心， 判断所述交叉增强原型是否与该样本属于同一类， 若判断 结果为是， 则所述交叉增强原型为正原型pp， 反之为负 原型pn， 构建包含查询集样本、 正原型 和负原型元素的查询三元组(qi， pn， pp)； 以交叉增强原型pi为中心， 判断所述查询集中的样 本是否与该交叉增强原型属于同一类， 若判断结果为是， 则所述样本为正查询样本qp， 反之 为负查询样本qn， 构建包含交叉增强原型、 正查询样本和负查询样本元素的原型三元组(pi， qn， qp)， 基于两种三元组构建双三元组损失联合优化原型， 正负样本在特征空间上相隔m距 离， m为三元 组损失中边距值， 设计可适应边距madp， 正负样本的相对距离越 大， 边距值越小， 可适应边距madp的计算公式为 其中 为负样本平均 距离， Nn为负样本个数， 为正样本平均距离， Np为正样本个数， ||  ||2表示 欧式距离； 利用优化后的所述交叉增强原型对所述 查询集样本中的视频进行分类。 2.根据权利要求1所述的基于多维原型重构增强学习的小样本行为识别方法， 其特征 在于， 利用优化后的所述交叉增强原型对所述 查询集样本中的视频进行分类， 包括： 计算得到所述支持集视频中的每类视频的交叉增强原型， 并求解查询集样本与交叉增 强原型的欧式距离， 根据最近邻算法， 确定最近的交叉增强原型类别为该查询集样本类别。 3.根据权利要求2所述的基于多维原型重构增强学习的小样本行为识别方法， 其特征 在于， 还包括： 在所述查询集视频描述子中的视频分类完成后， 计算交叉熵损失、 动态时序变换损失、 原型可适应三元组损失和查询可适应三元组损失， 将交叉熵损失、 动态时序变换损失、 原型 三元组损失和查询三元组损失相加计算总损失。 4.一种基于多维原型重构增强学习的小样本行为识别系统， 其特 征在于， 包括：权　利　要　求　书 2/4 页 3 CN 114333064 B 3