(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211250443.7 (22)申请日 2022.10.13 (71)申请人 南京航空航天大 学 地址 211106 江苏省南京市江宁区将军大 道29号 (72)发明人 李绍园　王蕾　 (74)专利代理 机构 青岛锦佳专利代理事务所 (普通合伙) 37283 专利代理师 朱玉建 (51)Int.Cl. G06V 10/82(2022.01) G06V 10/774(2022.01) G06V 10/764(2022.01) (54)发明名称 基于带有噪声和不平衡的类标签的鲁棒学 习方法 (57)摘要 本发明公开了一种基于带有噪声和不平衡 的类标签的鲁棒学习方法， 其包括如下步骤： 获 取带有噪声且分布不平衡的数据集； 初始化各项 参数； 搭建模型与损失函数； 将数据集输入模型 中进行初始训练； 每次迭代训练前， 教师模型将 原始数据集划分为伪干净数据集和伪 噪声数据 集； 将伪干净数据集输入模型中进行无监督对比 学习以及 蒸馏训练； 将伪噪声数据集输入模型中 进行组内对比学习以及蒸馏训练； 训练完成后， 使用教师模 型分类器对图像进行类别预测任务。 本发明方法针对 数据集中不平衡分布的问题， 进 一步采用重加权的方式， 使 得在训练后期模型侧 重于学习样 本量较少的类别， 提升了深度学习模 型的准确率。 权利要求书4页 说明书7页 附图4页 CN 115331088 A 2022.11.11 CN 115331088 A 1.基于带有噪声和不平衡的类标签的鲁棒学习方法， 其特 征在于， 包括以下步骤： 步骤1. 获取带有噪声标签且不平衡分布的数据集 D={xi, }；D代表由图像 xi以及对应 的含有一定概 率的噪声标签 组成的数据集， i∈{1,N}，N表示D中样本总数； 步骤2. 初始化各项参数， 包括： 训练次数 t=0、 预训练参数 Tth、 噪声筛选参数η、 伪标签阈值 δ以及温度参数 τ； 步骤3. 搭建深度学习模型与损失函数， 包 括： 学生模型 S1、S2、S3、 教师模型 S0、 交叉熵损 失函数Lce、 无监督对比损失 Lucl、 组内对比损失 Lgcl以及蒸馏损失 Ldis1和Ldis2； 步骤4. 将数据集 D中的图像 xi和对应的噪声标签 分别输入到学生模型 S1、S2、S3以及 教师模型 S0中进行Warm  up训练， 训练 Tth轮； 步骤5. 在检测阶段， 使用教师模型 S0对数据集 D中的噪声标签进行检测， 根据噪声筛选 参数η将数据集 D划分为伪噪声数据集 Dpn和伪干净 数据集Dpc； 当j∈{1,ηN}时，Dpn={xj,  }， 当j∈{ηN+1, N}时，Dpc={xj,  }； 其中， {xj,  }表示重新 排序后的图像和对应的标签； 步骤6. 在训练阶段， 将伪干 净数据集 Dpc的图像xj输入模型 Sv中进行无监督对比学习训 练同时得到预测结果 qvj， 然后对所有模型的预测结果 qvj进行蒸馏学习； 其中，qvj表示模型 Sv对于图像 xj的预测结果； 对于伪干净数据 集Dpc， 优化交叉熵损失函 数Lce、 无监督对比损失 Lucl、 蒸馏损失 Ldis1和Ldis2以更新模型 Sv，v=0,1,2,3； 步骤7. 将伪噪声数据集 Dpn的图像xj输入教师模型 S0中进行类别预测， 并将预测类作为 Dpn中每个样本的伪标签， 得到伪标签集 D* pn={xj,  }； 其中， 表示每个输入图像 xj的伪标签； 在训练阶段， 将伪标签集 D* pn的图像xj和伪标签 输入模型 Sv中进行组内对比训练同时 得到预测结果 tvj， 然后对所有模型的预测结果 tvj进行蒸馏学习， v=0,1,2,3； 对于伪标签集 D* pn， 优化组内对比损失 Lgcl和蒸馏损失 Ldis1和Ldis2以更新模型 Sv； 步骤8. 判断当前迭代次数 t是否达到最大迭代次数 T； 若当前迭代次数 t未达到最大迭 代次数T， 则返回步骤5继续训练， t=t+1； 否则， 转到步骤9； 步骤9. 模型训练完成后， 得到能够在数据集上区分干净标签和噪声标签的教师模型 S0； 使用教师模型 S0执行分类预测任务。 2.根据权利要求1所述的基于带有噪声和不平衡的类标签的鲁棒学习方法， 其特征在 于， 所述教师模型 S0由特征提取器 G、 分类器C0以及编码器 Qc组成； 所述学生模型 Sk由特征提取器 G、 分类器Ck以及编码器 Qc、Q1和Q2组成，k=1,2,3。 3.根据权利要求2所述的基于带有噪声和不平衡的类标签的鲁棒学习方法， 其特征在 于， 所述步骤5具体为： 步骤5.1. 初始化噪声筛 选参数η=0.2； 步骤5.2. 将数据集 D中的图像 xi输入特征提取器 G中得到高维特 征fi=G(xi)； 步骤5.3. 将特征fi输入分类 器C0中， 得到类别预测结果 pi= C0 (fi)；权　利　要　求　书 1/4 页 2 CN 115331088 A 2利用交叉熵函数 Lce计算类别预测结果 pi和与图像 xi对应的噪声标签 之间的交叉熵损 失， 得到损失 lce={li}，i∈{1,N}； li表示pi和与图像 xi对应的噪声标签 之间的交叉熵损失， 其具体形式为： li=l(xi,  )= ； 其中， 表示第k类样本的噪声标签， K表示数据集 D中的类别数量， k∈{1,K}； 步骤5.4.  将数据集 D中的数据根据损失 lce进行降序排列， 根据噪声筛选参数 η计算伪 噪声数据集的数量 为ηN， 从而将重排序的数据集划分为两 个数据集 Dpn和Dpc； 当j∈{1,ηN}时，Dpn={xj,  }， 当j∈{ηN+1, N}时，Dpc={xj,  }； 其中，Dpn表示由损失值较大的样本组成的伪噪声数据集， Dpc表示由损失值较小的样本 组成伪干净 数据集， { xj,  }表示重新 排序后的图像和对应的噪声标签。 4.根据权利要求3所述的基于带有噪声和不平衡的类标签的鲁棒学习方法， 其特征在 于， 所述步骤6具体为： 步骤6.1.  将伪干净数据集 Dpc中的图像 xpc的强增强版本 A(xpc)和弱增强版本 a(xpc)分 别输入模型Sv的特征提取器 G中得到高维特 征fApc=G(A(xpc))和fapc=G(a(xpc))； 其中，xpc表示伪干净 数据集Dpc中的图像； 强增强版本 A(xpc)是图像xpc通过不同程度变化以及扰动得到的严重失真的新图像， 弱 增强版本 a(xpc)是图像xpc通过垂直翻转和平 移后得到的新图像； 步骤6.2. 将特征fapc输入分类 器Cv中， 得到类别预测结果 pvpc=Cv (fapc)； 利用交叉熵函数 Lce分别计算类别预测结果 pvpc和与图像 xpc对应的噪声标签 之间的 交叉熵损失之和， 以优化模型 Sv； 其中，pvpc表示图像 xpc在模型Sv上通过分类 器Cv得到的预测结果； 步骤6.3. 将特征fapc和fApc分别输入编码器 Qc中， 得到低维的特 征表示qpc和kpc； 其中，qpc=Qc(fapc)，qpc表示编码器 Qc对弱增强版本的高维特征 fapc进行降维后的结果； kpc=Qc(fApc) ，kpc表示编码器 Qc对强增强版本的高维特 征fApc进行降维后的结果； 步骤6.4.  根据步骤6.3中的 qpc和kpc计算图像 xpc的正负样本对在低维特征空间中的距 离， 利用无监 督对比损失 Lucl优化模型， 具体的形式为： ； 其中，k0pc表示qpc的正样本对， 表示qpc的负样本对，q1∈{1,Q}； Q表示查询的负 样本对的数量； 步骤6.5. 将特征fapc输入编码器 Q1和Q2中， 投影到 两个子空间中， 得到编码 Lkpc和Ekpc； 其中，Lkpc= Q1(fapc)，Lkpc表示图像 xpc通过模型 Si后在子空间中基于自身的编码， Ekpc=  Q2(fapc) ，Ekpc表示图像 xpc通过模型 Sk在子空间基于多个模型 Sk的编码，k=1,2,3； 三个学生模型 Sk共用编码器 Q1和Q2；权　利　要　求　书 2/4 页 3 CN 115331088 A 3