(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111676330.9 (22)申请日 2021.12.31 (71)申请人 之江实验室 地址 310012 浙江省杭州市文一西路1818 号 申请人 厦门大学 (72)发明人 严严　姜润青　王菡子　王彪　 张吉　 (74)专利代理 机构 厦门原创专利事务所(普通 合伙) 35101 代理人 吴廷正 (51)Int.Cl. G06K 9/62(2022.01) (54)发明名称 基于歧义指导互标签更新的鲁棒知识蒸馏 方法 (57)摘要 本发明公开了基于歧义指导互标签更新的 鲁棒知识蒸馏方法， 包括： A、 构建训练数据集； B、 构建教师网络和学生网络； C、 通过鲁棒学习方法 对教师网络进行训练； D、 对数据集中的每个样本 进行歧义感知权重估计和权重分配； E、 根据小损 失标准对数据集中的样本进行标签重新标注， 结 合教师网络特征的标签传播算法更新标签， 再计 算损失和更新网络参数； F、 在学生网络和教师网 络之间进行互标签传播算法， 并更新样本标签、 计算损失和更新网络参数； G、 将测试图像数据导 入学生网络， 由其得到预测结果且用于图像分 类； 本方案可以有效地提升知识蒸馏对噪声 标签 的鲁棒性， 从而可以在噪声 标签的环 境下获取一 个高性能的轻量级网络， 其更能适用于实际情 况。 权利要求书4页 说明书8页 附图2页 CN 114330580 A 2022.04.12 CN 114330580 A 1.一种基于歧义指导互标签更新的鲁棒知识蒸馏方法， 其特 征在于， 其包括： A、 构建训练数据集， 并按预设条件 对其进行 预处理； B、 构建教师网络和学生网络； C、 通过鲁棒学习方法将训练数据集导入教师网络 中进行训练， 获得预设性能的教师模 型； D、 将训练数据集导入学生网络 中， 然后对训练数据集中的每个样本进行歧义感知权重 估计和权 重分配； E、 学生网络按预设条件根据小损失标准对训练数据集中的样本进行标签重新标注， 再 结合教师网络特 征的标签传播 算法更新标签， 然后计算损失， 更新网络参数； F、 在学生网络和教师网络之间进行互标签传播算法， 并更新样本标签,然后 计算损失， 更新网络参数； G、 将测试图像数据导入学生网络， 由学生网络的学生模型前向传播得到预测结果且将 其用于图像分类。 2.如权利要求1所述的基于歧义指导互标签更新的鲁棒知识蒸馏方法， 其特征在于， 步 骤A中， 所述训练数据集包括具有噪声标签数据的噪声 数据集和/或无噪声标签数据的无噪 声数据集； 其中， 无噪声标签数据 的无噪声数据集经注入噪声处理后， 生成合成噪声数据 集。 3.如权利要求2所述的基于歧义指导互标签更新的鲁棒知识蒸馏方法， 其特征在于， 所 述无噪声 数据集被等分为两份， 其中一份经注入噪声处理后， 用于学生网络训练， 另一份不 作处理， 用于教师网络训练， 该噪声被设为C ‑N噪声， 所述教师模型使用标准交叉熵损失训 练。 4.如权利要求2所述的基于歧义指导互标签更新的鲁棒知识蒸馏方法， 其特征在于， 所 述注入噪声处 理的方法为在无噪声数据集中加入 对称和/或非对称噪声。 5.如权利要求4所述的基于歧义指导互标签更新的鲁棒知识蒸馏方法， 其特征在于， 所 述噪声数据集包括ANIMAL ‑10N数据集、 Clothing1M数据集中的一种以上， 所述无噪声数据 集包括CIFAR ‑100数据集。 6.如权利要求1所述的基于歧义指导互标签更新的鲁棒知识蒸馏方法， 其特征在于， 步 骤B中， 所述教师网络、 学生网络为如下之一： (1)所述教师网络为层数为40， 宽度系数为2的宽残差 网络， 所述学生网络为层数为16， 宽度系数为2的宽残差网络； (2)所述教师网络为层数为40， 宽度系数为2的宽残差 网络， 所述学生网络为层数为40， 宽度系数为1的宽残差网络； (3)所述教师网络为层数为5 6的残差网络， 所述学生网络为层数为20的残差网络 。 7.如权利要求1所述的基于歧义指导互标签更新的鲁棒知识蒸馏方法， 其特征在于， 步 骤D中， 通过歧义感知权重估计模块对训练数据集中的每个样本进行歧义感知权重估计和 权重分配， 该歧义 感知权重估计模块包括两个全连接层， 且两个全连接层之间还设有PRelu 层， 步骤D具体包括： 将训练数据集中的所有样本导入学生网络， 得到它们的特征， 然后计算每个类别的原 型特征， 其公式如下：权　利　要　求　书 1/4 页 2 CN 114330580 A 2其中， 为训练数据的数量， Nc表示类别为c的样本数量； 按如下公式计算每 个样本的特 征分布得分： 将在第t轮的标签和特 征分布得分拼接起 来得到歧义特 征向量， 其公式如下： 其中， 作为歧义特征向量送入一个双层感知机网络得到最终的样本权重， 其公式 如下： 其中， 为两个全连接层， σ 表示PreLU操作； 将权重写为矩阵形式， 其公式如下： 8.如权利要求7所述的基于歧义指导互标签更新的鲁棒知识蒸馏方法， 其特征在于， 步 骤E具体包括： 使用教师网络 的特征构建k ‑nn图G＝<V,E>,其中V和E分别表示顶点集合和边集合， 顶 点之间的相似度矩阵被描述如下： 其中， 代表样本xi在教师网络下的特征， NNk(xi)表示样本xi的k近邻， 然后， 可 得到一个对称邻接矩阵 继而进行归一 化Wt得到 其中， D为对角度矩阵； 同时， 根据小损失标准， 训练数据集原始的标 注将被根据学生网络小损失标准重新标注， 其公式如下： 其中， 表示学生网络对样本xi的预测， 为样本的原始标签， 为指示函 数， 表示被学生网络选择的干净 样本集合； 联合k‑nn图G， 将更新后的标签矩阵Z和样本 权重矩阵 进行标签传播， 其公式如下：权　利　要　求　书 2/4 页 3 CN 114330580 A 3