(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210625461.2 (22)申请日 2022.06.02 (71)申请人 电子科技大 学长三角研究院 （衢州） 地址 324000 浙江省衢州市柯 城区芹江东 路288号1幢18楼 (72)发明人 解天舒　杨宇航　刘明　王晓敏　 龚海刚　程旋　刘明辉　邓佳丽　 (74)专利代理 机构 北京超凡宏宇专利代理事务 所(特殊普通 合伙) 11463 专利代理师 张欣欣 (51)Int.Cl. G06V 10/44(2022.01) G06V 10/764(2022.01) G06V 10/774(2022.01) G06V 10/776(2022.01)G06V 10/82(2022.01) G06N 3/04(2006.01) (54)发明名称 图像分类模型训练方法、 图像分类方法、 电 子设备和存 储介质 (57)摘要 本发明的实施例提供了一种图像分类模型 训练方法、 图像分类方法、 电子设备及存储介质， 涉及计算机视觉领域。 获取已标注类型标签的多 张图像样本。 针对每一张图像样本， 将图像样本 输入至图像分类模型， 在图像分类模 型中的任意 一层卷积层中， 从图像样本中提取出多张具有不 同通道的特征图像。 其中， 不同通道表征图像样 本不同的图像特征。 利用预测得到的图像样本的 类型标签和特征图像的类型标签， 以及该图像样 本已标注的类型标签， 计算得到图像 分类模型的 损失值， 基于该损失值调整图像分类模型的参 数。 重复执行上述步骤， 以使可 以达到预期训练 目标。 如此， 由于没有增加输入图像分类模型的 图像样本的数量， 使 得每次模型训练耗费的时间 更少。 权利要求书3页 说明书14页 附图6页 CN 114972790 A 2022.08.30 CN 114972790 A 1.一种图像分类模型训练方法， 其特 征在于， 应用于电子设备， 所述方法包括： 获取已标注类型 标签的多张图像样本； 针对每一张所述图像样本， 将所述图像样本输入至 图像分类模型， 在所述图像分类模 型中的任意一层卷积层中， 从所述图像样本中提取出多张特征图像， 并预测得到所述图像 样本的类型以及所述多张特征图像的类型标签； 其中， 不同特征图像表征缺少不同通道的 图像样本， 不同通道 表征图像样本不同的图像特 征； 利用预测得到的所述图像样本的类型标签和所述特征图像的类型标签， 以及该图像样 本已标注的类型 标签， 计算得到所述图像分类模型的损失值； 判断所述损失值是否 达到预期训练目标； 若否， 则基于所述损失值， 调整所述图像分类模型的参数， 并返回执行针对每一张所述 图像样本， 将所述图像样本输入至图像分类模型 的步骤， 直至最新得到的损失值达到预期 训练目标； 若是， 则结束训练， 得到训练后的图像分类模型。 2.根据权利要求1所述的方法， 其特征在于， 所述在所述图像分类模型中的任意一层卷 积层中， 从所述图像样本中提取 出多张特 征图像的步骤， 包括： 基于所述图像样本包含的多个通道， 得到多个通道 组； 其中， 每个通道 组包含的通道各 不相同， 且每 个通道组所缺少的通道， 组成所述图像样本包 含的多个通道； 分别丢弃所述图像样本包含的多个通道组中的一个通道 组， 以得到包含不同通道组 的 多张特征图像。 3.根据权利要求2所述的方法， 其特征在于， 所述分别丢弃所述图像样本包含的多个通 道组中的一个通道组， 以得到包 含不同通道组的多张特 征图像的步骤， 包括： 从多个通道组中获取目标通道组包 含的通道， 并确定为目标通道； 生成二进制掩码； 其中， 所述二进制掩码中含有每个所述通道对应的矩阵， 每个所述矩 阵中元素的值待定； 在二进制掩码中， 将目标通道对应的矩阵设置为零矩阵， 将不具有目标通道对应的矩 阵中的每 个元素的值设置为1， 得到目标二进制掩码； 将所述目标二进制掩码与所述图像样本相乘， 以得到特 征图像； 重复上述 步骤， 直至得到所述图像样本的所有特 征图像。 4.根据权利要求1所述的方法， 其特征在于， 所述从所述图像样本 中提取出多张特征图 像的步骤之后， 所述方法还 包括： 基于所述图像样本已标注的类型标签， 标注从所述图像样本 中提取出的每张特征图像 的类型标签； 根据特征图像缺少的通道， 标注所述图像样本的通道标签和每张所述特征图像和通道 标签； 所述预测得到所述图像样本的类型以及所述多张特 征图像的类型 标签的步骤， 包括： 基于联合分类器， 预测得到所述图像样本的类型标签和通道标签， 以及所述特征图像 的类型标签和通道标签； 基于联合分类 器， 预测得到所述图像样本的类型 标签， 以及所述特 征图像的类型 标签； 基于单一分类 器， 预测得到所述图像样本的类型 标签；权　利　要　求　书 1/3 页 2 CN 114972790 A 2所述利用预测得到的所述图像样本的类型标签和所述特征图像的类型标签， 以及该图 像样本已标注的类型 标签， 计算得到所述图像分类模型的损失值的步骤， 包括： 利用预测的图像样本的类型标签， 所述图像样本的通道标签， 特征图像的类型标签， 特 征图像的通道标签， 图像样 本已标注的类型标签， 图像样 本已标注的通道标签， 特征图像已 标注的类型标签， 以及特征图像已标注的通道标签， 计算得到所述图像分类模型 的联合损 失值； 利用联合分类器预测的图像样本的类型标签以及特征图像的类型标签， 单一分类器预 测的图像样本的类型标签， 图像样本已标注的类型标签， 以及特征图像已标注的类型标签， 计算得到所述图像分类模型的综合损失值； 利用预测的图像样本的类型标签， 以及所述图像样本已标注的类型标签， 计算得到所 述图像分类模型的单一损失值； 根据所述联合损失值、 所述单一损失值和所述综合损失值， 得到所述损失值。 5.根据权利要求4所述的方法， 其特征在于， 所述基于联合分类器， 预测得到所述图像 样本的类型 标签和通道标签， 以及所述特 征图像的类型 标签和通道标签的步骤， 包括： 基于所述联合分类器， 确定所述图像样本分别为各种联合标签的联合概率， 以及每张 特征图像分别为各种联合标签的联合概率； 其中， 所述联合标签由类型标签和通道标签共 同组成， 类型 标签和通道标签中任一项不同为 不同联合标签； 所述利用预测的图像样本的类型标签， 所述图像样本的通道标签， 特征图像的类型标 签， 特征图像的通道标签， 图像样本已标注的类型标签， 图像样本已标注的通道标签， 特征 图像已标注的类型标签， 以及特征图像已标注的通道标签， 计算得到所述图像分类模型 的 联合损失值的步骤， 包括： 基于图像样本的多个联合概率， 图像样本已标注的类型标签和通道标签， 特征图像的 多个联合， 以及特征图像已标注的类型标签和 通道标签， 计算得到所述图像分类模型 的联 合损失值。 6.根据权利要求4所述的方法， 其特征在于， 所述基于单一分类器， 预测得到所述图像 样本的类型 标签的步骤， 包括： 基于所述单一分类 器， 确定所述图像样本分别为各种类型 标签的自蒸馏概 率； 所述基于联合分类器， 预测得到所述图像样本的类型标签， 以及所述特征图像的类型 标签的步骤， 包括： 基于所述联合分类器， 确定所述图像样本分别为各种类型标签的单一概率， 和特征图 像分别为各种类型标签的单一概率； 基于所述图像样本的多个单一概率， 以及所述特征图 像的多个单一 概率， 确定所述图像样本分别为各种类型 标签的聚合 概率； 所述利用联合分类器预测的图像样本的类型标签以及特征图像的类型标签， 单一分类 器预测的图像样本的类型标签， 图像样本已标注的类型标签， 以及特征图像已标注的类型 标签， 计算得到所述图像分类模型的综合损失值的步骤， 包括： 根据每张所述图像样本的多个聚合概率， 和每张所述图像样本的多个自蒸馏概率， 以 及所述图像样本已标注的类型 标签， 计算得到所述综合损失值。 7.根据权利要求4所述的方法， 其特征在于， 所述基于单一分类器， 预测得到所述图像 样本的类型 标签的步骤， 包括：权　利　要　求　书 2/3 页 3 CN 114972790 A 3