(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210626443.6 (22)申请日 2022.06.02 (71)申请人 南京理工大 学 地址 210018 江苏省南京市玄武区孝陵卫 街道孝陵卫 街200号 (72)发明人 许春燕　张书敏　崔振　 (74)专利代理 机构 北京德崇智捷知识产权代理 有限公司 1 1467 专利代理师 金星 (51)Int.Cl. G06V 10/44(2022.01) G06V 10/774(2022.01) G06V 10/26(2022.01) (54)发明名称 一种基于多任务学习的弱监督图像语义理 解方法 (57)摘要 本发明公开了一种基于多任务学习的弱监 督图像语义理解方法， 包括以下步骤： 获取任务 缺失图像， 构建多层级任务共享编码器， 逐层提 取高级语义信息， 输入相应的解码器分支； 构建 公共空间 ‑任务空间特征映射模块， 通过不对齐 任务融合模块与任务交互映射模块， 映射更新各 子任务特征； 构建任务自适应特征更新模块， 多 层级迭代更新不对齐任务特征； 构建任务自适应 的弱监督图像语义理解框架， 建立模型损失函 数， 将任务缺失的图像数据输入模型， 获得语义 分割、 深度估计、 表面法线估计等多任务预测结 果。 本发明根据任务标签不对齐的数据信息， 通 过公共空间与任务空间的映射交互， 充分融合了 不对齐任务特征， 迭代生 成高质量的多任务预测 结果， 能够有效处理任务缺失的弱监督问题， 同 时提高了各任务预测准确率。 权利要求书3页 说明书9页 附图2页 CN 115222953 A 2022.10.21 CN 115222953 A 1.一种基于多任务学习的弱监 督图像语义理解方法， 其特 征在于， 包括以下步骤： 步骤一， 获取任务缺失图像， 构建多层级任务共享编码器， 特征输入相应解码器分支， 包括下述子步骤： (1.1)将彩色图像输入 共享的多任务特 征编码器， 包 含多层级的特 征提取与池化操作； (1.2)编码器的I个层级分别生成不同尺度的编码器特 征 (1.3)将各层级特征直接连接与跨层连接相结合， 输入到各不对齐子任务的解码器分 支中， 各分支特征表示为 其中， i表 示该任务分支中的层级 数， M是该数据集所有图像包含的子任务总数， 任意一张图像包含其 中随机m个。 步骤二， 构建公共空间 ‑任务空间特征映射模块， 映射更新各子任务特征， 包括下述子 步骤： (2.1)构建不对齐任务融合模块， 融合多个子任务特征空间。 子任务空间到公共空间的 映射函数为 两特征交互函数为f， 多任务特 征依次应用f函数， 则总体融合 函数σ 为： 其中， 当m为2时， σ 仅需两任务交 互； 当m为1时， σ 直接取 值。 (2.2)将融合特 征映射至共享公共空间， 形成公共特 征融合空间O(i)， 表示为： 其中， 函数通过不对齐任务融合与空间映射得到， 表示 为： 其中， g是包 含一般的激活函数的非线性映射 函数。 (2.3)构建任务交互映射模块， 将公共空间O(i)映射到各子任务空间。 使用网络模型学 习的策略， 对m个不对齐任务分支， 定义公共空间到特定子任务空间的映射函数为θt， 则映 射后特征为： 其中， θt为网络模型学习的非线性映射函数， λt为网络超参数， 是特定任务t的特征映射 吸收系数。 步骤三， 构建任务自适应特征更新模块， 多层级迭代更新不对齐任务特征， 包括下述子 步骤： (3.1)将公共空间映射到子任务空间特征 在每一层级与任务内特征进一步合并， 经卷积变换后， 更新子任务特 征为 表示为：权　利　要　求　书 1/3 页 2 CN 115222953 A 2其中， δ为 网络模型训练的卷积函数， 为求和方 式融合， 生成第i层级解码器的特征输 出。 (3.2)将m个解码器分支第i层的输出特征继续输入解码器第i+1层， 建立任务自适应特 征更新模块。 迭代过程表示 为： 步骤四， 构建任务自适应的图像语义理解框架， 建立模型损失函数， 训练后获得语义分 割、 深度估计、 表面法线估计等多任务预测结果， 包括以下子步骤： (4.1)构建任务自适应的图像语义理解框架， 其中多层级的任务特征共享网络作为底 层编码器部， 特征映射模块与特征更新模块作为中间解码器部分， 最后送入多任务独立的 预测分类 器， 生成最终预测结果 为： 其中， γt表示解码器第t个任务分支最后一层的预测函数， 采用卷积函数的形式。 (4.2)根据总体框架为参与训练的每个子任务建立特定任务的损失函数， 形成总体损 失函数； (4.3)将任务缺失的图像数据输入模型训练， 训练分为初始和微调两个阶段， 采用SGD 优化器进行梯度优化。 训练至模型收敛后， 将彩色图像输入训练好的弱监督多任务学习模 型， 获得语义分割 、 深度估计、 表面法线估计等多个任务的预测结果。 2.根据权利要求1所述的多任务弱监督图像语义理解方法， 其特征在于， 步骤(1.3)具 体为， 对于各层级生成的不同尺度特征， 最深层的最小尺度特征S(I)作为一般特征表示， 直 接连接到其后 各子任务分支； 同时逐层提取的高级语义信息S(i),i＝1,2,...I将对应地与 多层级解码器中尺度相同的层级作跨层连接， 弥补图像在编码器池化过程中的细节损失。 3.根据权利要求1所述的多任务弱监督图像语义理解方法， 其特征在于， 步骤(2.1)具 体为， 不对齐任务特征 通过映射变换到相同的空间表示， 采用特征依次 交互的方式 融合公共特 征， 特征交互函数f为包 含非线性映射 函数的融合卷积网络 。 先从不对齐任务中选取两任务交互， 生成初步交互特征后， 再将其余不对齐任务特征 依次与交互特征应用f函数， 得到融合后特征 其中， σ 是交互函数f的迭 代， 并继承原特 征尺度大小。 4.根据权利要求1所述的多任务弱监督图像语义理解方法， 其特征在于， 步骤(3.2)具 体为， 在解码器层级i＝1,2,...I中， 任务自适应特征更新模块在每一层级结合公共空间 ‑ 任务空间特征映射， 生 成公共特征融合空间O(i)并映射至原任务空间， 融合生成新任务特征 迭代更新下一层级。 该模块对任意值不对齐任务m成立， 对每张图片的随机丢失的多任务标签有自适应性， 从而形成任务自适应的特征迭代更新。 伴 随着特征尺度逐级恢复， 公共空间与不对齐任务权　利　要　求　书 2/3 页 3 CN 115222953 A 3