(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210619200.X (22)申请日 2022.06.01 (71)申请人 西安商汤智能科技有限公司 地址 710075 陕西省西安市西咸 新区沣西 新城西部云谷二期1号楼15层15 01室 (72)发明人 王凯　孙其功　杨慧　马堃　 (74)专利代理 机构 北京派特恩知识产权代理有 限公司 1 1270 专利代理师 贾伟　浦彩华 (51)Int.Cl. G06T 3/40(2006.01) G06V 10/44(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 热图像重建方法、 网络的训练方法、 装置、 设 备及介质 (57)摘要 本申请实施例公开了一种热图像重建方法、 网络的训练方法、 装置、 设备及介质， 其中， 所述 方法包括： 获取第一分辨率的第一样本热图像和 所述第一样本热图像对应的第二分辨率的第二 样本热图像； 分别对所述第一样 本热图像和所述 第二样本热图像进行调整， 得到第三样本热图像 和第四样本热图像； 在待训练热图像重建网络 中， 基于所述第一样本热图像、 所述第三样本热 图像和所述第四样本热图像， 确定用于对比不同 样本热图像的第一损失； 基于所述第二样本热图 像和预测热图像， 确定第二损失； 基于所述第一 损失和所述第二损失， 对所述待训练热图像重建 网络进行训练， 使得已训练热图像重建网络输出 的损失满足预设收敛条件。 权利要求书3页 说明书21页 附图5页 CN 114936969 A 2022.08.23 CN 114936969 A 1.一种热图像重建网络的训练方法， 其特 征在于， 所述方法包括： 获取第一分辨率的第一样本热图像和所述第一样本热图像对应的第二分辨率的第二 样本热图像； 其中， 所述第二分辨 率高于所述第一分辨 率； 分别对所述第 一样本热图像和所述第 二样本热图像进行调整， 得到第 三样本热图像和 第四样本热图像； 在待训练热图像重建网络中， 基于所述第一样本热图像、 所述第三样本热图像和所述 第四样本热图像， 确定用于对比不同样本热图像的第一损失； 基于所述第 二样本热图像和预测热图像， 确定第 二损失； 其中， 所述预测热图像为所述 待训练热图像重建网络预测的所述第一样本热图像在所述第二分辨 率下的热图像； 基于所述第一损 失和所述第二损 失， 对所述待训练热图像重建网络进行训练， 使得已 训练热图像重建网络 输出的损失满足预设收敛 条件。 2.根据权利要求1所述的方法， 其特征在于， 所述分别对所述第 一样本热图像和所述第 二样本热图像进行调整， 得到第三样本热图像和第四样本热图像， 包括： 对所述第一样本热图像进行至少一次旋转或平 移， 得到至少一帧第三样本热图像； 对所述第二样本热图像进行至少一次旋转或平 移， 得到至少一帧第四样本热图像。 3.根据权利要求1或2所述的方法， 其特征在于， 所述在待训练热图像重建网络 中， 基于 所述第一样本热图像、 所述第三样本热图像和所述第四样本热图像， 确定用于对比不同样 本热图像的第一损失， 包括： 采用所述待训练热图像重建网络中的第一编码器对所述第一样本热图像和所述第三 样本热图像进行 特征提取， 得到第一图像特 征和第三图像特 征； 采用与所述第一编码器不共享权重的第二编码器对所述第四样本热图像进行特征提 取， 得到第四图像特 征； 基于所述第一图像特 征、 所述第三图像特 征和所述第四图像特 征， 确定所述第一损失。 4.根据权利要求3所述的方法， 其特征在于， 所述基于所述第一图像特征、 所述第三图 像特征和所述第四图像特 征， 确定所述第一损失， 包括： 确定所述第一图像特和所述第三图像特 征之间的第一相似度； 确定所述第一图像特 征与所述第四图像特 征之间的第二相似度； 对所述第一相似度和所述第二相似度进行对比， 得到所述第一损失。 5.根据权利要求3所述的方法， 其特征在于， 所述采用所述待训练热图像重建网络 中的 第一编码器对所述第一样本热图像和所述第三样本热图像进 行特征提取， 得到第一图像特 征和第三图像特 征之前， 所述方法还 包括： 分别对所述第 一样本热图像和所述第 三样本热图像的维度进行调整， 得到已调第 一样 本热图像和已调第三样本热图像； 所述采用所述待训练热图像重建网络中的第一编码器对所述第一样本热图像和所述 第三样本热图像进行 特征提取， 得到第一图像特 征和第三图像特 征， 包括： 采用所述第一编码器分别对所述已调第一样本热图像和所述已调第三样本热图像进 行特征提取， 得到所述第一图像特 征和所述第三图像特 征。 6.根据权利要求5所述的方法， 其特征在于， 所述采用所述第 一编码器分别对所述已调 第一样本热图像和已调第三样本热图像进 行特征提取， 得到所述第一图像特征和所述第三权　利　要　求　书 1/3 页 2 CN 114936969 A 2图像特征， 包括： 采用所述第一编码器中的卷积模块对所述已调第一样本热图像和已调第三样本热图 像进行特征提取， 得到第一 候选特征和第二 候选特征； 采用所述第一编码器中的下采样模块对所述第一候选特征和所述第二候选特征进行 下采样， 得到所述第一图像特 征和所述第三图像特 征。 7.根据权利要求3至6任一项所述的方法， 其特征在于， 所述采用所述待训练热图像重 建网络中的第一编 码器对所述第一样本热图像和所述第三样本热图像进 行特征提取， 得到 第一图像特 征和第三图像特 征之后， 所述方法还 包括： 在所述第一编码器对应的解码器中， 对所述第 一样本热图像的第 一图像特征进行超分 辨率重建， 得到已重建图像； 将所述已重建热图像和所述第 一样本热图像对应的已调第 一样本热图像进行融合， 得 到所述预测热图像。 8.根据权利要求7任所述的方法， 其特征在于， 所述在所述第一编码器对应的解码器 中， 对所述第一样本热图像的第一图像特 征进行超分辨 率重建， 得到已重建热图像， 包括： 采用所述 解码器中的上采样模块对所述第一图像特 征进行上采样， 得到上采样特 征； 采用所述 解码器中的重建模块对所述上采样特 征进行重建， 得到所述已重建热图像。 9.根据权利要求1至8任一项所述的方法， 其特征在于， 所述基于所述第二样本热图像 和预测热图像， 确定第二损失， 包括： 基于所述第二样本热图像和所述预测热图像， 确定表征图像之间差异的基础损失； 基于所述第 二样本热图像的第 二图像特征和所述预测热图像的预测特征， 确定表征特 征之间相似度的特 征损失； 将所述基础损失和所述特 征损失， 确定为所述第二损失。 10.根据权利要求1至9任一项所述的方法， 其特征在于， 所述基于所述第 一损失和所述 第二损失， 对所述待训练热图像重建网络进行训练， 使得已训练热图像重建网络输出 的损 失满足预设收敛 条件， 包括： 采用所述第 一损失， 对所述待训练热图像重建网络 中的第一编码器和第 二编码器的结 构参数进行调整， 得到中间热图像重建网络； 采用所述第 二损失对所述中间热图像重建网络的网络参数进行调整， 得到所述已训练 热图像重建网络 。 11.根据权利要求1至10任一项所述的方法， 其特征在于， 所述获取第一分辨率的第一 样本热图像和所述第一样本热图像对应的第二分辨 率的第二样本热图像， 包括： 采用第一分辨 率传感器对预设对象进行 热图像采集， 得到所述第一样本热图像； 采用第二分辨 率传感器对所述预设对象进行 热图像采集， 得到所述第二样本热图像。 12.一种热图像重建方法， 其特 征在于， 所述方法包括： 获取待超分辨 率重建的第一热图像； 在已训练热图像重建网络中， 对所述第一热图像的维度进行调整， 得到已调第一热图 像； 其中， 所述已训练热图像重 建网络为经过上述权利要求 1至10任一项 所述的方法训练得 到的； 对所述已调第一热图像进行 特征提取， 得到待重建图像特 征；权　利　要　求　书 2/3 页 3 CN 114936969 A 3