(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210638232.4 (22)申请日 2022.06.07 (66)本国优先权数据 202210557379.0 202 2.05.20 CN (71)申请人 北京百度网讯科技有限公司 地址 100085 北京市海淀区上地十街10号 百度大厦2层 (72)发明人 黄际洲　刘希岩　夏德国　王海峰　 (74)专利代理 机构 北京易光知识产权代理有限 公司 11596 专利代理师 王姗姗　武晨燕 (51)Int.Cl. G06V 10/44(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01)G06N 3/08(2006.01) G06N 3/04(2006.01) (54)发明名称 地理与视觉跨模态预训练模 型的训练方法、 位置确定方法 (57)摘要 本公开提供了一种地理与视觉跨模态预训 练模型的训练方法、 位置确定方法， 涉及人工智 能技术领域， 尤其涉及自然语言处理、 计算机视 觉等领域， 具体实现方案为： 基于地图数据构建 预训练数据集， 根据预训练数据集和预训练目 标， 对待训练模型进行模型训练， 得到多视觉任 务约束的第一预训练模型。 采用本公开， 可以提 高模型的精度。 权利要求书4页 说明书15页 附图6页 CN 114926655 A 2022.08.19 CN 114926655 A 1.一种地理与视 觉跨模态预训练模型的训练方法， 包括： 基于地图数据构建预训练数据集； 根据所述预训练数据集和预训练目标， 对待训练模型进行模型训练， 得到多视觉任务 约束的第一预训练模型。 2.根据权利要求1所述的方法， 其中， 所述基于地图数据构建预训练数据集， 包括： 所述地图数据为历史地图数据的情况下， 从所述历史地图数据中筛选出满足第 一条件 的第三图像信息及与所述第三图像信息对应的第三 地理位置信息； 对所述第三图像信 息和所述第 三地理位置信 息进行预处理， 得到用于表征图像特征和 地理位置编码特 征的预处 理结果； 根据所述预处 理结果， 构建所述预训练数据集。 3.根据权利要求2所述的方法， 其中， 所述第一条件包括： 在历史采集 次数超过N次的覆 盖区域所 得到的所述历史地图数据中携带深度图信息； 所述 N为大于2的正整数。 4.根据权利要求2所述的方法， 其中， 所述对所述第 三图像信 息和所述第 三地理位置信 息进行预处理， 得到用于表征图像特 征和地理位置编码特 征的预处 理结果， 包括： 对所述第三图像信息进行图像预处 理， 得到与众包数据分辨 率相同的第四图像信息； 对所述第三 地理位置信息进行编码预处 理， 得到第四图像位置编码信息； 对所述第四图像信息进行划分预处 理， 得到所述第四图像信息中各个图像块； 对所述第四图像信 息中各个图像块进行编码预处理， 得到所述第四图像信 息中各个图 像块位置编码信息； 将所述第四图像信息、 所述第 四图像位置编码信息、 所述第 四图像信息中各个图像块 位置编码信息作为所述预处 理结果。 5.根据权利要求2 ‑4中任一项所述的方法， 其中， 所述根据 所述预训练数据集和预训练 目标， 对待训练模型进行模型训练， 得到多视 觉任务约束的第一预训练模型， 包括： 将从所述预训练数据集获取的所述预处理结果输入所述待训练模型， 对所述预处理结 果进行所述图像特 征和所述 地理位置编码特 征的第一融合处 理， 得到第一融合数据； 对所述第一融合数据进行 特征提取， 得到第一特 征； 将所述第一特 征和所述 地理位置编码特 征进行第二融合处 理， 得到第二特 征； 将所述第二特征输入多视觉任务学习框架中， 得到用于表征所述多视觉任务学习框架 预训练目标的总损失函数； 根据所述总损失函数对所述待训练模型进行所述模型训练， 得到所述第一预训练模 型。 6.根据权利要求5所述的方法， 其中， 所述将所述第二特征输入多视觉任务学习框架 中， 得到用于表征 所述多视 觉任务学习框架预训练目标的总损失函数， 包括： 根据所述多视觉任务学习框架中第 一任务对应的第 一损失函数、 所述多视觉任务学习 框架中第二任务对应的第二损失函数、 及所述多视觉任务学习框架中第三任务对应的第三 损失函数， 得到所述总损失函数。 7.一种位置确定方法， 包括： 从获取的众包数据中提取第一图像信息及与所述第一图像信息对应的第一地理位置 信息；权　利　要　求　书 1/4 页 2 CN 114926655 A 2将所述第一图像信息及所述第一地理位置信息输入多视觉任务约束的第一预训练模 型， 输出目标 特征； 根据所述目标特征， 对所述多视觉任务中的任一个视觉任务进行图像处理， 得到 图像 对应的地理位置信息 。 8.根据权利要求7所述的方法， 其中， 所述根据所述目标特征， 对所述多视觉任务中的 任一个视 觉任务进行图像处 理， 得到图像对应的地理位置信息， 包括： 所述任一个视觉任务为第一任务的情况下， 对所述第一图像信息进行图像块划分， 得 到所述第一图像信息中各个图像块； 根据所述目标特征对所述第 一图像信 息中所述各个图像块进行地理位置信 息的预测， 得到与所述第一图像信息中所述各个图像块对应的第二 地理位置信息 。 9.根据权利要求7所述的方法， 其中， 所述根据所述目标特征， 对所述多视觉任务中的 任一个视 觉任务进行图像处 理， 得到图像对应的地理位置信息， 包括： 所述任一个视觉任务为第 二任务的情况下， 根据 所述目标特征对所述第 一图像信 息进 行深度图信息的预测， 得到与所述第一图像信息相关的所述深度图信息 。 10.根据权利要求7所述的方法， 其中， 所述根据所述目标特征， 对所述多视觉任务中的 任一个视 觉任务进行图像处 理， 得到图像对应的地理位置信息， 包括： 所述任一个视觉任务为第 三任务的情况下， 根据 所述目标特征对所述第 一图像信 息中 的目标对 象进行预测， 得到与所述第一图像信息对应的分割图信息， 所述分割图信息用于 确定所述目标对象在所述第一图像信息中的位置 。 11.根据权利要求7 ‑10中任一项所述的方法， 其中， 所述多视觉任务约束的第 一预训练 模型， 为： 基于所述多视觉任务中的所述任一个视觉任务分别对应的损失函数共同对模型 训练进行约束所 得到的所述第一预训练模型。 12.根据权利要求7 ‑10中任一项所述的方法， 还 包括： 对所述第一 地理位置信息进行编码， 得到第一图像位置编码信息 。 13.根据权利要求12所述的方法， 其中， 所述将所述第 一图像信 息及所述第 一地理位置 信息输入多视 觉任务约束的第一预训练模型， 包括： 将所述第一图像信息及所述第一图像位置编码信息 输入所述第一预训练模型。 14.根据权利要求8所述的方法， 还 包括： 在地图数据坐标系中建立所述第一图像信息与所述第一地理位置信息之间的映射关 系； 所述第二地理位置信 息， 为根据所述映射关系在所述地图数据坐标系中确定的所述第 一图像信息中所述各个图像块对应的图像块 位置编码信息 。 15.一种地理与视 觉跨模态预训练模型的训练装置， 包括： 构建模块， 用于基于地图数据构建预训练数据集； 训练模块， 用于根据 所述预训练数据集和预训练目标， 对待训练模型进行模型训练， 得 到多视觉任务约束的第一预训练模型。 16.根据权利要求15所述的装置， 其中， 所述构建模块， 用于： 所述地图数据为历史地图数据的情况下， 从所述历史地图数据中筛选出满足第 一条件 的第三图像信息及与所述第三图像信息对应的第三 地理位置信息；权　利　要　求　书 2/4 页 3 CN 114926655 A 3