(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210637548.1 (22)申请日 2022.06.07 (66)本国优先权数据 202210557375.2 202 2.05.20 CN (71)申请人 北京百度网讯科技有限公司 地址 100085 北京市海淀区上地十街10号 百度大厦2层 (72)发明人 黄际洲　刘希岩　夏德国　王海峰　 (74)专利代理 机构 北京易光知识产权代理有限 公司 11596 专利代理师 王姗姗　武晨燕 (51)Int.Cl. G06V 10/774(2022.01) G06V 10/764(2022.01) G06V 10/44(2022.01)G06F 16/29(2019.01) (54)发明名称 地理与视觉跨模态预训练模 型的训练方法、 定位调整方法 (57)摘要 本公开提供了一种地理与视觉跨模态预训 练模型的训练方法、 定位调整方法， 涉及人工智 能技术领域， 尤其涉及自然语言处理、 计算机视 觉等领域。 具体实现方案为： 基于地图数据构建 预训练数据集， 根据预训练数据集和预训练目 标， 对待训练模型进行模型训练， 得到用于建立 地理与视觉关系的第一预训练模型。 采用本公 开， 可以提高模型的精度。 权利要求书3页 说明书13页 附图7页 CN 114998684 A 2022.09.02 CN 114998684 A 1.一种地理与视 觉跨模态预训练模型的训练方法， 包括： 基于地图数据构建预训练数据集； 根据所述预训练数据集和预训练目标， 对待训练模型进行模型训练， 得到用于建立地 理与视觉关系的第一预训练模型。 2.根据权利要求1所述的方法， 其中， 所述基于地图数据构建预训练数据集， 包括： 所述地图数据为历史地图数据的情况下， 从所述历史地图数据中筛选出满足第 一条件 的第三图像信息及与所述第三图像信息对应的第三 地理位置信息； 对所述第三图像信 息和所述第 三地理位置信 息进行预处理， 得到用于表征图像特征和 地理位置编码特 征的预处 理结果； 根据所述预处 理结果， 构建所述预训练数据集。 3.根据权利要求2所述的方法， 其中， 所述第一条件包括： 在历史采集 次数超过N次的覆 盖区域所 得到的所述历史地图数据中携带深度图信息； 所述 N为大于2的正整数。 4.根据权利要求2所述的方法， 其中， 所述对所述第 三图像信 息和所述第 三地理位置信 息进行预处理， 得到用于表征图像特 征和地理位置编码特 征的预处 理结果， 包括： 对所述第三图像信息进行图像预处 理， 得到与众包数据分辨 率相同的第四图像信息； 对所述第三 地理位置信息进行编码预处 理， 得到第四图像位置编码信息； 对所述第四图像信息进行划分预处 理， 得到所述第四图像信息中各个图像块； 对所述第四图像信 息中各个图像块进行编码预处理， 得到所述第四图像信 息中各个图 像块位置编码信息； 将所述第四图像信息、 所述第 四图像位置编码信息、 所述第 四图像信息中各个图像块 位置编码信息作为所述预处 理结果。 5.根据权利要求2 ‑4中任一项所述的方法， 其中， 所述根据 所述预训练数据集和预训练 目标， 对待训练模型进行模型训练， 得到用于建立地理与视觉关系的第一预训练模型， 包 括： 将从所述预训练数据集获取的所述预处理结果输入所述待训练模型， 对所述预处理结 果进行所述图像特 征和所述 地理位置编码特 征的融合处 理， 得到融合数据； 对所述融合数据进行 特征提取， 得到目标 特征； 对所述目标 特征进行分类， 得到分类标签； 根据所述分类标签与满足所述预训练目标的目标 标签进行损失运 算， 得损失函数； 根据所述损失函数对所述待训练模型进行 所述模型训练， 得到所述第一预训练模型。 6.一种定位调整方法， 包括： 根据获取的众包数据和用于建立 地理与视 觉关系的第一预训练模型， 得到目标 数据； 根据所述目标数据对所述众包数据的定位精度进行调 整， 得到与地图数据定位精度相 匹配的数据。 7.根据权利要求6所述的方法， 其中， 所述根据获取的众包数据和用于建立地理与视觉 关系的第一预训练模型， 得到目标 数据， 包括： 从所述众包数据中提取第一图像信息及与所述第一图像信息对应的第一地理位置信 息； 将所述第一图像信 息及所述第 一地理位置信 息输入所述第 一预训练模型， 在地图数据权　利　要　求　书 1/3 页 2 CN 114998684 A 2坐标系中建立所述第一图像信息与所述第一 地理位置信息之间的映射关系； 根据所述第 一预训练模型所建立的所述映射关系， 对所述第 一图像信 息中各个图像块 对应的地理位置信息进行预测， 输出所预测的第二地理位置信息及 包括所述各个图像块的 第二图像信息； 将所述第二 地理位置信息及所述第二图像信息作为所述目标 数据。 8.根据权利要求7 所述的方法， 还 包括： 对所述第一 地理位置信息进行编码， 得到第一图像位置编码信息 。 9.根据权利要求8所述的方法， 还 包括： 对所述第一图像信息进行图像块划分， 得到所述第一图像信息中所述各个图像块。 10.根据权利要求8所述的方法， 其中， 所述将所述第一图像信息及所述第一地理位置 信息输入所述第一预训练模型， 包括： 将所述第一图像信息及所述第一图像位置编码信息 输入所述第一预训练模型。 11.根据权利要求7 ‑10中任一项所述的方法， 其中， 所述第 二地理位置信息， 为： 在所述 地图数据坐标系中所述各个图像块对应的图像块 位置编码信息 。 12.根据权利要求6 ‑11中任一项所述的方法， 还 包括： 根据所述目标 数据对所述 地图数据进行 更新， 得到更新后的地图数据。 13.一种地理与视 觉跨模态预训练模型的训练装置， 包括： 构建模块， 用于基于地图数据构建预训练数据集； 训练模块， 用于根据 所述预训练数据集和预训练目标， 对待训练模型进行模型训练， 得 到用于建立 地理与视 觉关系的第一预训练模型。 14.根据权利要求13所述的装置， 其中， 所述构建模块， 用于： 所述地图数据为历史地图数据的情况下， 从所述历史地图数据中筛选出满足第 一条件 的第三图像信息及与所述第三图像信息对应的第三 地理位置信息； 对所述第三图像信 息和所述第 三地理位置信 息进行预处理， 得到用于表征图像特征和 地理位置编码特 征的预处 理结果； 根据所述预处 理结果， 构建所述预训练数据集。 15.根据权利要求14所述的装置， 其中， 所述第 一条件包括： 在历史采集 次数超过N次的 覆盖区域所 得到的所述历史地图数据中携带深度图信息； 所述 N为大于2的正整数。 16.根据权利要求14所述的装置， 其中， 所述构建模块， 用于： 对所述第三图像信息进行图像预处 理， 得到与众包数据分辨 率相同的第四图像信息； 对所述第三 地理位置信息进行编码预处 理， 得到第四图像位置编码信息； 对所述第四图像信息进行划分预处 理， 得到所述第四图像信息中各个图像块； 对所述第四图像信 息中各个图像块进行编码预处理， 得到所述第四图像信 息中各个图 像块位置编码信息； 将所述第四图像信息、 所述第 四图像位置编码信息、 所述第 四图像信息中各个图像块 位置编码信息作为所述预处 理结果。 17.根据权利要求14 ‑16中任一项所述的装置， 其中， 所述训练模块， 用于： 将从所述预训练数据集获取的所述预处理结果输入所述待训练模型， 对所述预处理结 果进行所述图像特 征和所述 地理位置编码特 征的融合处 理， 得到融合数据；权　利　要　求　书 2/3 页 3 CN 114998684 A 3