(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210981632.5 (22)申请日 2022.08.16 (65)同一申请的已公布的文献号 申请公布号 CN 115063606 A (43)申请公布日 2022.09.16 (73)专利权人 有米科技股份有限公司 地址 510006 广东省广州市番禺区小谷围 街青蓝街26号1701 (72)发明人 黄于晏　陈莹莹　陈畅新　杨辰　 (74)专利代理 机构 广州三环 专利商标代理有限 公司 44202 专利代理师 江银会 (51)Int.Cl. G06F 40/30(2020.01) G06V 10/44(2022.01)G06N 3/04(2006.01) G06F 16/35(2019.01) G06F 40/126(2020.01) G06V 10/774(2022.01) G06V 10/82(2022.01) G10L 15/06(2013.01) G10L 15/16(2006.01) (56)对比文件 CN 113673613 A,2021.1 1.19 CN 114418032 A,202 2.04.29 CN 112906624 A,2021.0 6.04 CN 112990297 A,2021.0 6.18 CN 114358243 A,202 2.04.15 审查员 黄艳艳 (54)发明名称 基于多模态数据的交 互训练方法及装置 (57)摘要 本发明公开了一种基于多模态数据的交互 训练方法及装置， 该方法包括： 将训练数据分别 输入到相应的训练到收敛的特征提取器中得到 数据特征； 根据所有数据特征计算对应的第一重 构损失函数； 根据第一重构损失函数判断特征提 取器是否满足对比学习完成条件； 若否， 根据第 一重构损失函数对所有特征提取器执行参数调 整操作得到更新后的特征提取器， 并基于更新后 的新特征提取器继续执行交互训练操作； 若是， 确定特征提取器对比学习完成。 可见， 本发明能 够提高特征提取器所提取的不同模态的数据特 征之间的交互性和共性， 从而在后续利用训练好 的特征提取器可以提取出可用于进行比对和匹 配的不同模态的数据特征， 进而提高多模态数据 预测的准确性和效率。 权利要求书3页 说明书19页 附图4页 CN 115063606 B 2022.12.16 CN 115063606 B 1.一种基于多模态数据的交 互训练方法， 其特 征在于， 所述方法包括： 将至少两种模态的训练数据分别输入到相应的训练到收敛的特征提取器中， 得到每一 所述训练数据对应的数据特 征； 根据所有所述训练数据对应的所述数据特征， 计算所述至少两种 模态的训练数据对应 的第一重构损失函数； 根据所述第 一重构损失函数， 判断所有所述特征提取器是否满足预设的对比学习完成 条件； 当判断结果为否， 根据所述第一重构损 失函数， 对所有所述特征提取器执行参数调整 操作， 得到更新后的所有 所述特征提取器， 并基于更新后的所有 所述特征提取器， 触发执行 所述的将至少两种模态的训练数据分别输入到相应的训练到收敛的特征提取器中， 得到每 一所述训练数据对应的数据特 征的操作； 当判断结果 为是时， 确定所有所述特 征提取器对比学习完成； 其中， 在所述将至少两种模态的训练数据分别输入到相应的训练到收敛的特征提取器 中， 得到每一所述训练数据对应的数据特 征之前， 所述方法还 包括： 针对所述至少两种模态中的任一所述模态， 根据该模态的训练数据， 对该模态对应的 特征提取器执 行预训练操作， 得到训练到收敛的所述特 征提取器； 以及， 所述根据 该模态的训练数据， 对该模态对应的特征提取器执行预训练操作， 得到 训练到收敛的所述特 征提取器， 包括： 根据该模态 的训练数据及对应的第一嵌入层处理条件， 初始化构建基础模态嵌入层， 并根据该模态的训练数据及对应的第二嵌入层处 理条件， 初始化构建位置嵌入层； 根据该模态的训练数据及设定的掩码处 理条件， 确定目标掩码结果； 将所述目标掩码结果输入至对应编码器中得到第 一输出特征向量， 并将所述第 一输出 特征向量输入至对应解码器中得到第二输出 特征向量； 根据所述第二输出特征向量及该模态的训练数据， 计算第二重构损 失函数， 并根据所 述第二重构损失函数 的值， 判断所述特征提取器是否满足预设的预训练收敛条件， 当判断 结果为是时， 确定所述特 征提取器训练到收敛。 2.根据权利要求1所述的基于多模态数据的交互训练方法， 其特征在于， 所述根据 所述 第二重构损失函数的值， 判断所述特 征提取器是否满足预设的预训练收敛 条件， 包括： 判断所述第二重构损失函数的值是否小于等于预设的第二重构损失阈值； 当判断结果 为是时， 确定所述特 征提取器满足预设的预训练收敛 条件； 当判断结果 为否时， 确定所述特 征提取器不满足所述预训练收敛 条件。 3.根据权利要求1所述的基于多模态数据的交互训练方法， 其特征在于， 所述将至少两 种模态的训练数据分别输入到相应的训练到收敛的特征提取器中， 得到每一所述训练数据 对应的数据特 征， 包括： 对于至少两种模态 的训练数据， 根据所述训练数据及设定的数据预处理条件， 确定对 应的预处 理训练数据； 将所述预处理训练数据输入至对应的基础模态嵌入层， 得到所述预处理训练数据对应 的基础编码向量， 并根据所述基础编码向量及设定的维度 处理条件， 从位置嵌入层中得到 所述预处 理训练数据对应的位置编码向量；权　利　要　求　书 1/3 页 2 CN 115063606 B 2根据所述基础编码向量及所述位置编码向量， 生成目标向量， 作为所述训练数据对应 的数据特 征。 4.根据权利要求2所述的基于多模态数据的交互训练方法， 其特征在于， 所述根据 该模 态的训练数据及设定的掩码处 理条件， 确定目标掩码结果， 包括： 根据该模态的训练数据及设定的第一掩码处 理条件， 确定掩码内容； 根据所述掩码内容及设定的第二掩码处 理条件， 确定目标掩码数据； 根据所述目标掩码数据、 该模态的训练数据及设定的第三掩码处理条件， 生成目标掩 码结果； 其中， 所述第 二掩码处理条件包括掩码长度 条件和/或掩码占比条件； 所述第 三掩码处 理条件包括均匀分布掩码处理条件、 随机替换掩码处理条件、 数据混合掩码处理条件及数 据添加掩码处 理条件中的一种或多种。 5.根据权利要求4所述的基于多模态数据的交互训练方法， 其特征在于， 所述根据 所述 第二输出 特征向量及该模态的训练数据， 计算第二重构损失函数， 包括： 根据该模态 的训练数据， 确定对应的第二重构损 失函数； 所述第二重构损 失函数包括 概率分析函数、 激活函数、 差异损失函数、 交叉熵损失函数及最小化特征向量分析函数中的 一种或多种； 根据所述目标掩码结果、 所述掩码内容、 该模态的训练数据及所述第 二重构损失函数， 确定该模态的训练数据对应的第二重构损失函数的值。 6.根据权利要求5所述的基于多模态数据的交互训练方法， 其特征在于， 所述根据 所有 所述训练数据对应的所述数据特征， 计算所述至少两种模态的训练数据对应的第一重构损 失函数， 包括： 根据所有所述训练数据对应的所述数据特征及预设的第 一加权求和条件， 计算所述至 少两种模态的训练数据中每两 两所述模态对应的对比损失函数； 根据所有所述对比损失函数的值及预设的第 二加权求和条件， 计算所述至少两种模态 的训练数据对应的第一重构损失函数； 以及， 所述根据所述第一重构损 失函数， 判断所有所述特征提取器是否满足预设的对 比学习完成条件， 包括： 判断所述第 一重构损失函数的值是否小于等于预设的第 一重构损失阈值， 当判断结果 为是时， 确定所有 所述特征提取器满足预设的对比学习完成条件； 当判断结果为否时， 确定 所有所述特 征提取器不满足所述对比学习完成条件。 7.根据权利要求1 ‑6任一项所述的基于多模态数据的交互训练方法， 其特征在于， 所述 方法还包括： 检测是否接收到数据推荐指令， 当检测结果为是时， 确定所述数据推荐指令对应的待 匹配数据； 将所述待 匹配数据输入至对比学习完成的所述特征提取器中， 得到所述待匹配数据对 应的待匹配特征向量， 并基于设定的向量维度降低条件， 对所述待匹配特征向量执行白化 操作， 得到白化处 理后的待匹配特 征向量； 根据白化处理后的所述待匹配特征向量与数据库中多个待推荐数据对应的已白化处 理的待推荐特 征向量， 计算所述待匹配特 征向量与每一所述待推荐特 征向量的相似度；权　利　要　求　书 2/3 页 3 CN 115063606 B 3