(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111664528.5 (22)申请日 2021.12.31 (71)申请人 思必驰科技股份有限公司 地址 215123 江苏省苏州市苏州工业园区 新平街38 8号腾飞创新园14栋 (72)发明人 徐华　周易华　 (74)专利代理 机构 北京商专永信知识产权代理 事务所(普通 合伙) 11400 代理人 黄谦　侯晓艳 (51)Int.Cl. G06F 40/30(2020.01) G06K 9/62(2022.01) (54)发明名称 意图预测模型的训练方法及系统 (57)摘要 本发明实施例提供一种意图预测模型的训 练方法。 该方法包括： 意图预测模型接收训练数 据， 判断训练数据是否满足预设训练标准； 当满 足预设训练标准时， 基于BERT确定训练数据的真 样本， 与生成器生成的第一假样本， 至少对判别 器的参数进行训练， 以使判别器区分所有样本的 意图类别； 利用生成器输出的第二假样本， 对生 成器的参数进行训练， 以生 成判别器无法预测的 假样本； 重复对判别器与生成器进行对抗训练， 直至意图预测模 型收敛。 本发明实施例还提供一 种意图预测模 型的训练系统。 本发 明实施例可以 减少人工处理数据集的成本， 在用户未能很好的 提供模型训练所需要的空样本的时候， 可以更好 地利用用户所提供的数据集， 不需要对数据集进 行较为复杂的处 理。 权利要求书2页 说明书8页 附图3页 CN 114358019 A 2022.04.15 CN 114358019 A 1.一种意图预测模型的训练方法， 包括： 所述意图预测模型接收训练数据， 判断所述训练数据是否满足预设训练标准， 其中， 所 述意图预测模型包括： 生成器、 BERT、 判别器； 当满足预设训练标准时， 基于所述BERT确定所述训练数据的真样本， 与所述生成器生 成的第一假样本， 至少对所述判别器的参数进行训练， 以使所述判别器区分所有样本的意 图类别， 用于降低所述判别器的损失； 利用所述生成器输出的第二假样本， 对所述生成器的参数进行训练， 以生成所述判别 器无法预测的假样本， 用于提高所述判别器的损失； 重复对所述判别器与所述 生成器进行对抗训练， 直至所述 意图预测模型收敛。 2.根据权利要求1所述的方法， 其中， 当满足预设训练标准时， 所述方法还 包括： 基于所述真样本与所述第一假样本， 对所述判别器的参数和所述BERT的参数共同训 练， 以使所述BERT提取 所述训练数据的深度语义表示， 用于降低所述判别器的损失； 重复对所述判别器、 BERT与所述 生成器进行对抗训练， 直至所述 意图预测模型收敛。 3.根据权利要求1所述的方法， 其中， 所述训练数据包括： 不属于任何意图类别的空样 本以及属于任一 意图类别的非空样本； 所述判断所述训练数据 是否满足预设训练标准包括： 判断所述空样本在所述训练数据 中所占比例是否 达到预设训练标准。 4.根据权利要求3所述的方法， 其中， 当所述训练数据不满足预设训练标准时， 所述方 法还包括： 基于所述BERT确定所述训练数据的真样本、 所述生成器生成的第 一假空样本以及所述 第一假空样本对应的标签， 至少对所述判别器的参数进行训练， 以使所述判别器区分带有 标签的样本的意图类别， 用于降低所述判别器的损失； 利用所述生成器基于所述标签生成的第二假空样本， 对所述生成器的参数进行训练， 以生成所述判别器无法预测的带有标签的假样本， 用于提高所述判别器的损失； 重复对所述判别器与所述 生成器进行对抗训练， 直至所述 意图预测模型收敛。 5.根据权利要求4所述的方法， 其中， 当所述训练数据不满足预设训练标准时， 所述方 法还包括： 基于所述BERT确定所述训练数据的真样本、 所述生成器生成的第 一假空样本以及所述 第一假空样本对应的标签， 对所述判别器的参数和所述BERT的参数共同训练， 以使所述 BERT提取 所述训练数据的深度语义表示， 用于降低所述判别器的损失； 重复对所述判别器、 BERT与所述 生成器进行对抗训练， 直至所述 意图预测模型收敛。 6.根据权利要求1所述的方法， 其中， 利用所述生成器输出的第二假样本， 对所述生成 器的参数进行训练包括： 固定所述BERT的参数以及所述判别器的参数， 利用判别器对所述第二假样本预测的损 失， 对所述生成器的参数进行训练， 所述训练的目标为提高所述预测的损失， 以生成所述判 别器无法预测的假样本 。 7.根据权利要求1 ‑6中任一项所述的方法， 其中， 在所述意图预测模型收敛之后， 所述 方法还包括： 利用所述BERT以及所述判别器进行意图预测。权　利　要　求　书 1/2 页 2 CN 114358019 A 28.一种意图预测模型的训练系统， 包括： 训练数据接收程序模块， 用于所述意图预测模型接收训练数据， 判断所述训练数据是 否满足预设训练标准， 其中， 所述 意图预测模型包括： 生成器、 BERT、 判别器； 意图类别区分程序模块， 用于当满足预设训练标准时， 基于所述BERT确定所述训练数 据的真样本， 与所述生成器生成的第一假样本， 至少对所述判别器的参数进行训练， 以使 所 述判别器区分所有样本的意图类别， 降低所述判别器的损失； 样本生成程序模块， 用于利用所述生成器输出的第二假样本， 对所述生成器的参数进 行训练， 以生成所述判别器无法预测的假样本， 提高所述判别器的损失； 对抗训练程序模块， 用于重复对所述判别器与所述生成器进行对抗训练， 直至所述意 图预测模型收敛。 9.根据权利要求8所述的系统， 其中， 所述训练数据包括： 不属于任何意图类别的空样 本以及属于任一 意图类别的非空样本； 所述训练数据接收程序模块用于： 判断所述空样本在所述训练数据中所占比例是否达 到预设训练标准。 10.根据权利要求9所述的系统， 其中， 所述意图类别区分程序模块还用于： 基于所述 BERT确定所述训练数据的真样本、 所述生成器生 成的第一假空样本以及所述第一假空样本 对应的标签， 至少对所述判别器的参数进行训练， 以使所述判别器区分带有标签的样本的 意图类别， 用于降低所述判别器的损失； 所述样本生成程序模块还用于： 利用所述生成器基于所述标签生成的第二假空样本， 对所述生成器的参数进行训练， 以生成所述判别器无法预测的带有标签的假样本， 用于提 高所述判别器的损失。 11.一种电子设备， 其包括： 至少一个处理器， 以及与所述至少一个处理器通信连接的 存储器， 其中， 所述存储器存储有可被所述至少一个处理器执行的指 令， 所述指 令被所述至 少一个处理器执行， 以使所述至少一个处理器能够执行权利要求1 ‑7中任一项所述方法的 步骤。 12.一种存储介质， 其上存储有计算机程序， 其特征在于， 该程序被处理器执行时实现 权利要求1 ‑7中任一项所述方法的步骤。权　利　要　求　书 2/2 页 3 CN 114358019 A 3