(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211230871.3 (22)申请日 2022.09.30 (71)申请人 北京瑞莱智慧科技有限公司 地址 100089 北京市海淀区中关村东路1号 院8号楼19层A1901 (72)发明人 不公告发明人 　 (74)专利代理 机构 深圳市精英专利事务所 44242 专利代理师 戴艳艳 (51)Int.Cl. G06F 30/20(2020.01) G06T 7/00(2017.01) (54)发明名称 模型鲁棒 性检测方法、 相关装置及存 储介质 (57)摘要 本申请实施例公开了一种模型鲁棒性检测 方法、 相关装置及存储介质。 所述方法包括： 接收 用户针对目标对象的第一操作指令， 所述第一操 作指令用于指示为所述目标对象添加目标对抗 图案， 所述目标对象为当前在所述第二区域中显 示的待攻击对象， 所述目标对抗图案为用户从多 个所述候选对抗图案中选中的对抗图案； 响应于 所述第一操作指令， 将所述目标对抗图案添加到 所述目标对象的有效范围内， 得到目标对抗样 本； 将所述目标对抗样本输入所述车辆感知模 型， 得到识别结果， 所述识别结果用于控制所述 虚拟控制器生成所述目标车辆的驾驶指令。 通过 实施本申请实施例的方法可提高对模型的攻击 效果以及缩短模型的迭代周期。 权利要求书3页 说明书22页 附图17页 CN 115526055 A 2022.12.27 CN 115526055 A 1.一种模型鲁棒性检测方法， 其特征在于， 所述方法应用于模型鲁棒性检测系统， 所述 模型鲁棒性检测系统包括驾驶场景仿真平台、 车辆感知模型和虚拟控制 器， 所述驾驶场景 仿真平台的显示界面包括第一区域和第二区域， 所述第一区域显示有多个候选对抗图案， 所述第二区域当前显示目标驾驶场景的画面， 所述目标驾驶场景包括行驶中的目标车辆以 及至少一个待攻击对象， 且所述目标车辆在所述第二区域的图像和点云数据通过端口传输 给所述车辆感知模型， 所述方法包括： 接收用户针对目标对象的第 一操作指令， 所述第 一操作指令用于指示为所述目标对象 添加目标对抗图案， 所述 目标对象为当前在所述第二区域中显示的待攻击对 象， 所述目标 对抗图案为用户从多个所述 候选对抗图案中选中的对抗图案； 响应于所述第一操作指令， 将所述目标对抗图案添加到所述目标对象的有效范围内， 得到目标对抗样本； 将所述目标对抗样本输入所述车辆感知模型， 得到识别结果， 所述识别结果用于控制 所述虚拟控制器生成所述目标车辆的驾驶指令， 所述识别结果指示第一置信度高于第二置 信度， 所述第一置信度为所述车辆感知模型将所述目标对抗样本识别为 非所述目标对象时 的置信度， 所述第二置信度为所述车辆感知 模型将所述目标对抗样本识别为所述目标对象 时的置信度。 2.根据权利要求1所述的方法， 其特征在于， 所述驾驶场景仿真平台预设有多种候选驾 驶场景， 所述显示界面还包括第三区域， 所述第三区域中包括每种 所述候选驾驶场景分别 对应的场景图标； 所述接收用户针对目标对象的第一操作指令之前， 所述方法还 包括： 接收用户针对所述第 三区域中目标场景图标的第 二操作指令， 所述目标场景图标为用 户从多个所述场景图标中选中的场景图标； 根据所述第二操作指令将所述第二区域中的驾驶场景设置为所述目标场景图标对应 的目标驾驶场景。 3.根据权利要求1所述的方法， 其特征在于， 所述驾驶场景仿真平台预设有多种天气参 数， 所述显示界面还包括第四区域， 所述第四区域中包括每种 所述天气参数分别对应的天 气图标； 所述将所述目标对抗样本 输入所述车辆感知模型之前， 所述方法还 包括： 接收用户针对所述第四区域中目标天气图标的第 三操作指令， 所述目标天气图标为用 户从多个所述天气图标中选中的天气图标； 根据所述第三操作指令将所述第二区域的天气参数设置为所述目标天气图标对应的 目标天气参数。 4.根据权利要求1所述的方法， 其特征在于， 所述驾驶场景仿真平台还预设有多个待添 加对象， 所述待添加对 象为未在所述驾驶场景中添加的待攻击对 象， 所述显示界面还包括 第五区域， 所述第 五区域中包括多个所述待添加对 象； 所述接 收用户针对目标对 象的第一 操作指令之前， 所述方法还 包括： 接收用户针对所述第五区域中目标待添加对象的第四操作指令， 所述目标待添加对象 为用户从多个所述待添加对象中选中的对象； 根据所述第四操作指令将所述目标待添加对象添加至所述第四操作指令在第二区域 中指定的位置， 以在所述第二区域中显示所述目标待添加对象； 将所述目标待添加对象确定为所述目标对象。权　利　要　求　书 1/3 页 2 CN 115526055 A 25.根据权利要求1所述的方法， 其特征在于， 所述将所述目标对抗样本输入所述车辆感 知模型之前， 所述方法还 包括： 配置所述模型鲁棒性检测系统， 使得所述模型鲁棒性检测系统将所述车辆感知模型的 输出作为所述虚拟控制器的输入； 其中， 所述车辆感知模型以所述目标车辆的第 一人称视角获取所述目标车辆的视场范 围内的第一人称视角画面， 所述第一人称视角画面包括所述 目标对抗样本， 并基于所述 目 标对抗样本得到所述识别结果； 所述第一人称视角的方位信息跟随所述目标车辆的位置变 化而变化。 6.根据权利要求1至5中任一项所述的方法， 其特征在于， 所述第二区域中显示的驾驶 场景为过斑马线驾驶场景， 所述 目标对象为第一时段内斑马线上 的至少一个行人， 所述 目 标对抗样本为添加了所述目标对抗图案的至少一个所述行人； 所述将所述目标对抗样本输 入所述车辆感知模型， 得到识别结果， 包括： 接收第一消息， 所述第一消息用于指示所述目标 车辆在所述第一时段内开过斑马线； 将所述目标对抗样本输入所述车辆感知模型， 得到所述斑马线无行人通过的识别结 果。 7.根据权利要求1至5中任一项所述的方法， 其特征在于， 所述第二区域中显示的驾驶 场景为过红绿灯路口驾驶场景， 所述 目标对象为第二时段内显示红灯标志的红绿灯装置， 所述目标对抗样本为添加了所述目标对抗图案的所述红绿灯装置； 所述接收用户针对目标 对象的第一操作指令， 包括： 接收用户针对所述红绿灯装置的第五操作指令， 所述第五操作指令用于指示对所述红 绿灯装置添加分类标签为绿灯的第一对抗图案； 所述响应于所述第 一操作指令， 将所述目标对抗图案添加到所述目标对象的有 效范围 内， 得到目标对抗样本， 包括： 响应于所述第五操作指令， 将所述第一对抗图案叠加至所述红绿灯装置的有效范围 内， 得到第一对抗样本； 将所述目标对抗样本 输入所述车辆感知模型， 得到识别结果， 包括： 接收第二消息， 所述第 二消息用于指示所述目标车辆在所述第 二时段内开过红绿灯路 口； 将所述第一对抗样本输入所述车辆感知模型， 得到所述红绿灯装置显示绿灯标志的识 别结果。 8.一种模型鲁棒性检测装置， 其特征在于， 所述模型鲁棒性检测装置被配置于模型鲁 棒性检测系统中， 所述模型鲁棒性检测系统包括驾驶场景仿真平台、 车辆感知模型和虚拟 控制器， 所述驾驶场景仿真平台的显示界面包括第一区域和第二区域， 所述第一区域显示 有多个候选对抗图案， 所述第二区域当前显示 目标驾驶场景 的画面， 所述 目标驾驶场景包 括行驶中的目标车辆以及至少一个待攻击对象， 且所述目标车辆在所述第二区域的图像和 点云数据通过端口传输给 所述车辆感知模型， 所述装置包括： 收发模块， 用于接收用户针对目标对象的第一操作指令， 所述第一操作指令用于指示 为所述目标对象添加目标对抗图案， 所述目标对象为当前在所述第二区域中显示的待攻击 对象， 所述目标对抗图案为用户从多个所述 候选对抗图案中选中的对抗图案；权　利　要　求　书 2/3 页 3 CN 115526055 A 3