(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211151732.1 (22)申请日 2022.09.21 (71)申请人 北京理工大 学 地址 100081 北京市海淀区中关村南大街5 号 (72)发明人 胡耀光　王鹏　杨晓楠　王敬飞　 李承舜　 (74)专利代理 机构 北京正阳理工知识产权代理 事务所(普通 合伙) 11639 专利代理师 邬晓楠 (51)Int.Cl. G06F 30/15(2020.01) G06F 30/20(2020.01) G06T 19/00(2011.01) G06F 111/18(2020.01)G06F 113/28(2020.01) (54)发明名称 基于增强现实的白车身与生产线适配性验 证系统及方法 (57)摘要 本发明公开的一种基于增强现实的白车身 与生产线适配性验证系统及方法， 属于白车身与 生产线适配性验证技术领域。 本发 明通过人机交 互辅助验证方法在生产线现场布置虚拟网格点， 基于图形学算法生成拟合生产线表面的虚拟网 格， 实现生产线轻量化即时建模， 在计算机视觉 感知信息基础上融合现场修正网格点布局信息， 提高对生产线环境感知 精度； 基于拟合得到的生 产线表面虚拟网格边界点与预定义白车身模型 上的检测点， 通过AR距离测量方法实现白车身与 真实生产线环境的风险点测距， 利用AR环 境下映 射风险点测距获取真实环境测距 点空间距离， 有 效避免现有空间测距方法下无法 处理遮挡、 环境 复杂条件下测量点无法获取问题， 实现简单准确 的空间距离测量。 权利要求书6页 说明书10页 附图4页 CN 115481489 A 2022.12.16 CN 115481489 A 1.一种基于增强现实的白车身与生产线适配性验证系统， 其特征在于： 包括验证环境 构建模块、 徒手人机交 互辅助验证模块、 检测模块； 所述验证环境构建模块， 利用AR设备构建虚实融合的验证环境， 实现虚拟白车身模型 在实际生产线上移动； 白车身通过吊具与生产线的滑道固定连接， 而白车身与吊具是相对固定的； 因此， 通过 虚拟白车身模型和真实吊具 的绑定， 实现虚拟白车身和真实生产线的虚实结合； 考虑到AR 设备的算力限制以及精确虚实融合的需要， 所述验证环境构建模块采用基于标记的跟踪技 术实现； 一张静态的平面图像被导入系统作为标记对 象， 虚拟白车身模型 的位置是根据标 记坐标系来定义； 白车身相对于生产线的位置是由模型相对于标记物的位置和吊具上的标 记物排列决定； AR设备识别标记图显示虚拟白车身模型； 操作者看到整个虚拟现实融合场 景， 在AR设备上对生产现场的白车身的通行性进行视觉验证； 所述验证环境构建模块是后 续验证模块的功能基础， 后续验证模块基于所述验证环境构建模块创建的准确虚实融合环 境进行距离测量和碰撞检测； 所述人机交互辅助验证模块， 基于AR设备开发徒手人机交互功能， 结合徒手人机交互 功能进行人机交互辅助验证模块开发， 通过在产线现场布置虚拟网格点， 根据所述现场布 置的虚拟网格点， 基于图形学算法生成拟合产线表面的虚拟网格， 实现生产线轻量化即时 建模， 在计算机视觉感知信息基础上融合现场修正网格点布局信息， 提高对产线环境感知 精度； 所述人机交互辅助验证模块包括徒手人机交互子模块、 手动布置网格点模块、 虚拟网 格生成模块； 徒手人机交互子模块， 用于实现增强现实环境下虚拟模型三维手势操纵功能； 利用AR 设备采集的RGB ‑D信息， 在真实手上叠加虚拟 手模型， 根据真实物体抓握物理过程特点和增 强现实环境构建 “抓握副”条件， 基于 “抓握副”构建抓握意图识别算法， 识别双手是否抓握 虚拟模型或者松开虚拟模型； 基于碰撞检测算法检测双手和在其他虚拟模型发生接触， 根 据抓握意图识别算法， 计算手和被操纵模型多个接触点之间能否形成 “抓握副”， 判断是否 双手与虚拟模型之 间存在抓握情况， “抓握副”由两个接触点组成， 如果存在一个以上的 “抓 握副”， 则被抓握虚拟模型被判定为抓握状态， 无需基于多个接触点的接触计算来判断是否 完成抓握， 使抓取意图判断更加灵活， 更接近 真实三维手势操纵情况， 更适应复杂手势交互 场景， 也更加符合用户直观交互感受， 同时， 如果存在多对 “抓握副”， 则多个组成抓握副的 接触点都将参与到交互意图识别中， 提高手势交互意图识别的鲁棒性、 灵活性、 效率和沉浸 感； 手动布置网格点子模块， 基于徒手人机交互子模块 “抓握副”功能， 调整网格点位置， 修 正网格点布局信息； 拟合生成在生产线上的网格是一个由三角形贴片组成的空间凸多边 形； 三角形面片是计算机用来创建平面网格的基本单位； 产生三角形面片的元素包括顶点 坐标集和 三角形顶点索引集， 其中三角形顶点索引集也是要处理的顶点排列， 所以首先要 考虑的是获得能与生产线表面相适应的顶点集， 即所述网格点集； 通过预先定义虚拟球体 对象作为网格点， 球体对象的坐标系在AR环 境中是统一的、 易 获取的， 利用所述徒手人机交 互子模块“抓握副”， 球体被生成并被即时拖动到生产线表面凸体的边缘上； 网格拟合所需 的顶点集是通过排列布局一系列球 体顶点来实现的； 虚拟网格生成子模块， 根据手动布置网格点子模块中得到的网格顶点集， 利用图形学权　利　要　求　书 1/6 页 2 CN 115481489 A 2算法对空间凸体多边形进 行三角化处理后得到三角顶点索引集； 所述三角化处理是将多边 形分解为若干个三角形， 由所述顶点组成多边形； 考虑到人工定义的顶点序列是所需的直 接建模序列， 三角形顶点索引集是根据邻接原则 建立的； 然后通过图形学算法生成三角形 的组合， 以生成适应实际生产线表面的虚拟网格； 所述检测模块， 基于验证环境构建模块和徒手人机交互辅助验证模块所创建AR白车身 与产线适配性验证环境， 针对具体白车身与产线适配性验证需求进行检测； 所述检测模块 包括AR测距子模块、 碰撞检测子模块、 验证结果可视化输出子模块； 所述AR测距子模块， 基于人机交互辅助验证模块得到的产线表面虚拟网格边界点与预 定义白车身模型上 的检测点， 在白车身和周围产线环境的风险点进行测距； 两个检测点都 是具有坐标属性的统一的球体对象， 基于AR设备的空间锚， 两个检测点的位置被转换到统 一的坐标系中， 并进行矢量运算来求得空间距离； 通过AR距离测量方法实现白车身与真实 产线环境的风险点测距， 利用AR环境下映射风险点测距获取真实环境测距点空间距离， 有 效避免现有空间测距方法下无法处理遮挡、 环境复杂条件下测量点无法获取问题， 实现易 操作且准确的空间距离测量， 以确保安全的操作空间； 所述碰撞检测子模块， 基于徒手人机交互辅助验证模块中为拟合生产线表面而建立的 空间凸多边形网格模型， 进行白车身模型与生产线网格之间的碰撞检测； 利用3D开发物理 引擎， 为生产线拟合网格模型与白车身模型添加统一的碰撞器， 实现碰撞检测， 结合触发器 来设置事 件响应， 记录 碰撞的位置和深度； 测试结果可视化输出子模块， 在测距子模块和碰撞检测子模块验证过程中， 实时接收 测距模块输出的检测点距离信息， 且实时接收碰撞检测模块输出干涉位置与碰撞深度信 息， 利用所述测距与碰撞验证信息以空间可视化用户界面的形式呈现， 支持即时查看和汇 总检测报告显示； 在本发明中， 基于徒手人机交互子模块的手势识别功能， 通过定义便捷的 用户界面， AR设备摄像头在识别到舒展手势时， 会显示交互菜单， 菜 单页面包含实时距离信 息和碰撞检测结果报告。 2.如权利要求1所述的一种基于增强现实的白车身与生产线适配性验证系统， 其特征 在于： 所述AR设备选用Ho loLens2。 3.如权利要求2所述的一种基于增强现实的白车身与生产线适配性验证系统， 其特征 在于： 所述物理引擎选用Un ity3D物理引擎。 4.一种基于增强现实的白车身与生产线适配性验证方法， 基于如权利要求1、 2或3所述 的一种基于增强现实的白车身与生产线适配性验证系统实现， 其特 征在于： 包括如下步骤， 步骤一： 创建虚实融合的白车身与生产线适配性验证环境， 用户佩戴AR设备， 扫描并识 别预先设定的二维码标记， 渲染在生产线上 的白车身模型； 模型相对于二维码坐标系的创 建的位置确定， 二维码预设在产线中的位置确定， 实现白车身模型相对于产线的定位； 步骤二： 利用AR设备采集RGB ‑D信息识别双手关键节点， 叠加虚拟手模型， 并根据关键 节点位置姿态确定虚拟手模型的位置和姿态， 实现真实双手在虚拟空间的映射； 步骤三： 根据真实物体抓握物 理过程特点和增强现实环境人机交互特点构建 “抓握副” 条件； 基于碰撞检测 算法， 在每 帧实时计算虚拟手模型和 其他待被操纵的虚拟模型之间是 否发生接触， 根据意图识别算法， 当计算手和被操纵模型多个接触点之间能否形成 “抓握 副”， 判断是否双手与虚拟模型之间存在抓握情况， “抓握副”由两个接触点组成， 如果存在权　利　要　求　书 2/6 页 3 CN 115481489 A 3