(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210909989.2 (22)申请日 2022.07.29 (71)申请人 华中科技大 学 地址 430074 湖北省武汉市洪山区珞喻路 1037号 (72)发明人 王峻峰　赵世闻　 (74)专利代理 机构 武汉智嘉联合知识产权代理 事务所(普通 合伙) 42231 专利代理师 张璐 (51)Int.Cl. G06V 20/52(2022.01) G06V 10/24(2022.01) G06V 10/42(2022.01) G06V 10/44(2022.01) G06V 10/75(2022.01)G06V 10/82(2022.01) G06Q 10/06(2012.01) G06Q 50/04(2012.01) G06N 3/08(2006.01) (54)发明名称 一种基于深度学习和对象匹配的装配质量 检查方法 (57)摘要 本发明涉及一种基于深度学习和对象匹配 的装配质量检查方法， 包括： 获取待测的装配现 场图像； 将所述待测的装配 现场图像输入至训练 完备的轻量级神经网络， 确定预测关键点信息和 预测定位框； 根据所述预测关键点信息， 确定所 述预测定位框与标准装配模板中的标准定位框 的转换关系； 根据所述预测定位框和所述标准定 位框进行匹配， 判断匹配质量。 本发明能够对装 配漏装和错装问题进行实时地检查， 确保一致的 产品质量， 提高装配效率。 权利要求书2页 说明书11页 附图6页 CN 115311618 A 2022.11.08 CN 115311618 A 1.一种基于深度学习和对象匹配的装配质量检查方法， 其特 征在于， 包括： 获取待测的装配现场图像； 将所述待测的装配现场图像输入至训练完备的轻量级神经网络， 确定预测关键点信 息 和预测定位框； 根据所述预测关键点信 息， 确定所述预测定位框与 标准装配模板 中的标准定位框的转 换关系； 根据所述 转换关系对预测定位框和所述标准定位框进行匹配， 判断匹配质量。 2.根据权利要求1所述的基于深度学习和对象匹配的装配质量检查方法， 其特征在于， 所述标准定位框的确定， 包括： 利用虚拟相机采集每一装配步骤下的标准装配模板， 并标注 对应的标准关键点信息和标准定位框 。 3.根据权利要求1所述的基于深度学习和对象匹配的装配质量检查方法， 其特征在于， 所述轻量级神经网络的训练过程包括： 获取包含标注信息的装配图像样本集， 其中， 所述标注信息包括所述装配图像样本集 的每个装配现场图像对应的实际关键点信息和实际定位框； 将所述装配图像样本集输入至构建的轻量级神经网络， 确定预测关键点信 息和预测定 位框， 并根据所述 实际关键点信息、 所述 实际定位框、 所述预测关键点信息和所述预测定位 框确定损失函数； 根据所述损失函数的值调 整所述轻量级神经网络的参数至满足收敛条件， 确定训练完 备的轻量级神经网络 。 4.根据权利要求3所述的基于深度学习和对象匹配的装配质量检查方法， 其特征在于， 所述构建的轻量级神经网络包括编码器和解码器， 其中， 所述编码器用于对装配现场图像 的局部特征和全局特征进 行提取， 所述解码 器用于根据提取特征确定预测关键点信息和预 测定位框 。 5.根据权利要求4所述的基于深度学习和对象匹配的装配质量检查方法， 其特征在于， 所述编码器包括多个依次连接的第一卷积结构和第二卷积结构， 其中： 所述第一卷积结构， 用于使用深度可分离卷积提取 所述装配现场图像的局部特 征； 所述第二卷积结构， 用于使用Transformer结构提取 所述装配现场图像的全局特 征。 6.根据权利要求4所述的基于深度学习和对象匹配的装配质量检查方法， 其特征在于， 所述解码器包括卷积采样层、 关键点检测结构和零件检测结构， 其中： 所述卷积采样层， 用于对所述编码器输出的提取特征进行多次卷积和采样， 输出卷积 特征； 所述关键点检测结构， 用于根据所述卷积特 征进行关键点检测， 输出 预测关键点信息； 所述零件检测结构， 用于根据所述卷积特 征进行零件检测， 输出 预测定位框 。 7.根据权利要求6所述的基于深度学习和对象匹配的装配质量检查方法， 其特征在于， 所述关键点检测结构包括第一分支结构和第二分支结构， 其中： 所述第一分支结构， 用于根据所述卷积特 征， 回归关键点热力图； 所述第二分支结构， 用于根据所述卷积特征， 对每个关键点的坐标偏移量进行回归作 为补偿， 输出 预测关键点信息 。 8.根据权利要求6所述的基于深度学习和对象匹配的装配质量检查方法， 其特征在于，权　利　要　求　书 1/2 页 2 CN 115311618 A 2所述零件检测结构包括第一输出分支、 第二输出分支和第三输出分支， 其中： 所述第一输出分支， 用于根据所述卷积特 征， 输出预测定位框的中心点； 所述第二输出分支， 用于根据所述卷积特 征， 输出预测定位框的宽度和高度； 所述第三输出分支， 用于根据所述卷积特 征， 输出预测定位框的角度信息 。 9.根据权利要求8所述的基于深度学习和对象匹配的装配质量检查方法， 所述根据所 述预测关键点信息， 确定所述预测定位框与标准装配模板中的标准定位框的转换关系， 包 括： 以所述预测关键点信息的像素坐标为圆心， 选取 预设半径内的像素区域 为特征区域； 采用二维高斯分布， 生成所述特 征区域内的区域 值， 确定二维高斯 概率分布； 根据所述二维高斯概率分布， 确定所述预测定位框与 标准装配模板 中的标准定位框的 转换关系。 10.根据权利要求1所述的基于深度 学习和对象匹配的装配质量检查方法， 所述根据所 述预测定位框和所述标准定位框进行匹配， 判断匹配质量， 包括： 根据所述预测定位框和所述标准定位框的面积和像素数目， 将所述预测定位框和所述 标准定位框进行I oU匹配， 确定I oU匹配值； 若所述IoU匹配值满足预设条件， 则当前装配步骤 存在质量问题。权　利　要　求　书 2/2 页 3 CN 115311618 A 3