(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210874141.0 (22)申请日 2022.07.25 (65)同一申请的已公布的文献号 申请公布号 CN 115082446 A (43)申请公布日 2022.09.20 (73)专利权人 南京航空航天大 学 地址 210016 江苏省南京市秦淮区御道街 29号 (72)发明人 汪俊　黄寅飞　李子宽　肖坤　 张沅　 (74)专利代理 机构 南京钟山专利代理有限公司 32252 专利代理师 张力 (51)Int.Cl. G06T 7/00(2017.01)G06T 7/80(2017.01) G06V 10/44(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01) 审查员 丁娇 (54)发明名称 一种基于图像边界提取的飞机蒙皮铆钉的 测量方法 (57)摘要 本发明公开了一种基于图像边界提取的飞 机蒙皮铆钉的测量方法， 包括： 步骤S1、 基于结构 光相机获取整机的蒙皮铆钉区域的蒙皮铆钉图 像及其对应的点 云； 步骤S2、 训练边界提取网络， 获得铆钉边界图像； 步骤S3、 映射边界图像到点 云数据中， 拟合铆钉平面和蒙 皮平面； 步骤S4、 根 据平面间距计算铆钉平齐度， 完成飞机蒙皮铆钉 的测量。 本发明通过利用边界提取网络， 实现了 蒙皮铆钉的平齐度测量， 保证了整机表面形貌的 装配质量。 权利要求书2页 说明书6页 附图2页 CN 115082446 B 2022.11.22 CN 115082446 B 1.一种基于图像边界提取的飞机蒙皮铆钉的测量方法， 其特 征在于， 包括： 步骤S1、 基于结构光相机获取整机的蒙皮铆钉区域的蒙皮铆钉图像及其对应的点云； 步骤S2、 训练边界提取网络， 获得铆钉边界图像， 包括： 步骤S201、 收集飞机蒙皮铆钉区域 图片并人工进行铆钉像素区域的标注， 利用其训练 基于改进VG G16的边界提取网络； 所述基于改进VG G16的边界提取网络， 其使用交叉熵损失函数： 其中， yi表示得到的边 缘概率值， 高于 μ 的像素为 正样本， 等于 0的为负样本； 引入超参数ρ 平衡正负 样本： 其中Y+,Y‑代表正负样本； 其中每个3x3的卷积层后， 使用1x1的卷积来降低通道数， 分别降低为16 /64通道； 然后ewp层执行element‑wise product用来 拼接通道； Deconv层执行反卷积 操作对获得的特 征图进行 上采样； 生成边缘概率， 对于每 个像素点， 边 缘强度在[0,1]之间； 输出的结果 为每个像素的边 缘强度； 步骤S202、 把多视角整机测量数据输入基于改进VGG16的边界提取网络， 获得边界强 度； 步骤S203、 设定阈值对边界强度进行二值化操作， 对获得的二值图， 使用霍夫变换拟合 圆作为铆钉边界， 得到铆钉边界图像； 步骤S3、 映射 边界图像到点云数据中， 拟合铆钉平面和蒙皮平面； 步骤S4、 根据平面间距计算铆钉平齐度， 完成飞机蒙皮铆钉的测量。 2.根据权利要求1所述的一种基于图像边界提取的飞机蒙皮铆钉的测量方法， 其特征 在于， 所述 步骤S1包括： 步骤S101、 基于双目结构光相机， 即将两台相机的光轴按一定角度进行安装， 所述一定 角度使两台相机的光轴光束同时会聚于被测物， 即整机的蒙皮铆钉区域； 步骤S102、 根据整机测量的蒙皮铆钉区域深度图像重建出蒙皮点云。 3.根据权利要求1所述的一种基于图像边界提取的飞机蒙皮铆钉的测量方法， 其特征 在于， 所述 步骤S3包括： 步骤S301、 根据相机的内参矩阵， 将铆钉边界图像信息映射到点云数据中； 步骤S302、 使用RANSAC方式选取点云中内点组成平面， 分别拟合铆钉区域的平面方程 和整个蒙皮的平面。 4.根据权利要求3所述的一种基于图像边界提取的飞机蒙皮铆钉的测量方法， 其特征权　利　要　求　书 1/2 页 2 CN 115082446 B 2在于， 步骤S3 01所述相机的内参矩阵为： 其中， cx， cy表示相机光轴在图像坐标系中的偏移量； fx， fy是相机的透 视焦距； 根据如下公式计算图像 像素点(u， v)对应的点云坐标(x， y， z)： 其中， d是物体到相机的深度， s是相机的缩放因子 。 5.根据权利要求3所述的一种基于图像边界提取的飞机蒙皮铆钉的测量方法， 其特征 在于， 所述 步骤S302包括： 在一个迭代内设定阈值， 在点云中随机 选取内点使用最小二乘法组成平面； 若内点集比阈值小则再次重新选取内点， 直到内点集大于阈值终止， 在迭代N次后选取 迄今为止发现的最大内点 集来拟合所需平面。 6.根据权利要求5所述的一种基于图像边界提取的飞机蒙皮铆钉的测量方法， 其特征 在于， 所述 步骤S302采用以下公式计算 N， 使得： P＝1‑(1‑(1‑∈)p)N→max 其中∈是 未知的外点 集的期望值， p表示随机 选择p个内点构成内点 集。 7.根据权利要求1所述的一种基于图像边界提取的飞机蒙皮铆钉的测量方法， 其特征 在于， 所述步骤S4为： 在 拟合的铆钉平面内， 定义一个中心点G2， 计算剩余点Pi到中心点的距 离， 保存最大距离D1， 重复以上定义、 距离计算和最大距离保存的步骤， 得到D2,D3,…,Dn， 取 最小的Di对应的Gi为中心点； 计算Gi(x0,y0,z0)到蒙皮平面的距离 即为铆钉的平齐度； 其中， A， B， C， D是蒙皮平面的平面 参数。权　利　要　求　书 2/2 页 3 CN 115082446 B 3