(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210912049.9 (22)申请日 2022.07.29 (71)申请人 大连大学 地址 116622 辽宁省大连市经济技 术开发 区学府大街10号 (72)发明人 蓝健　卓明玉　何东辉　覃航　 贾增辉　操火梁　赵泓森　王昊杰　 (74)专利代理 机构 大连智高专利事务所(特殊 普通合伙) 2123 5 专利代理师 马庆朝 (51)Int.Cl. G06V 10/25(2022.01) G06V 10/44(2022.01) G06V 10/764(2022.01) (54)发明名称 一种自动瞄准目标的机器人视觉系统控制 方法 (57)摘要 一种自动瞄准目标的机器人视觉系统控制 方法， 属于计算机视觉、 嵌入式开发技术领域， 首 先标定工业相机， 得到相机的内参矩阵和畸变参 数， 测量物体的尺寸， 得到物体在世界坐标系中 的坐标， 通过PnP算法求得yaw轴、 pit ch轴以及 距 离的数值， 通过目标在相机坐标系下的坐标获得 目标在陀螺仪坐标系下的坐标， 将自身机器人的 运动与目标的运动叠加在一起， 即可构建物理模 型进行预判打击。 本发明解决了机器人在面对高 速移动的目标识别锁定问题， 并对目标进行运动 追踪和运动预测。 本发明的工业相机图像分辨率 为640*480， 装甲板识别帧率可达200fps左右， 引 入ROI之后可达280fps， 数字识别准确率可达 98％。 使用标定板测试， 5m内角度解算计算的距 离误差在6％以内， 角度误差在5％以内。 权利要求书2页 说明书8页 附图15页 CN 115272661 A 2022.11.01 CN 115272661 A 1.一种自动瞄准目标的机器人视觉系统控制方法， 其特征在于， 基于计算机视觉方法， 通过单目工业相机使机器人在面对高速移动的目标识别锁定， 并对目标进 行运动追踪和运 动预测， 包括如下步骤： S1、 对采集的图片先进行图像感兴趣区域ROI处 理； S2、 对初步处理的图片进行轮廓的提取， 对所有的轮廓迭代进行初步的筛选， 筛掉长宽 比大于1.4并小于2.1的矩形， 并且让这些矩形进入疑似 圆心矩形动态数组， 之后筛掉面积 过小的矩形， 去掉 二值化区域中的小噪点； S3、 对上一 步得到的疑似圆心 矩形迭代， 根据面积、 长 宽比和支持向量机SVM进行筛 选； S4、 对步骤S2中筛出来的矩形集再次进行迭代， 此时根据嵌套和各种矩形的形态学特 征对这些矩形进行分组操作， 每一个组是一个结构 体， 为已打击和待打击的悬臂的集合， 每 个结构体包括装甲板矩形、 悬臂 矩形和内嵌数目三个成员； S5、 选出识别到的最终矩形后， 根据识别到的圆心缩放得到下一帧的有效矩形， 并且对 最终矩形和圆心坐标进行ROI还原； 如果当前帧没有识别到圆心， 则不 断扩大ROI面积进行 搜索， 直到扩大为整张图片； S6、 在解算过程中， 先根据目标矩形中心和圆心连线的角度变化来判断旋转方向， 得知 旋转方向后求解需要 预置的角度， 对于旋转目标， 首先获取实时角速度， 并且对刚开始 40帧 进行正弦函数拟合， 再根据延迟时间求解积分作为预置角度， 得出预置角度后对目标矩形 的四个点相应的平 移并放入PNP解 算中进行解 算， 最终得 出数据发送给 下位机； S7、 在下位机接收到数据后， 对数据进行处理， 并将数据通过比例、 积分、 微分控制算法 PID， 输入偏差er r， 设定调节比例kp、 积分Ti、 微分Td的值， 通过PID计算公式 计算出自身与目标之间的差值U(t)， 把差值与云台自身 的目标角度进行加和， 将加和 得到的值作为期望值再次通过PID计算得到云台跟随目标所需要转动的角度， 最总实现对 目标的的跟随。 2.根据权利要求1所述的自动瞄准目标的机器人视觉系统控制方法， 其特征在于， 所述 步骤S1中， 根据上一帧预置的一个矩形范围进行合理的缩放来对图片进 行ROI的截取， 根据 不同的颜色进 行不同的颜色空间hsv阈值处理， 并且进行(5,5)的卷积对图像进 行闭运算操 作， 完成二 值化处理。 3.根据权利要求1所述的自动瞄准目标的机器人视觉系统控制方法， 其特征在于， 首先 运行系统， 对工业相机进行初始化， 通过相机的软件开发工具包SDK设置曝光度、 图像分辨 率、 图像格式、 图像通道； 通过C++thread库创建线程， 共创建三个线程： 处理线程对图像进行处理， 通信线程负 责上位机与下位机进行通信交 互， 主线程是系统的核心运行 过程； 在主线程通过相机的内参和外参对相机进行标定， 采集图像传输到处理线程， 在处理 线程先对图像进行预 处理， 进行颜色提取来检测红/蓝灯条， 对颜色提取二值图进 行形态学 处理， 用于图像降噪及灯条区域的闭合， 通过判断两个灯条之间的位置信息： 角度差大小、 错位角大小、 灯条长度差比率和X,Y方向投影差比率， 从而分辨是否为合适的目标， 然后将权　利　要　求　书 1/2 页 2 CN 115272661 A 2所有判断为 合适的装甲板放入预选目标 数组向量中； 对上述各项目标信息进行加权求和， 从而获取最佳打击装甲板作为 最终的目标装。 4.根据权利要求3所述的自动瞄准目标的机器人视觉系统控制方法， 其特征在于， 步骤 S6中， 角度解算： 首先标定工业相机， 得到相机的内参矩阵和畸变参数， 测量物体的尺 寸， 得 到物体在世界坐标系中的坐标， 通过3D到2D点对的物体运动定位PnP算法求得yaw轴、 pitch 轴以及距离的数值。 5.根据权利要求4所述的自动瞄准目标的机器人视觉系统控制方法， 其特征在于， 步骤 S5中， 目标预测： 通过目标在相机坐标系下的坐标获得目标在陀螺仪坐标系下的坐标， 陀螺 仪坐标系的原点跟随自身机器人运动， 此时视原点静止， 将自身机器人 的运动与目标的运 动叠加在一 起， 即可构建物理模型进行 预判打击 。 6.根据权利要求5所述的自动瞄准目标的机器人视觉系统控制方法， 其特征在于， 步骤 S7中， 数据处理： 在预判打击的过程中肯定要进 行数据处理来对抗数据误差， 在获得陀螺仪 坐标系下的坐标后， 先进行数据剔除与插值， 即剔除明显错误的数据并用上一次正确的数 据做插值， 在完成初步处理后， 对数据进行卡尔曼滤波， 保证数据平滑正确， 然后再进行目 标运动状态的计算。权　利　要　求　书 2/2 页 3 CN 115272661 A 3