(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210623039.3 (22)申请日 2022.06.01 (71)申请人 苏州邈航科技有限公司 地址 215123 江苏省苏州市工业园区林泉 街399号东南大学国家大学科技园 （苏 州） 文昌院40 3室 (72)发明人 缪存孝　唐友军　杜玉虎　缪小妹　 (74)专利代理 机构 北京孚睿湾知识产权代理事 务所(普通 合伙) 11474 专利代理师 王冬杰 (51)Int.Cl. G06V 20/17(2022.01) G06V 10/30(2022.01) G06V 10/44(2022.01) G06V 10/34(2022.01)G06V 10/762(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G05D 1/10(2006.01) (54)发明名称 基于视觉的低空无 人机的飞行控制方法 (57)摘要 本发明提供一种基于视觉的低空无人机的 飞行控制方法， 具体步骤为： 利用 深度学习对待 检测障碍物进行检测： 采集航拍图像样本， 建立 改进单阶段目标检测网络模型； 将测试集输入到 优化的网络中得到待检测障碍物的结果。 利用图 像处理对检测结果再进行待检测障碍物的检测： 对输入的待检测图像进行灰度处理； 对图像的边 缘信息进行增强， 并对图像进行平滑和剔除噪点 处理； 对基于LSD直线检测算法检测的结果进行 筛选； 将筛选结果进行分组和拟合， 得到待检测 障碍物的结果。 最后根据障碍物的检测结果进行 飞行控制指令的发布。 本发明具有较快的检测速 度和较高的准确率， 具有高实时性与高鲁棒性的 特点， 对实现无人机自动避障， 保障无人机低空 飞行具有重要意 义。 权利要求书3页 说明书11页 附图5页 CN 114863304 A 2022.08.05 CN 114863304 A 1.一种基于 视觉的低空无 人机的飞行控制方法， 其特 征在于， 具体实施步骤如下： S1、 利用深度学习对无人机低空飞行时针对包括树木、 电线杆和电力线的待检测障碍 物进行检测： S11、 采集无 人机飞行 过程中的航拍图像样本， 并通过 数据增强方法扩充样本数量； S12、 对S11中航拍图像样本的典型目标进行标注， 生成典型目标的检测数据集， 并将检 测数据集分为训练集、 验证集和 测试集； S13、 建立改进单阶段目标检测网络模型； S14、 将训练集和 测试集输入到改进单阶段目标检测网络模型中， 并设置训练参数； S15、 利用优化器对改进单阶段目标检测网络模型进行训练， 并记录和保存每一轮所训 练好的模型及对应的训练损失与验证损失， 直到单阶段目标检测网络收敛； S16、 将测试集输入到S15训练好的改进单阶段目标检测网络模型中进行测试， 得到待 检测障碍物的检测结果； S2、 利用图像处 理对S1得到的检测结果再进行待检测障碍物的检测： S21、 对待检测障碍物检测结果进行 灰度化处 理得到灰度图像； S22、 增强S21得到的灰度图像中待检测障碍物的边 缘信息， 得到增强后图像； S23、 对S2 2得到的增强图像进行高斯滤波和边 缘检测； S24、 对最终预处 理后的图像DE(x,y)进行检测， 得到待检测障碍物中直线的检测结果； S25、 将S24得到的图像进行主方向筛 选和长度筛 选； S26、 利用凝聚层次聚类方法将S25得到的直线检测结果进行分组； S27、 对于S26得到的分组结果， 采用最小二乘法进行拟合， 得到最终的待检测障碍物的 检测结果； S3、 根据无人机飞行条件因素生成判决框， 结合S1和 S2得到待检测障碍物的检测结果， 进行飞行控制与避障指令的发送， 以使无 人机进行避障： S31、 以无人机视角的中心点作 为判决框的中心， 生成方形判决框， 所述判决框的边长R 的表达式如下： 其中， K为缩放系数， RA为无人机视角框的宽， h为无 人机的高度； S32、 根据检测出的障碍物与判决框的相对位置， 向无人机发送相应的飞行控制与避障 指令。 2.根据权利要求1所述的基于视觉的低空无人机的飞行控制方法， 其特征在于， 所述步 骤S13的具体实施过程如下： S131、 建立主干特征提取网络： 将主干特征提取网络CSPdarknet53替换为MobileNetv3 网络， 利用Mobi leNetv3网络 输出的有效特 征层进行 特征提取； S132、 建立特征融合网络： 将S131提取的不同层次的有效特征层进行融合， 并在主干特 征网络输出的三个有效特 征层之后分别设置注意力机制； S133、 建立预测网络： 将基本卷积块和1*1的卷积连接， 得到预测网络 。 3.根据权利要求1所述的基于视觉的低空无人机的飞行控制方法， 其特征在于， 在步骤权　利　要　求　书 1/3 页 2 CN 114863304 A 2S21中， 所述灰度化处 理的具体表达式如下： Gray(x,y)＝0.3R+0.6G+0.1B 其中， Gray(x,y)为灰度图像， R、 G和B分别为障碍物检测结果的三个通道的像素分布函 数。 4.根据权利要求1所述的基于视觉的低空无人机的飞行控制方法， 其特征在于， 在步骤 S22中增强灰度图像中待检测障碍物的边缘信息的具体过程为： 计算图像I(x,y)各点处的 Hessian矩阵 的特征值 λ， 具体表达式如下： 其中， V(x,y)为图像增强结果， R表示团块度度 量， S表示平滑度度 量， β 是R的调整参数， c是S的调整参数。 5.根据权利要求1所述的基于视觉的低空无人机的飞行控制方法， 其特征在于， 所述步 骤S23包括以下子步骤： S231、 利用高斯滤波器的二维高斯函数对二值化图像进行滤波处理， 去除二值化图像 中的噪声， 得到平 滑图像， 所述 二维高斯 函数的具体表达式为： 其中， σ 作为 高斯滤波器参数用于控制图像的平滑度， x， y为像素点的坐标， G(x,y)为 高 斯滤波后的图像； S232、 利用y方向的Can ny算子对G(x,y)进行Can ny边缘检测得到边 缘图像E(x,y)； S233、 将边缘图像E(x,y)进行膨胀运算去除噪点平滑边缘， 得到最终预处理后的图像 DE(x,y)。 6.根据权利要求1所述的基于视觉的低空无人机的飞行控制方法， 其特征在于， 所述步 骤S25的具体实施过程如下： S251、 将S24中检测到的直线 按照直线倾 斜角度平均划分为八个区域； S252、 分别计算八个区域内每个区域的直线的平均长度， 将平均长度最长的区域设置 为主方向， 并将平均长度最长的区域的平均角度定义 为主方向角度； S253、 设置主方向角度的阈值角， 形成候选区域， 将不在候选区域内的直线全部剔除， 只保留候在选区域内的直线检测结果； S254、 设置直线的长度阈值， 将S253得到的直线检测结果 中， 低于长度阈值的直线全部 剔除。 7.根据权利要求1所述的基于视觉的低空无人机的飞行控制方法， 其特征在于， 所述步 骤S26的具体实施过程如下： S261、 将S25的直线检测结果中每一条直线在图像上的截距形成一个截距列表Bl ist； S262、 计算Blist中每一个元素Blist[i]和其它元素的绝对差值， 取绝对差值的最小值 Dmin[i]， 构成新的间距列表Dl ist； S263、 针对间距列表Dlist， 设置间距阈值， 并利用自上而下的凝聚层次聚类方法对间权　利　要　求　书 2/3 页 3 CN 114863304 A 3