(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210896770.3 (22)申请日 2022.07.28 (71)申请人 南京理工大 学 地址 210094 江苏省南京市玄武区孝陵卫 街道孝陵卫 街200号 (72)发明人 唐振民　杨鑫　姚亚洲　 (74)专利代理 机构 南京苏高专利商标事务所 (普通合伙) 32204 专利代理师 柏尚春 (51)Int.Cl. G06V 20/17(2022.01) G06V 10/82(2022.01) G06V 10/44(2022.01) G06V 10/25(2022.01) G06T 3/40(2006.01)G06N 3/08(2006.01) G06N 3/04(2006.01) (54)发明名称 一种轻量化的Faster RCNN遥感图像飞机检 测方法 (57)摘要 本发明公开了一种轻量化的Faster  RCNN遥 感图像飞机检测方法， 包括以下步骤： (1)使用轻 量化的特征提取网络提取图像特征； (2)通过图 像特征金字塔网络对图像的多尺度特征进行融 合； (3)通过感兴趣区域建议网络生成飞机候选 区域框； (4)通过感兴趣区域归一化网络将候选 区域统一成相同的大小； (5)检测头网络完成目 标的类别预测与目标边界回归； (6)使用中线单 帧预测算法对 预测结果进行后处理， 过滤错误预 测结果。 本发明使用轻量化的ResNet网络提取图 像特征， 能够去除冗余参数， 提高算法的检测速 度； 在ResNet网络的浅层阶段插入CB AM注意力模 块， 强化模型对飞机目标的检测能力； 中线单帧 预测的后处理方式避免重叠区域两次预测结果 不同的现象。 权利要求书1页 说明书7页 附图7页 CN 115471762 A 2022.12.13 CN 115471762 A 1.一种轻量 化的Faster  RCNN遥感图像飞机检测方法， 其特 征在于， 包括以下步骤： (1)输入一幅遥感图像， 使用轻量 化的特征提取网络提取图像特 征； (2)通过图像特 征金字塔网络对图像的多尺度特 征进行融合； (3)通过感兴趣区域建议网络生成目标飞机候选区域框； (4)通过感兴趣区域归一 化网络将候选区域统一成相同的大小； (5)检测头网络 完成目标的类别预测与目标边界回归； (6)使用中线单帧预测算法对预测结果进行后处 理， 过滤错误预测结果。 2.根据权利要求1所述的轻量化的Faster  RCNN遥感图像飞机检测方法， 其特征在于： 步骤(1)中， 所述轻量 化的特征提取网络的具体方法为： a.以ResNet特征提取网络为基础结构， 针对遥感图像中飞机目标图像占比小的特性， 删去对检测小目标冗余的深层特征层， 即对ResNet特征提取网络的最后一级 下采样阶段进 行全部删减； 并且训练时， 直接加载 预训练参数进行模型训练， 无fi netune步骤； b.在轻量化后的ResNet网络浅层阶段插入一个CBAM注意力机制模块， 即在ResNet网络 的主干部分maxpool层后插入一个CBAM注意力机制模块， 并针对浅层阶段特征图通道数较 少的特点， 将CBAM中的下采样率设置为8倍， 从而实现图像特 征的加权 。 3.根据权利要求1所述的轻量化的Faster  RCNN遥感图像飞机检测方法， 其特征在于： 步骤(2)中， 采用图像特征金字塔网络对轻量化ResNet特征提取网络输出的多级特征图， 进 行加法融合。 4.根据权利要求1所述的轻量化的Faster  RCNN遥感图像飞机检测方法， 其特征在于： 步骤(3)中， 利用预 先设置的锚点框， 生成飞机目标的潜在候选区域。 5.根据权利要求1所述的轻量化的Faster  RCNN遥感图像飞机检测方法， 其特征在于： 步骤(4)中， 采用双线性插值 算法， 将不同大小候选区域统一成相同大小的特 征图。 6.根据权利要求1所述的轻量化的Faster  RCNN遥感图像飞机检测方法， 其特征在于： 步骤(5)中， 利用全连接网络， 对所有候选区域目标进行 预测分类与边界框回归。 7.根据权利要求1所述的轻量化的Faster  RCNN遥感图像飞机检测方法， 其特征在于： 步骤(6)中， 所述的中线单证预测的后处 理算法具体步骤为： a.滑动窗口切割大尺寸遥感图像， 滑动窗口的前后两帧图像存在重叠区域， 将重叠区 域的中线设定为判定边界阈值； b.当滑动窗口水平滑动时， 若预测结果的飞机右侧边框位于重叠区域的中线上或左侧 时， 则保留前一帧图像的预测结果， 同时删除后一帧图像关于此目标的预测结果； 若 预测的 飞机右侧 边框位于重叠区域的中线右侧时， 则 保留后一帧图像的预测结果， 同时删除前一 帧图像关于此目标的预测结果； c.当滑动窗口垂直滑动时， 若预测的飞机下边框位于重叠区域的中线以上时， 则保留 前一帧图像的预测结果， 同时删除后一帧图像关于此目标 的预测结果； 若预测的飞机下边 框位于重叠区域的中线下侧时， 则保留后一帧图像的预测结果， 同时删除前一帧图像关于 此目标的预测结果。权　利　要　求　书 1/1 页 2 CN 115471762 A 2一种轻量化的Fa ster RCNN遥感图像飞机检测方 法 技术领域 [0001]本发明涉及遥感图像目标检测 技术领域， 特别涉及一种轻量化的Faster  RCNN遥 感图像飞机检测方法。 背景技术 [0002]Faster RCNN目标检测算法是一种基于深度学习的两阶段目标检测算法， 该算法 使用深度卷积神经网络提取图像的深度语义特征， 采用区域建议网络生成目标候选区域， 利用共享全连接检测网络实现目标结果的预测与边界框回归。 相比于单阶段目标检测算 法， 其算法精度更高， 检测速度基本满足 实时性要求。 [0003]目前， 国内外学者对Faster  RCNN目标检测算法已经有了诸多研究和改进。 [0004]张中宝,王洪元等人提出了一种基于Faster  RCNN的遥 感图像飞机检测改进算法， 该算法针对该遥感图像数据集中的飞机朝向不确定、 图像覆盖范围广、 图像背 景复杂度高, 导致飞机检测难度大、 检测算法准确率和算法泛化能力低等问题,提出了基于Faster  RCNN 的飞机检测改进算法.首先,通过对图像采用翻转以及角度旋转等方式对数据集进行合理 的扩增； 然后,在扩增后的数据集上,使用ResNet网络对图像进行特征提取,针对数据集中 飞机目标的长宽比特点优化区域建议网络； 同时,为了防止训练集中正负样 本不均衡,采用 在线困难样本挖掘方法对数据进行训练， 提高了算法的泛化性能与检测能力。 (张中宝,王 洪元,张继,杨薇.基于Faster ‑RCNN的遥感图像飞机检测算法[J].南京师大学报(自然科学 版),2018,41(04):79 ‑86.) [0005]林娜,冯丽蓉等人提出了一种基于优化的Fast er RCNN的遥 感影像飞机检测算法， 该算法以ResNet50网络为基础特征提取网络， 引入空洞残差块进行多层特征融合， 构建新 的特征提取网络， 提升网络的特征提取能力， 有效提高了算法的检测精度。 (林娜,冯丽蓉, 张小青.基于优化Faster  RCNN的遥感影像飞机检测[J].遥感技术与应用,2021,36(02): 275‑284.) [0006]Cai Z,Vasconcelos  N提出了一种基于多检测头级联的Cascade  RCNN目标检测算 法， 该模型 由一系列交并比阈值按照由低到高的检测头组成， 从而获取到更高质量的区域 建议框， 有效的避免高交并比阈值带来的正负样本不平衡， 使得网络过拟合， 也能防止较低 的交并比阈值带来的定位精度不准确。 级联架构使得网络的精确度性能得到了提升。 (Cai   Z,Vasconcelos  N.Cascade  RCNN:Delving into high quality object detection[C]// Proceedings  of the IEEE conference  on computer  vision and pattern   recognition.2018:6154‑6162.) [0007]对于Faster  RCNN目标检测算法的研究已经取得了一定的进展， 有了一定的成绩， 但仍存在以下问题： (1)现有的方法都是使用ResNet50网络作为特征提取网络， 而ResNet50 网络的深层部分对遥感图像中飞机检测是冗余的， 未考虑对ResNet50网络进行轻量化处 理； (2)现有的改进 方法对于注 意力机制的应用都是直接嵌入到整个特征提取网络， 没有考 虑到对算法推理速度的影响； (3)现有的方法在 对大尺寸遥感图像进 行滑动切割时， 产生的说　明　书 1/7 页 3 CN 115471762 A 3