(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210899281.3 (22)申请日 2022.07.28 (71)申请人 北京卫星信息 工程研究所 地址 100086 北京市海淀区知春路61号 (72)发明人 刘世烁　冯鹏铭　贺广均　金世超　 常江　符晗　邹同元　马天舒　 张鹏　车程安　梁银川　 (74)专利代理 机构 北京谨诚君睿知识产权代理 事务所 (特殊普通合伙) 11538 专利代理师 延慧 (51)Int.Cl. G06V 20/10(2022.01) G06N 3/08(2006.01) G06V 10/44(2022.01)G06V 10/764(2022.01) G06V 10/77(2022.01) G06V 10/82(2022.01) (54)发明名称 基于特征注意力机制的遥感图像目标细粒 度识别方法 (57)摘要 本发明涉及一种基于特征注意力机制的遥 感图像目标细粒度识别方法， 包括： 对原始遥感 图像的目标数据和目标特征数据进行标注； 对所 述原始遥感图像、 所述标注的目标数据和目标特 征数据进行处理和增强， 获得三组数据集； 构建 目标‑特征注意力模型； 将处理和增强后的三组 数据集输入所述目标 ‑特征注意力模型进行训 练， 利用训练好的目标 ‑特征注意力模型完成所 述原始遥感图像中的目标细粒度的型号级识别。 本发明可以实现遥感影像飞机等目标的高精度 精细化型号级识别。 权利要求书3页 说明书7页 附图2页 CN 115115939 A 2022.09.27 CN 115115939 A 1.一种基于特 征注意力机制的遥感图像目标细粒度识别方法， 包括： 对原始遥感图像的目标 数据和目标 特征数据进行 标注； 对所述原始遥感图像、 所述标注的目标数据和目标特征数据进行处理和增强， 获得三 组数据集； 构建目标 ‑特征注意力模型； 将处理和增强后的三组数据集输入所述目标 ‑特征注意力模型进行训练， 利用训练好 的目标‑特征注意力模型完成所述原 始遥感图像中的目标细粒度的型号级识别。 2.根据权利要求1所述的方法， 其特征在于， 对原始遥感图像的目标数据和目标特征数 据进行标注， 包括： 利用最小外接倾斜矩形框逐个标注出原始遥感图像中的所有目标区域， 获得目标倾斜 矩形框I目标的四个角点 位置， 并判断和标注目标 所属类别； 利用最小外接倾斜矩形框对判别所述目标的类别所关注和依据的多个目标特征区域 进行标注， 获得目标 特征倾斜矩形框I特 征i的四个角点 位置， 且I特 征i∈I目标， i≥0； 若所述目标特征倾斜矩形框为多个目标倾斜矩形框的重合部分， 则 选择该目标特征倾 斜矩形框所属的目标。 3.根据权利要求1所述的方法， 其特征在于， 对所述原始遥感图像、 所述标注的目标数 据和目标 特征数据进行处 理和增强， 获得三组数据集， 包括： 对所述原始遥感图像进行切片处理， 获得包含遥感图像切片和所述目标数据的第 一数 据集； 将标注的目标从所述原始遥感图像中进行切分， 获得包含所述目标图像和所述目标特 征数据的第二数据集； 将所述标注的目标特征数据作为增强滤波区域作用于所述原始遥感图像， 增强标注的 目标特征提取， 并对增强后的遥感图像进行同样的切片处理， 获得包含增强遥感 图像切片 和所述目标增强特 征的第三数据集。 4.根据权利要求3所述的方法， 其特征在于， 对所述原始遥感图像进行切片处理， 获得 包含遥感图像切片和所述目标 数据的第一数据集， 包括： 设置切片步长和 切片尺寸， 并舍去所述目标被中间截开的图像样本； 将所述原 始遥感图像进行切片， 获得遥感图像切片和所述遥感图像切片的坐标； 若所述遥感图像切片中的目标有完整的四个角点， 则保留该遥感图像切片， 若所述遥 感图像切片中的目标没有完整的四个角点， 则去掉该遥感图像切片； 将剩余的遥感图像切片和对应的目标及其类别标签， 作为第一数据集。 5.根据权利要求3所述的方法， 其特征在于， 将标注的目标从所述原始遥感图像中进行 切分， 获得包 含所述目标图像和所述目标 特征数据的第二数据集， 包括： 由以下公式获得切割边界， 权　利　要　求　书 1/3 页 2 CN 115115939 A 2X＝x左,X＝x右,Y＝y下,Y＝y上 其中， 所述标注的目标特征个数为i， 所述目标特征在所述原始遥感图像 中的坐标和坐 标原点分别为(x1i,y1i),(x2i,y2i),(x3i,y3i),(x4i,y4i)和(0， 0)； 将所述标注的目标根据所述切割边界从所述原始遥感图像中进行切分， 作为图像样 本， 获得目标图像， 所述目标特征在所述目标图像中的坐标和坐标原点分别为(x1i‑x左,y1i‑ y上),(x2i‑x左,y2i‑y上),(x3i‑x左,y3i‑y上),(x4i‑x左,y4i‑y上)和(x左， y上)； 将所述目标图像和所述目标 特征作为第二数据集。 6.根据权利要求3所述的方法， 其特征在于， 将所述标注的目标特征数据作为增强滤波 区域作用于所述原 始遥感图像， 增强标注的目标 特征提取， 其公式为： 其中， I特征(x,y)为所述目标特征， I(x,y)为所述目标， 服从二 维高斯分布。 7.根据权利要求3所述的方法， 其特征在于， 将处理和增强后的三组数据集输入所述目 标‑特征注意力模型进 行训练， 利用训练好的目标 ‑特征注意力模型完成所述原始遥感图像 中的目标细粒度的型号级识别， 包括： 将所述第一数据集输入所述型号级目标识别模型进行训练， 将所述第 二数据集输入所 述目标提取特征模型进行训练， 将所述第三数据集输入所述增强型识别模型进行训练， 获 得所述目标 ‑特征注意力模型； 对所述目标 ‑特征注意力模型进行交叉熵损失训练， 直至所述目标 ‑特征注意力模型的 识别结果的准确率满足预设阈值； 利用训练好的目标 ‑特征注意力模型对所述原始遥感图像中的目标进行检测识别， 获 得所述目标的最小外 接矩形的角点信息和型号信息 。 8.根据权利要求1所述的方法， 其特 征在于， 构建目标 ‑特征注意力模型， 包括： 构建型号级目标识别模型， 作为检测所述原 始遥感图像中目标的主干网络； 构建目标提取 特征模型； 构建增强型识别模型； 将所述型号级目标识别模型、 所述目标提取特征模型和所述增强型识别模型融合构 成 目标‑特征注意力模型。 9.根据权利要求8所述的方法， 其特征在于， 将所述型号级目标识别模型、 所述目标提 取特征模型和所述增强型识别模型融合构成目标 ‑特征注意力模型， 包括： 单独训练所述目标提取特征模型， 对所述型号级目标识别模型检测的目标区域的特征 进行强化识别和参数增强； 将所述型号级目标识别模型和所述目标提取特征模型在训练过程中的参数共享至所 述增强型识别模型中； 初步训练所述增强型识别模型， 将训练获得的判别层参数加入所述型号级目标识别模权　利　要　求　书 2/3 页 3 CN 115115939 A 3