(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211271059.5 (22)申请日 2022.10.17 (71)申请人 上海海事大学 地址 201306 上海市浦东 新区临港新城 海 港大道15 50号 (72)发明人 李兴业　刘晋　唐震宇　 (74)专利代理 机构 上海邦德专利代理事务所 (普通合伙) 31312 专利代理师 杨益 (51)Int.Cl. G06V 10/44(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01) G06N 3/08(2006.01) G06N 3/04(2006.01) (54)发明名称 一种基于多尺度胶囊与Bi-FPN的多模态海 上目标检测方法 (57)摘要 本发明公开了一种基于多尺度胶囊与Bi ‑ FPN的多模态海上目标检测方法， 包括： S1、 通过 双向特征金字塔对海上场景的RGB ‑D多模态图像 数据进行多尺度特征融合； S2、 通过迭代融合的 方法优化浅层特征的融合效果； S3、 将特征融合 后得到的多尺度特征分层级分别输入基于多尺 度胶囊网络的分类网络与回归网络中； S4、 通过 深度可分离卷积与动态路由算法技术， 分别计算 出最终所需得到的锚框类别预测矩 阵与目标物 体预测框坐标的四元组向量。 根据本发明， 融合 多种深度神经网络技术， 提高海 上场景目标检测 准确率的同时， 针对不同大小、 不同程度遮蔽的 物体也均可进行识别， 适用性广， 鲁棒 性强。 权利要求书1页 说明书4页 附图2页 CN 115471676 A 2022.12.13 CN 115471676 A 1.一种基于多尺度胶囊与Bi ‑FPN的多模态海上目标检测方法， 其特征在于， 包括以下 步骤： S1、 通过双向特 征金字塔对 海上场景的RGB ‑D多模态图像数据进行多尺度特 征融合； S2、 通过迭代融合的方法优化浅层特 征的融合效果； S3、 将特征融合后得到的多尺度特征分层级分别输入基于多尺度胶囊 网络的分类网络 与回归网络中； S4、 通过深度可分离卷积与动态路由算法技术， 分别计算出最终所需得到的锚框类别 预测矩阵与目标物体预测框坐标的四元组向量。 2.如权利要求1所述的一种基于多尺度胶囊与Bi ‑FPN的多模态海上目标检测方法， 其 特征在于， 步骤S1中包括对待检测图像进行预 处理， 从输入的RGB图像与深度图像中中提取 出P1到P7共7个层级的提取多尺度特 征作为双向特 征金字塔的输入。 3.如权利要求2所述的一种基于多尺度胶囊与Bi ‑FPN的多模态海上目标检测方法， 其 特征在于， 采用其中P3到P7层级的特征， 对在同样通道和位置上的两种不同模态的特征进 行加权求和， 得到两种模态叠加融合后的叠加特征Pisum， 将该叠加特征作为双向特征金字 塔Bi‑FPN的输入特 征。 4.如权利要求3所述的一种基于多尺度胶囊与Bi ‑FPN的多模态海上目标检测方法， 其 特征在于， 在Bi ‑FPN中， 不同层级的输入将被添加一个单独的权值wi并在每个权重wi之后 使用ReLU激活函数使其值非负， Bi ‑FPN会对处理后的数据进 行深度可分离卷积并在每次卷 积后使用批量归一 化与Swish激活函数以实现对各层级特 征的融合。 5.如权利要求1所述的一种基于多尺度胶囊与Bi ‑FPN的多模态海上目标检测方法， 其 特征在于， 多尺度胶囊分类网络的结构共包括三层： 第一层为卷积层， 用于扩充通道数， 输 出三个不同尺寸的张量； 第二层为多尺度主胶囊层， 用于对提取到的不同层级的特征信息进行编码， 每个主胶 囊层带有不同卷积参数的8 D胶囊， 接受到上一层的初级特 征， 输出特征的组合； 第三层为数字胶囊层， 数字胶囊层与多尺度的主胶囊层进行连接， 数字胶囊层通过多 个权重矩阵来计算出 预测的向量。权　利　要　求　书 1/1 页 2 CN 115471676 A 2一种基于多尺度胶囊与Bi ‑FPN的多模 态海上目标检测方法 技术领域 [0001]本发明涉及 计算机视觉算法的技术领域， 特别涉及一种基于多尺度胶囊与Bi ‑FPN 的多模态海上目标检测方法。 背景技术 [0002]近年来， 基于深度学习的计算机视觉算法在医疗、 交通、 安全等各项领域中取得了 巨大的成功， 作为计算机视觉的一部分， 目标检测通常使用RGB图像作为输入， 其任务是确 定图像中是否存在目标物体， 并对其进 行类别和位置标记。 目前， 目标检测在学术界得到了 大量的研究， 在现实生活中也得到 了广泛的应用， 如视频火灾检测、 无 人驾驶、 人脸识别。 [0003]随着近年特斯拉公司在自动驾驶领域的成功， 深度估计和深度补全技术有了重大 发展， 相应的深度图像生成技术也取得了重大突破， 车辆上 的各种传感器提供多模态信息 越来越多， 这些多模态数据在一定程度上形成了互补的关系， 例如深度图像很好地弥补了 RGB图像中缺 失的物体的空间位置信息， 与RGB图像的纹理、 颜色信息形成了互补， 如何有效 利用多模态数据间的互补性来提升目标检测的精度成为了近几年研究者们关注的重点。 但 是， 与一些已经在自动驾驶领域得到了一定成果的目标检测应用不同， 海上场景下 的目标 检测通常存在着海浪、 天气变化等多种复杂多变且易造成噪声的干扰因素。 现有的多模态 目标检测方法往往受 限于卷积神经网络架构本身无法理解实体间的联系以及对视点变换 处理不佳等缺陷， 在存在大量复杂纹理背景 的海上目标检测应用场景中， 如对远距离视角 下的小目标船只、 礁石、 浮标等的检测， 以及因海面上存在的海浪干扰、 复杂天气等因素而 导致待检测图像出现大量噪声以及观测角度和背 景频繁变化的检测中， 难以实现实时而 又 准确的目标检测。 发明内容 [0004]针对现有技术中存在的不足之处， 本发明的目的是提供一种基于多尺度胶囊与 Bi‑FPN的多模态海上目标检测方法， 融合多种深度神经网络技术， 提高海上场景目标检测 准确率的同时， 针对不同大小、 不同程度遮蔽的物体也均可进 行识别， 适用性广， 鲁棒性 强。 为了实现根据本发明的上述目的和其他优点， 提供了一种基于多尺度胶 囊与Bi‑FPN的多模 态海上目标检测方法， 包括： [0005]S1、 通过双向特征金字塔对海上场景的RGB ‑D多模态图像数据进行多尺度特征融 合； [0006]S2、 通过迭代融合的方法优化浅层特 征的融合效果； [0007]S3、 将特征融合后得到的多尺度特征分层级分别输入基于多尺度胶囊网络的分类 网络与回归网络中； [0008]S4、 通过深度可分离卷积与动态路由算法技术， 分别计算出最终所需得到 的锚框 类别预测矩阵与目标物体预测框坐标的四元组向量。 [0009]优选的， 步骤S1中包括对待检测图像进行预处理， 从输入的RGB图像与深度图像中说　明　书 1/4 页 3 CN 115471676 A 3