(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210893238.6 (22)申请日 2022.07.27 (71)申请人 国网山西省电力公司电力科 学研究 院 地址 030001 山西省太原市青年路6号 申请人 山西鸿顺 通科技有限公司 (72)发明人 张娜　王大伟　杨罡　胡帆　 刘志翔　张兴忠　 (74)专利代理 机构 太原高欣科创专利代理事务 所(普通合伙) 14109 专利代理师 孟肖阳　冷锦超 (51)Int.Cl. G06V 20/40(2022.01) G06V 10/82(2022.01) G06V 10/764(2022.01)G06V 10/44(2022.01) G06V 10/42(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于注意力机制的变电站作业场景3D目标 检测网络及方法 (57)摘要 本发明提供了基于注意力机制的变电站作 业场景3D目标检测网络及方法， 属于雷达3D点 云 数据处理技术领域； 所要解决的技术问题为： 提 供基于注意力机制的变电站作业场景3D目标检 测方法的改进； 解决上述技术问题采用的技术方 案为： 包括如下步骤： 步骤1： 对输入的点云数据 进行两级局部特征提取， 得到经过通道和点方向 双重注意力串行加工后的局部区域； 步骤2： 通过 全局特征提取聚合所有局部特征得到全局特征； 步骤3： 经全 连接层进行分类与回归， 预测目标的 类别、 中心点坐标、 尺寸以及角度； 本发 明应用于 3D目标检测。 权利要求书3页 说明书7页 附图2页 CN 115240114 A 2022.10.25 CN 115240114 A 1.基于注意力机制的变电站作业场景3D 目标检测网络， 其特征在于： 包括顺次连接的 两级局部特征提取模块、 全局特征提取模块、 预测输出模块， 其中第一级局部特征提取模块 作为输入模块将采集的点云数据进行局部特征提取， 第二级局部特征提取模块对第一级局 部特征提取模块输出的特征进 行进一步特征提取， 全局特征提取模块聚合所有局部特征后 经过预测输出模块进行分类和回归， 预测目标的类别、 中心点 坐标、 尺寸及角度。 2.根据权利要求1所述的基于注意力机制的变电站作业场景3D 目标检测网络， 其特征 在于： 所述局部特征提取模块包括顺次连接的采样和分组模块、 融合注意力模块、 mini ‑ pointnet模块， 采样和分组模块包括采样层和分组层， 其中采样层使用迭代最远点采样方 法选出中心 点集， 分组层利用中心 点集对输入点集进 行区域划分， 采用球查询的方法划分， 在中心点周围一定半径内取点， 得到原 始点集的若干局部区域。 3.根据权利要求2所述的基于注意力机制的变电站作业场景3D 目标检测网络， 其特征 在于： 所述融合注意力模块包括串行注意力结构， 所述串行注意力结构包括通道方向注意 力结构、 点方向注意力结构； 所述通道方向注意力结构包括平行设置的点方向的最大池化层和平均池化层， 最大池 化层和平均池化层之后连接带有残差结构的四层MLP网络， 四层MLP网络的输出经过 Sigmoid函数处理后输出通道方向注意力， 通道方向注意力与输入的局部区域相乘得到经 过通道方向注意力处 理后的局部区域； 所述点方向注意力结构包括平行设置的通道维度的最大池化层和平均池化层， 将最大 池化层和平均池化层的输出进行拼接得到通道数为2的局部区域， 拼接得到的局部区域经 过卷积层得到点方向注意力， 点方向注意力与输入的局部区域相乘得到经过点方向注意力 处理后的局部区域； 所述串行注意力结构将经过通道方向注意力结构、 点方向注意力结构处理后的局部区 域进行加权和运 算。 4.根据权利要求2所述的基于注意力机制的变电站作业场景3D 目标检测网络， 其特征 在于： 所述全局特征提取模块包括mini ‑pointnet模块， 所述mini ‑pointnet模块包括多层 MLP和最大池化层。 5.根据权利要求1所述的基于注意力机制的变电站作业场景3D 目标检测网络， 其特征 在于： 所述预测输出模块包括全连接层。 6.基于注意力机制的变电站作业场景3D目标检测方法， 采用如权利要求1 ‑5任一项所 述的基于注意力机制的变电站作业场景3D目标检测网络， 其特 征在于： 包括如下步骤： 步骤1： 对输入的点云数据进行两级局部特征提取， 得到经过通道和点方向双重注意力 串行加工后的局部区域； 步骤2： 通过全局特 征提取聚合所有局部特 征得到全局特 征； 步骤3： 经全连接层进行分类与回归， 预测目标的类别、 中心点 坐标、 尺寸以及角度。 7.根据权利要求6所述的基于注意力机制的变电站作业场景3D 目标检测方法， 其特征 在于： 所述局部特征提取包括三个模块： 采样和分组模块、 融合注 意力模块、 mini ‑pointnet 模块， 其中采样和分组模块处 理数据的步骤如下： 步骤1.1.1： 采样层对输入点 集进行采样， 使用迭代最远点采样方法选出中心点 集； 步骤1.1.2： 分组层利用中心点集对输入点集进行区域划分， 采用球查询的方法划分，权　利　要　求　书 1/3 页 2 CN 115240114 A 2在中心点周围一定半径内取点， 得到原 始点集的若干局部区域。 8.根据权利要求7所述的基于注意力机制的变电站作业场景3D 目标检测方法， 其特征 在于： 所述融合注意力模块在局部特征提取时处理上层分组层得到的局部区域的步骤如 下： 步骤1.2.1： 输入一个局部区域S  ̃， K 表示该区域内点的数量， C表示每 个点的通道数； 步骤1.2.2： 计算出S  ̃的通道方向注意力 ， 将其与输入的局部区域S  ̃相乘， 得到经 过通道方向注意力加工后的局部区域 ； 其中， 通道方向注意力 的计算步骤如下： 步骤1.2.2.1： 将输入的局部区域S  ̃设为S1， 分别使用点方向的最大池化和平均池化两 种方式得到 两个1×C 的通道描述 和 ， 其中， C代 表每个点编码特 征的通道数； 步骤1.2.2.2： 将步骤1.2.1.1得到的 和 分别送入引入残差结构的四层MLP网 络； 步骤1.2.2.3： 将得到的两个1 ×C的特征相加后经Sigmoid处理得到S1的通道方向注意 力 ， 即为S ̃的通道方向注意力 ； 步骤1.2.2.4： 将S  ̃的通道方向注意力 与输入的局部区域S  ̃相乘得到经过通道方 向注意力处 理后的局部区域 ； 步骤1.2.3： 计算 的点方向注意力 ， 将其与 相乘得到经过通道和点方向双重注 意力串行加工后的局部区域 ； 其中， 点方向注意力 的计算步骤如下： 步骤1.2.3.1： 将步骤1.2.2.4计算得出的经通道方向注意力加工后的局部区域 设为 S2， 分别进行通道维度的最大池化和平均池化两种方式得到两个1 ×K的点描述 和 ， 其中， K 代表局部区域内点的数量； 步骤1.2.3.2： 将步骤1.2.3.1得到的 和 拼接在一起得到一个通道 数为2的局部 区域； 步骤1.2.3.3： 使用5 ×5的卷积核的隐藏层对步骤1.2.3.2得到的局部区域进行卷积操 作， 激活函数使用Sigmoid， 卷积后得到S2的点方向注意力 ， 即为 的点方向注意力 ； 步骤1.2.3.4： 将 的点方向注意力 与输入的经通道方向注意力加工后的局部区 域 相乘得到经 过通道和点方向双重注意力串行加工后的局部区域 ； 步骤1.2.4： 将经过通道方向注意力处理后的局部区域 与经过通道和点方向双 重注意 力串行加工后的局部区域 进行加权和运算， 其结果作为经融合注意力模块加工后输出 的局部区域 。 9.根据权利要求7所述的基于注意力机制的变电站作业场景3D 目标检测方法， 其特征 在于： 所述mini ‑pointnet模块对于每个经注 意力模块处理后的局部区域进 行处理， 具体步 骤如下： 步骤1.3.1： 将每 个局部区域内的点的坐标转换为相对该区域中心点的坐标； 步骤1.3.2： 将每 个局部区域分别编码为对应的特 征向量， 得到该区域的局部特 征。权　利　要　求　书 2/3 页 3 CN 115240114 A 3