(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211256595.8 (22)申请日 2022.10.14 (71)申请人 辽宁工程技术大学 地址 123000 辽宁省阜新市细河区中华路 47号 (72)发明人 戴激光　张子恩　许浩　 (51)Int.Cl. G06V 20/10(2022.01) G06V 10/764(2022.01) G06V 10/774(2022.01) (54)发明名称 一种基于街景影像的杆状地物多分类提取 方法 (57)摘要 本发明公开了一种基于街景影像的杆状地 物多分类提取方法， 步骤为： 构建分类体系； 构建 样本库； 构建分类模型LPNet； 利用迁移学习完成 模型训练和杆状地物分类； 完善杆状地物提取结 果。 本发明依据杆状地物在街景影像中呈现出的 特征， 针对杆状地物分割不足、 误提取和不连续 的问题， 分别加入具有多级感受野的Multi ‑ scale Phased Controller(MPC)模块、 具有自适 应分类能力的Deformable ‑Convolution(Def ‑ C o n v ) 模 块 和 具 有 拓 扑 重 建 能 力 的 Lightweightspatial  context(LSC)模块， 能够 准确快速获取杆状地物的类别信息和空间信息， 在智慧城市建设和车辆自动导航中具有较大的 应用价值。 权利要求书2页 说明书6页 附图4页 CN 115546643 A 2022.12.30 CN 115546643 A 1.一种基于街景影 像的杆状地物多分类提取 方法， 其特 征在于， 包括如下步骤： S1： 构建分类体系， 以沈阳市为例， 依据各类杆状地物具备的功能和所属特征， 对其类 别进行定义； S2： 构建样本库， 依照步骤S1构建的分类 体系， 制作多类别杆状地物样本集； S3： 构建分类模型LPNet， 依据各类杆状地物的结构特点和影像空间分布情况， 进行相 关功能模块的设计； S4： 利用迁移学习完成模型训练和杆状地物分类； S5： 完善杆状地物提取 结果。 2.根据权利要求1所述的一种基于街景影像的杆状地物多分类提取方法， 其特征在于， 所述步骤S1包括以下步骤： 步骤S1.1： 路灯杆(较为均匀的分布在道路两侧， 用于交通照明)； 步骤S1.2： 电力杆(居民区以簇状分布为主， 沿街区域以均匀分布为主， 生产生活用 电)； 步骤S1.3： 交通电杆(较为均匀的沿轻轨分布， 轻轨专用)； 步骤S1.4： 交通信号杆(绝大多数分布在岔路口， 用于指挥交通)； 步骤S1.5： 监控杆(交管系统， 无明显分布规 律)； 步骤S1.6： 指路牌杆(杆较高， 牌子较大， 位置整体偏影像上半部分， 以方形为主， 用于 街道提示)； 步骤S1.7： 指示牌杆(杆较小， 牌子较小， 位置整体偏影像下半部分， 用于警示行人和车 辆)； 步骤S1.8： 通讯杆(通讯基站， 用于移动网络通信)； 步骤S1.9： 限高杆(主 要分布特殊路段， 呈黑黄相间的门洞型 结构， 入口和出口)。 3.根据权利要求1所述的一种基于街景影像的杆状地物多分类提取方法， 其特征在于， 所述步骤S2包括以下步骤： 步骤S2.1： 从980 00张双目左侧像中挑选出3408张具有代 表性的影 像； 步骤S2.2： 利用L abelme样本标注工具， 依照步骤S1构建的杆状地物分类体系进行样本 标注； 步骤S2.3： 针对目标被遮挡的标注抉 择； 步骤S2.3.1： 若杆体中部被遮挡部分小于整体的三分之一， 则视为无遮挡， 按照人的先 验知识进行 预估标注； 步骤S2.3.2： 若杆状地物被遮挡部分超过三分之二， 且杆体类别特征不完整， 则不予标 注； 步骤S2.3.3： 其 他情况下， 只标注能看到的部分。 4.根据权利要求1所述的一种基于街景影像的杆状地物多分类提取方法， 其特征在于， 所述步骤S3包括以下步骤： 步骤S3.1： 针对杆状地物的语义分割结果中存在分割不足的情况， 提出具有多级感受 野的Multi‑scale Phased Controller(MPC)模块， 用以减少间距较近的杆状地物之间分割 不足的问题； 步骤S3.2： 依据各类杆状地物独有的结构特征， 加入Deformable ‑Convolution(Def ‑权　利　要　求　书 1/2 页 2 CN 115546643 A 2Conv)模块， 使模型具备自适应杆体结构的能力， 增强显著视图特征， 用以解决杆状地物的 误提取问题， 实现各类杆状地物的精确分类； 步骤S3.3： 根据杆状地物细长的上下文拓扑关联关系， 构建Lightweight  spatial  context(LSC)模块， 充分利用目标空间拓扑信息及其高级全局特征， 用于解决由遮挡造成 的杆状地物不连续的问题。 5.根据权利要求1所述的一种基于街景影像的杆状地物多分类提取方法， 其特征在于， 所述步骤S4包括以下步骤： 步骤S4.1： 调整模型参数， 设置学习率为0.0001， 迭代次数1000次， 在源域数据集 Cityscapes上训练LPNet， 获取城市场景中各种地物的先验知识； 步骤S4.2： 调整模型参数， 设置学习率为0.002， 迭代次数200次， 将S4.1得到的权重文 件作为预训练文件， 在步骤S2构建的样本库中进行迁移训练； 步骤S4.3： 选取步骤S4.2训练的最优 模型权重， 输入街景影 像进行杆状地物分类提取。 6.根据权利要求1所述的一种基于街景影像的杆状地物多分类提取方法， 其特征在于， 所述步骤S5包括以下步骤： 步骤S5.1： “兴趣点”生成； 步骤S5.1.1： 将一张街景影像横向三等分， 所分割的区域由上至下依次记作区域A、 B和 C； 步骤S5.1.2： 区域A用于约束高度较高且下半部分被遮挡的杆状地物， 包括： 电力杆和 通讯杆； 步骤S5.1.3： 区域B用于约束中等高度的杆状地物， 包括： 路灯杆、 交通电杆、 交通信号 杆、 监控杆、 指路牌杆和限高杆； 步骤S5.1.4： 区域C用于约束高度较低的杆状地物， 包括： 指示 牌杆； 步骤S5.1.5： 将区域A、 B和C分别再次三等分， 三等分线由上至下依次记作LA1、 LA2、 LB1、 LB2、 LC1和LC2； 步骤S5.1.6： 以LA1和LA2为例， 分别利用LA1和LA2寻找步骤S4.3分类结果中区域A中响应 值最高的点， 作为兴趣点； 步骤S5.2： “角度”约束； 步骤S5.2.1： 利用步骤S5.1.6 中LA1得到的兴趣点， 与步骤S5.1.6 中LA2得到的兴趣点做 线段， 接着计算线段与竖直方向的夹角； 若小于20 °， 则输出该类杆状地物的类别信息和空 间信息； 步骤S5.2.2： 同理， 在区域B和C中， 重复操作步骤S5.1.6和步骤S5.2.1， 直至查无兴趣 点。权　利　要　求　书 2/2 页 3 CN 115546643 A 3