(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211070839.3 (22)申请日 2022.09.02 (71)申请人 兰州大学 地址 730000 甘肃省兰州市城关区天水南 路222号 申请人 广东省林业科 学研究院 (72)发明人 苏昕　施桂杰　邱华龙　李玉玲　 代文男　严政　 (74)专利代理 机构 广州智斧知识产权代理事务 所(普通合伙) 44649 专利代理师 孔德超　朱双 (51)Int.Cl. G06V 20/52(2022.01) A01M 17/00(2006.01) G01C 21/30(2006.01)G01S 19/14(2010.01) G06V 10/44(2022.01) G06V 10/774(2022.01) G06V 20/40(2022.01) (54)发明名称 基于机器狗的红火蚁巢穴识别和投药方法 及装置 (57)摘要 本发明实施例涉及红火蚁巢穴识别技术领 域， 公开了一种基于机器狗的红火蚁巢穴识别和 投药方法及装置。 该方法包括： 通过机器狗进行 拍照， 获取多张图像， 并将每张图像与对应的位 置信息相关联； 将图像转换为三维场景图； 将三 维场景图输入预先训练好的YOLOX模型中进行识 别， 确定目标图像， 目标图像为对应有红火蚁巢 穴位置的图像； 基于目标图像以及其位置信息设 置投药路径， 通过机器狗对目标图像对应位置的 红火蚁巢穴进行投药。 实施本发明实施例， 能够 提高识别效率， 获得精准定位， 又能够减少人员 投入， 同时还能提高灭蚁效率， 对红火蚁的入侵 防治工作有着 积极作用。 权利要求书3页 说明书11页 附图8页 CN 115439806 A 2022.12.06 CN 115439806 A 1.一种基于 机器狗的红火蚁巢穴识别和投药 方法， 其特 征在于， 其包括： 通过机器狗进行拍照， 获取多张图像， 并将每张图像与对应的位置信息相关联； 将所述图像转换为 三维场景图； 将所述三维场景图输入预先训练好的YOLOX模型中进行识别， 确定目标图像， 所述目标 图像为对应有红火蚁巢穴位置的图像； 基于目标图像以及其位置信 息设置投药路径， 通过所述机器狗对目标图像对应位置的 红火蚁巢穴 进行投药。 2.根据权利要求1所述的基于机器狗的红火蚁巢穴识别和投药方法， 其特征在于， 所述 预先训练好的YOLOX模型， 包括： 通过网络爬虫或/和实地拍摄采集样本图像， 构建样本图像集， 所述样本图像包括多张 红火蚁巢穴图像和多张本 土蚁巢图像； 利用获取的样本 图像集， 对样本 图像进行相关标注和分类， 标注好的文件包含了蚁巢 的类别和位置坐标信息； 根据标注文件对样本图像集进行巢穴目标特征的提取， 根据所提取的多角度巢穴特征 采用单相机双目立体视 觉算法构建出巢穴的三维模型； 根据巢穴的三维模型结合巢穴所处的场景构建出完整的三维场景图， 将所有场景图汇 总形成蚁巢的三维模型 数据集； 将所述三维模型数据集采用模型渲染和坐标变换构 建YOLOX模型标准的COCO输入数据 集， 对所述YOLOX模型进行训练。 3.根据权利要求2所述的基于机器狗的红火蚁巢穴识别和投药方法， 其特征在于， 构建 样本图像集后， 还 包括： 采用Labelme程序使用人工标记和分类的方法对所述样本图像进一步处理， 将处理后 的图像和标签通过labelme2coco程序将原始图像和标签数据转换为YOLOX模 型的标准数据 集， 将该构建样本图像集 通过分割划分为YOLOX模型的训练数据和验证数据。 4.根据权利要求2所述的基于机器狗的红火蚁巢穴识别和投药方法， 其特征在于， 根据 巢穴的三维模型 结合巢穴所处的场景构建出完整的三维场景图， 包括： 步骤11、 实地获取纹理丰富的环境背景， 保证 图片拍摄过程中物体与背景的相对静止 状态； 步骤12、 使用标定相机的方式获取相机数据， 利用以上数据确定样本图像的特征点和 世界坐标系上的点的对应关系， 所述相机数据包括焦距、 相主点、 相机的旋转角度以及平移 量； 步骤13、 匹配与提取图像的特征点， 将不同角度下所采集到的同一检测目标的样本图 像进行特征点两两匹配， 筛选并提取出正确匹配的特征点对， 利用这些特征点对使同一 目 标在不同角度的图像进行排列组合， 使这些图像的排列组合方式展现出原检测目标各部位 在三维空间中的位置坐标， 最终提取不同角度的图像下的适合的位置坐标作为原检测目标 各部位所在的空间位置； 步骤14、 根据步骤13中所获取的原检测目标不同部位的空间位置坐标信息， 采用人工 标注或图像分割技术将所需前景即原检测目标各空间部位从步骤13所获取 的具有一定排 列组合方式的图像集中分割 出来， 同时提取其边缘轮廓， 保留所有轮廓线以内和轮廓线上权　利　要　求　书 1/3 页 2 CN 115439806 A 2的点， 剔除其 余点， 获得包围物体的空间集 点； 步骤15、 采用Del aunay三角剖析算法， 使用三角形平面拟合目标物体表面， 将步骤14所 获取的空间点集投影到某一平面， 对该平面上 的点集进行剖分， 将剖分得到的三角网还原 到空间中， 实现物体三角化模型， 即三维物体模型； 步骤16、 采用相同的方法获得场景图模型， 将三维物体模型与场景图模型结合形成完 整的含待识别物体模型的三维场景图。 5.根据权利要求4所述的基于机器狗的红火蚁巢穴识别和投药方法， 其特征在于， 将所 述三维模型数据集采用模型渲染和坐标变换构建YOLOX模型标准的COCO输入数据集， 对所 述YOLOX模型进行训练， 包括： 步骤21、 构建模型渲染函数： R(Mo， Mb， po， eo， to， pw， ew， hi， wi， L)； 其中， R为场景渲染 函数， Mo为待测物体3D模型， Mb为场景背景模型， po、 eo、 to分别为Mo在M中的中心点坐标、 Euler角、 纹理参数， pw， ew分别为图像窗口在M中的中心点坐标和Euler角； hi， wi分别为输 出图像的高度与宽度， L 为三维场景图的光照条件； 步骤22、 将所述三维场景图多次通过渲染函数获得原始数据集， 在原始数据集的标记 中边框界的左上顶 点坐标、 右下顶点坐标以及图像宽高计算得到边界框的中心 点坐标、 宽、 高以及图像宽高的相对比例； 步骤23、 利用步骤22中所得的所述相对比例将三维场景 图转换为YOLOX标准COCO数据 集。 6.根据权利要求1所述的基于机器狗的红火蚁巢穴识别和投药方法， 其特征在于， 将所 述三维模型数据集采用模型渲染和坐标变换构建YOLOX模型标准的COCO输入数据集， 对所 述YOLOX模型进行训练， 包括： 步骤31、 将处 理为COCO格式的大小不 一的红火蚁巢穴模型 数据集输入到 YOLOX模型； 步骤32、 将输入数据经过Backbone主干特征提取网络， 该层网络的输出为在原图像模 型上进行相应的放缩得到的三个不同尺寸的有效特征层， 与 原图像模型大小H*W相比， 三个 特征层的输出分别为H /8*W/8,H /16*W/16,H/32*W/32， 其中， H和W分别为图像的高和宽； 步骤33、 将步骤32中的三个特征层分别经过FPN层和PAN层， 获得三个原特征图大小的 输出， 接着 将该输出作为Decouple  Head层的输入； 步骤34、 在Decouple  Head层中， 特征图以解耦头的方式对特征图进行分离分类以及定 位操作， 最终通过分类和回归 任务获得 特征图中的目标类别、 位置信息和I oU； 步骤35、 为了便于远程对机器狗的目标识别模型进行精准训练， 通过搭建训练网站 的 方式实现与机器狗的通信并实时操作其模型的训练。 7.根据权利要求6所述的基于机器狗的红火蚁巢穴识别和投药方法， 其特征在于， 通过 搭建训练网站的方式实现与机器狗的通信， 包括： 步骤41、 基于python第三方库Flask所构建的轻量级网站通过内网穿透服务搭建服务 器并将网站部署到公网上； 步骤42、 将YOLOX模型部署到网站中， 便于远程实现模型的训练以及可视化超参数的调 节； 步骤43、 根据网站功能的划分设置训练部分与预测部分， 训练部分用于技术人员对于 不同模型的效果进行评估， 预测部 分用于检测不同模型的识别情况以便根据实际情况选择权　利　要　求　书 2/3 页 3 CN 115439806 A 3