(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211050255.X (22)申请日 2022.08.31 (71)申请人 南京工程学院 地址 211167 江苏省南京市江宁区科 学园 弘景大道1号 (72)发明人 王超　杨洁　孟琳　余雨　李飞　 朱佳佳　 (74)专利代理 机构 南京钟山专利代理有限公司 32252 专利代理师 王楠 (51)Int.Cl. G06V 20/52(2022.01) G06V 20/70(2022.01) G06V 10/26(2022.01) G06V 10/44(2022.01)G06V 10/20(2022.01) G06V 10/143(2022.01) G06V 10/60(2022.01) G06V 10/82(2022.01) G06V 10/94(2022.01) G06T 5/50(2006.01) G06T 7/33(2017.01) G06T 7/35(2017.01) G06T 7/13(2017.01) G06T 7/136(2017.01) (54)发明名称 一种风电机舱电气设备 热故障识别方法 (57)摘要 本发明提供一种全天候、 低成本的风电机舱 电气设备热故障识别方法， 基于光敏传感器的自 适应调节摄像模组， 可克服目标识别中由于夜晚 造成的光照条件不足的弊端； 基于红外阵列传感 器的红外模组， 通过温度可视化转化为红外图 像， 解决红外设备低成本化的问题； 基于多模态 的可见光红外图像配准算法， 并利用图像融合技 术增强图像质量， 解决原始边缘细 节保留不充分 问题； 基于深度学习的目标检测， 从融合图像中 分割出电气设备， 并对其进行轮廓提取。 本发明 方法不仅能够替代人工巡检， 并且相比于传统的 对红外图像识别方法， 更加稳定可靠， 对风机机 舱内部电气设备热故障规律的可靠性研究具有 重要意义， 对风机组运维管理优化有积极帮助。 权利要求书2页 说明书4页 附图1页 CN 115410154 A 2022.11.29 CN 115410154 A 1.一种风电机舱电气设备 热故障识别方法， 其特 征在于， 包括以下步骤： S1、 获取风电机舱电气设备的可 见光图像、 与可 见光图像对应的红外温度矩阵； S2、 把红外温度矩阵可视化为红外图像， 并使用双线性插值对其进行超分处理， 得到高 分辨率红外图像； S3、 使用生成对抗网络对可 见光图像进行超分处 理， 得到高分辨 率可见光图像； S4、 使用自适应 阈值的曲率尺度空间角点检测与随机抽样一致性算法对可见光与红外 图像进行角点匹配与配准； S5、 利用图像融合卷积神经网络将对应两种图像融合， 同时根据光敏传感器将光照条 件分为正常光照与低光照两种情况； 正常光照时， 以可见光100％+红外0％的比例融合； 低 光照时， 以夜视可 见光(黑白)10 0％+红外 0％的比例融合， 得到融合图像； S6、 使用labelImg软件对融合图像中的线缆接口进行标注， 生成xml文件， 制作标注数 据集； S7、 设置深度学习网络YOLOv4训练参数， 采用标注数据集对网络进行训练， 得到目标电 气设备网络模型， 并以此检测出目标区域的瞄点框； S8、 采用Mask  RCNN深度网络对含有目标区域的瞄点框进行目标分割， 得到目标轮廓区 域。 2.根据权利要求1所述的风电机舱电气设备 热故障识别方法， 其特 征在于， S1中， 所述获取电气设备的可见光图像、 与可见光图像对应的红外温度矩阵， 具体包 括： 将配有可夜视可见光相机和红外阵列传感器安装在巡检机器人上， 将红外阵列传感器 对准目标电气设备， 同时拍摄对应可 见光图像。 3.根据权利要求1所述的风电机舱电气设备 热故障识别方法， 其特 征在于， S2中， 红外温度矩阵为256*192规格， 采用Opencv中的applyColorMap函数将温度区间 映射在COLORMAP_JET色域中， 最终输出红外伪彩图， 完成 温度可视化； 双线性插值实现过程： 首个像素之前插入2个点， 最后一个像素之后插入1个点， 但在下 次插值时， 应首个之前插值1个点， 末个 像素之后插值2个点， 以达 到图像平衡。 4.根据权利要求1所述的风电机舱电气设备 热故障识别方法， 其特 征在于， S3中， 选取ESRGAN 生成对抗网络的预训练模型对可 见光进行超分处 理。 5.根据权利要求1所述的风电机舱电气设备 热故障识别方法， 其特 征在于， S4中， CSS角点检测与RANSAC匹配算法对可见光与红外图像进行角点匹配与配准过程 如下： S4.1、 提取边 缘图中所有的连续轮廓并存为元 胞数组； S4.2、 向另一个方向提取边 缘； S4.3、 将轮廓元 胞数组中的起始点存起 来并判定是否为闭合轮廓； S4.4、 还原边 缘图像； S4.5、 计算曲率； S4.6、 寻找曲率局部最大值作为角的候选者； S4.7、 在极值中， 奇数点是最小值， 偶数点是最大值； S4.8、 对不同长度的轮廓使用不同比例的曲率， 设置自适应局部阈值， 并对长轮廓线的权　利　要　求　书 1/2 页 2 CN 115410154 A 2绝对曲率 函数进行平 滑处理， 与自适应局部阈值比较， 去除假角； S4.9、 RANSAC算法删除误匹配点； S4.10、 得到结果。 6.根据权利要求1所述的风电机舱电气设备 热故障识别方法， 其特 征在于， S6中， 使用labelImg软件人工对图像中目标电气设备进行标注时， 应将图像中所有清 晰目标区域标注， 如果图像失焦模糊， 则将图片删除。 7.根据权利要求1所述的风电机舱电气设备 热故障识别方法， 其特 征在于， S7中， 利用YOLO  v4检测目标时， 置信度设为0.9。权　利　要　求　书 2/2 页 3 CN 115410154 A 3