(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210892821.5 (22)申请日 2022.07.27 (71)申请人 中国科学技术大学 地址 230026 安徽省合肥市包河区金寨路 96号 (72)发明人 凌强　刘梦诚　 (74)专利代理 机构 北京科迪生专利代理有限责 任公司 1 1251 专利代理师 金怡 (51)Int.Cl. G06T 7/00(2017.01) G06T 7/12(2017.01) G06T 7/13(2017.01) G06T 7/62(2017.01) G06V 10/44(2022.01)G06V 10/82(2022.01) G06N 3/08(2006.01) G06N 3/04(2006.01) (54)发明名称 基于深度学习的红外图像中光伏组件定位 和缺陷检测方法 (57)摘要 本发明涉及一种基于深度学习的红外图像 中光伏组件定位和缺陷检测方法及系统， 其方法 包括： S1： 对采集的光伏组件红外图像中光伏组 件的位置和类别进行标注； 构建光伏组件的红外 图像数据集， 按预设比例划分为训练集和测试 集； S2： 将训练集输入边缘检测网络得到光伏组 件的边缘掩膜图， 其中， 边缘检测 网络基于融合 了像素差分卷积的MobileNetV3的BottleNeck构 建， 并结合了自上而下的特征金字塔网络； S3： 将 边缘掩膜图输入轮廓筛选模块， 利用四边形建模 算法获取光伏组件的候选位置框； S4： 将根据位 置框选出的单个光伏组件图像输入训练好的改 进的ResNet网络中进行分类； 输出缺陷类光伏组 件的位置框。 本发明提供的方法更容易检测光伏 组件边缘信息， 检测速度快， 准确率高。 权利要求书1页 说明书6页 附图4页 CN 115082455 A 2022.09.20 CN 115082455 A 1.一种基于深度学习的红外图像中光伏组件定位和缺陷检测方法， 其特 征在于， 包括： 步骤S1： 对采集的光伏组件红外图像中光伏组件的位置和类别进行标注； 构建光伏组 件的红外图像数据集， 按预设比例划分为训练集和 测试集； 步骤S2： 将所述训练集输入边缘检测网络得到光伏 组件的边缘掩膜图， 其中， 所述边缘 检测网络基于融合了像素差分卷积的Mob ileNetV3的BottleNeck构建， 并结合了自上而下 的特征金字塔网络； 步骤S3： 将所述边缘掩膜图输入轮廓筛选模块， 利用四边形建模算法获取所述光伏组 件的候选位置 框； 步骤S4： 将根据位置框选出的单个光伏组件图像输入训练好的改进的ResNet网络中进 行分类； 输出缺陷类光伏组件的位置 框。 2.根据权利要求1所述的基于深度学习的红外图像中光伏组件定位和缺陷检测方法， 其特征在于， 所述步骤S2： 将所述训练集输入边缘检测网络得到光伏组件的边缘掩膜图， 其 中， 所述边缘检测网络基于融合了像素差分卷积的MobileNetV3的BottleNeck构建， 并结合 了自上而下的特 征金字塔网络， 具体包括： 将MobileNetV3的BottleNeck中深度卷积替换为像素差分卷积； 输入图像经过所述边 缘检测网络的主干网络四个 阶段依次输出四个不同尺度大小的特征图C1， C2， C3和C4， 再经 过自上而下的特征金字塔网络， 依次得到特征图F4、 F3、 F2和F1； 最后， 特征图F1经过一个卷积 层， 得到光伏组件的边 缘掩膜图。 3.根据权利要求1所述的基于深度学习的红外图像中光伏组件定位和缺陷检测方法， 其特征在于， 所述步骤S 3： 将所述边缘掩膜图输入轮廓筛选模块.利用四边形建模算法获取 所述光伏组件的候选位置 框， 具体包括： 步骤S31： 利用寻找轮廓算法获取所述光伏 组件边缘掩膜图中所有候选轮廓点集； 再利 用最小外接矩形算法得到每一个光伏组件的候选轮廓点集的候选外接矩形集合R＝{ri,i ＝1,2,…,N}， N为候选外接矩形个数； 计算每一个光伏组件所述候选外接矩形集合的面积 Ai和长宽比Ri； 确定Ai和Ri的取值范围， 筛 选得到符合条件的外 接矩形； 步骤S32： 利用外接四边形算法提取所述符合条件的外接矩形对应的轮廓点集的最小 外接四边形， 作为所述 光伏组件的候选位置 框。 4.一种基于深度学习的红外图像中光伏组件定位和缺陷检测系统， 其特征在于， 包括 下述模块： 构建数据集模块， 用于对采集的光伏组件红外图像中光伏组件的位置和类别进行标 注； 构建光伏组件的红外图像数据集， 按预设比例划分为训练集和 测试集； 获取光伏组件边缘掩膜图模块， 用于将所述训练集输入边缘检测网络得到光伏组件的 边缘掩膜图， 其中， 所述边缘检测网络基于融合了像素差分卷积的MobileNetV3的 BottleNeck构建， 并结合了自上而下的特 征金字塔网络； 获取光伏组件候选位置框模块， 用于将所述边缘掩膜图输入轮廓筛选模块.利用四边 形建模算法获取 所述光伏组件的候选位置 框； 光伏组件分类模块， 用于将根据候选位置框选出的单个光伏组件图像输入训练好的改 进的ResNet网络中进行分类； 输出缺陷类光伏组件的位置 框。权　利　要　求　书 1/1 页 2 CN 115082455 A 2基于深度学习的红外图像中光 伏组件定位和缺陷检测方 法 技术领域 [0001]本发明涉及图像识别和深度学习领域， 具体涉及 一种基于深度学习的红外图像中 光伏组件定位和缺陷检测方法及系统。 背景技术 [0002]据NASA数据显示， 过去170年内二氧化碳浓度上升了47 ％， 此种剧烈变化会导致全 球气候变暖、 作物产量降低等各种危害。 在此种大背 景下， 追求节能减排的 “碳中和”目标被 提出。 为实现这一目标， 具有 可再生和 低污染特性的清洁能源 是关键的一环， 它可以替代 化 石能源， 从源头上实现 “减碳”， 如风力， 太阳能， 核 能等。 作为最有前途的清洁能源之一， 近 几十年来太阳能的利用经历了实质性的改进。 我国的光伏产业经过半个世纪的发展也逐渐 变得成熟， 光伏产业 规模、 产能、 市场占比与总装机容 量均位于世界第一。 [0003]然而， 随着光伏产业的迅速发展， 大量的光伏(PV)太阳能发电厂正面临着运营和 维护方面的挑战。 光伏组件 具有分布广、 数量多、 故障率高的特点， 其缺陷难以清理和定位。 数以千计的太阳能电池板通常位于山区等人迹罕至的角落， 主要依靠巡查员按规定的路 线、 班次、 指 定项目执行巡查任务， 成本高、 效率低。 由于缺陷通常显示为局部过热或局部温 度异常， 红外(IR)成像被广泛用于识别光伏模块表面温度上损坏的太阳能电池板， 也称为 热成像。 与可见图像相比， 热成像可以增强对缺陷的识别并削弱背景区域的干扰。 与此同 时， 随着无人机的广泛应用， 越来越多的光伏电站开始尝试采用搭载红外摄像仪的无人机 采集光伏组件图像并利用图像识别技术对缺陷进行自主识别。 因此， 迫切需要一种能够依 据采集的图像自动识别光伏组件并对其进 行缺陷识别的方法， 来助力未来光伏电站的高效 运维， 从而促进中国光伏产业的稳定发展， 为优化能源产业结构和可持续发展添砖加瓦。 [0004]目前， 光伏组件的缺陷诊断任务可以分为定位和分类两个子任务， 根据所采用的 技术和手段， 大致可分为 三类： [0005]基于统计学的方法。 该类方法假定光伏组件的温度数据服从某一数据分布， 通过 不满足该分布的异常数据来反映故障点。 如Dotenco等人提出了一种在无人机下的红外图 像光伏组件自动检测和分析方法， 首先利用统计学下的高斯分布对光伏组件的红外图像的 温度进行建模， 有效地检测到了光伏组件区域， 再通过光伏组件区域的温度中位数、 直方图 与 Q值检验法识别光伏组件中的过 热区域。 [0006]基于机器视觉的方法。 该类方法使用手工设计的特征描述符来区分光伏组件和背 景区域， 再对定位后的光伏组件通过支持向量机等机器学习 方法来区分故障和正常类别。 如 Vega Díaz等人针对复杂背景下的低对比度光伏组件红外图像， 提出了一种基于经典机 器学习的算法， 首先经过预 处理加强图像对比度， 再使用基于多种高斯核并联的改进Canny 算法定位 光伏组件， 最后对定位的光伏组件使用SVM进行故障组件判别。 [0007]基于深度学习的方法。 该类方法借助了卷积神经网络强大的多层次特征提取能 力， 且不依赖手工提取特征， 使用边缘检测、 图像分类等各类计算机视觉领域的成果， 相比 前两种方法能够更加精确地进行光伏组件的缺陷识别， 且鲁棒 性更强。说　明　书 1/6 页 3 CN 115082455 A 3