(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211272888.5 (22)申请日 2022.10.18 (71)申请人 中国计量大 学 地址 310018 浙江省杭州市下沙学源街258 号中国计量大 学 (72)发明人 张莉莉　王修晖　王亚茹　李学盛　 贾波　包其富　 (51)Int.Cl. G06V 20/58(2022.01) G06V 10/25(2022.01) G06V 10/764(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) (54)发明名称 基于改进的YOLOv5车载热图像 检测 (57)摘要 本发明提供一种基于改进的YOLOv5车载热 图像检测方法， 其包括如下步骤： 首先本文使用 2018年传感器系 统开发商FLIR公司发布的自动 驾驶开源红外热成像数据集， 对 数据集中的行人 (People)、 自行车(Bicycle)、 汽车(Cars)3类目 标进行检测， 训练集8862张， 验证集1366张； 其次 采用基于YOL Ov5的深度学习的方法， 针对红外图 像分辨率低、 目标小且细节模糊的问题， 提出全 新的融入自适应空间特征融合(ASFF)的Neck部 分 和 一 种 融 合 卷 积 注 意 力 模 块 (ConvolutionalBlockAttentionMo dule， CBAM) 的CBSM模块； 接着使用EIOU损失函数替换原有的 CIOU损失函数， 加速收敛提高回归精度， 优化边 界框回归任务中的样本不平衡问题,得到一个改 进的YOLOv5网络模型。 本发明能够有效地满足体 积小和轻量化的需求， 适合部署 到车载嵌入式系 统中， 具有广阔的应用前 景。 权利要求书2页 说明书3页 附图4页 CN 115546765 A 2022.12.30 CN 115546765 A 1.一种基于改进的YOLOv5车载热图像检测方法， 包括训练阶段与检测识别阶段， 包括 以下步骤： 步骤一： 数据集的准备， 本文下载2018年传感器系 统开发商FLIR公司发布的自动驾驶 开源红外 热成像数据集， 对数据集中的行人(People)、 自行车(Bicycle)、 汽车(Cars)3类目 标进行检测， 训练集8862张， 验证集1366张， 使用Labelimg对 数据打标签， 标签文件为txt 格 式； 步骤二： 基于改进的YOLOv5深度学习方法。 针对车载红外图像分辨率低、 目标小且细节 模糊导致检测精度不高的问题， 对YOLOv5的Neck模块进行改进， 融入自适应空间特征融合 (ASFF)同时提出一种融合卷积注意力模块(Convolutional  Block Attention  Module， CBAM)的CBSM模块， 最后使用EIOU损失函数替换原有的CIOU损失函数， 加速收敛提高回归精 度， 优化边界框回归 任务中的样本不平衡问题， 最终得到一个改进的YOLOv5网络模型； (1)融入自适应空间特 征融合(ASF F)的Neck 通过将ASFF结构融合到PANet结构中， 实现了改进的特征尺度不变性的目标检测。 首先 对FPN结构进 行自上而下的语义特征提取增强， 然后在PANet结构的每一层引入ASFF算法进 行加权融合。 权值参数由卷积特征层输出， 经过梯度反向传播后权值参数变为可学习的， 使 权值融合时具有自适应能力。 X1、 X2、 X3是从YOLOv5骨干网中提取的特征映射。 首先， 从PANet结构中得到Level1、 Level2和Level3的特征映射。 然后与ASFF算法融合得到ASFF ‑2。 对Level1特征图进行卷积， 进行上采样， 得到与Level2特征图相同的通道数， 即得到X1→2。 对于Level3特征层， 通 过卷积 和下采样操作调整通道数和维度 数， 保持与Level2相同的通道数和维度 数， 得到X3→2。 通过 卷积运算后的通道数调整Level2特征层， 得到X2→2。 利用softmax函数对三个特征图进行处 理， 分别得到X1→2、 X2→2和X3→2的权重系数α、 β和γ， 然后进行ASFF融合计算。 计算公式如式 (1)所示。 是使用ASFF模型的新特征层。 和 是三个特征层的权重系数。 经softmax 函数处理后的 和 满足 和 表示从 第n层到第l层特征映射的特征向量。 通过学习权重参数的方式将不同层的特征融合到一 起[19]。 它学习了空间过滤冲突信息的方法来抑制不一致性， 从而提高了特征的尺度不变 性， 并且推理成本小。 (2)加入CBSM模块的Backbo ne 为了进一步提升YOLOv5算法在 车载热红外检测时的特征提取能力， 将CBAM注意力机制 嵌入至Backbone的CBS模块中， 其命名为CBSM。 将CBAM加入到CBS模块中， 随后融入到 Backbone中， 能过很好的提取各个特征层的特征信息， 对分辨率较低、 目标小的热 红外图目 标检测有一定的提升 。 (3)改进边界框回归损失函数 YOLOv5原始网络模型采用一种CIOU  Loss虽然考虑了边界框回归的重叠面积、 中心点权　利　要　求　书 1/2 页 2 CN 115546765 A 2距离、 纵横比。 但是通过其公式中的v反映的纵横比的差异， 而不是宽高分别与其置信度的 真实差异， 所以有时会阻碍模 型有效的优化相似性。 针对这一问题， 有 学者在CIOU的基础上 将纵横比拆开， 提出了EIOU  Loss， 并且加 入Focal聚焦优质的锚框， 其算法公式如式(2)所 示。 该损失函数包含三个部分： 重叠损失， 中心距离损失， 宽高损失， 前两部分延续CIOU中 的方法， 但是宽高损失直接使目标盒与锚盒的宽度和高度之差最小， 使 得收敛速度更快。 其 中Cw和Ch是覆盖两个Box的最小外 接框的宽度和高度。 步骤三： 准备好的数据 集， 将融入自适应空间特征融合(ASFF)的Neck、 加入CBSM模块的 Backbone、 边界框回归损失函数加 入到YOLOv5网络模型后得到改进后的模型， 利用数据集 进行训练， 得到能够精确检车 载热图像中各个 类别的网络模型； 步骤四： 利用步骤三训练后的YOLO网络模型， 对车 载热图像进行检测， 具体如下： (1)获取车载热红外图像； (2)将图像送入到本本文训练完成的YOLOv5网络模型中， 通过预测获得车载热红外图 像关于People、 Bicycle、 Cars的定位与分类结果。权　利　要　求　书 2/2 页 3 CN 115546765 A 3