(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210950557.6 (22)申请日 2022.08.09 (71)申请人 苏州荟诗 科技有限公司 地址 215156 江苏省苏州市吴中区木渎镇 珠江南路1066号金枫创意商务中心1 号楼1113D室 (72)发明人 吴瑶　胡亚清　王聪睿　顾善植　 王刚　 (74)专利代理 机构 苏州欣达共创专利代理事务 所(普通合伙) 3240 5 专利代理师 戴丽 (51)Int.Cl. G06V 20/52(2022.01) G06V 10/44(2022.01) G06V 10/764(2022.01)G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种偏移量 解耦的可变形 卷积方法 (57)摘要 本发明公开了一种偏移量解耦的可变形卷 积方法， 目的是解决可变形卷积偏移量随网络参 数初始化的随机值剧烈波动容易导致可变形卷 积采样点的堆积错乱问题， 增强可变形卷积的特 征采样能力。 技术方案是将传统可变形卷积模块 中的偏移量图解耦成初始偏移量图和尺度图的 乘积， 并通过定义额外的损失在深度学习训练过 程中对初始偏移量和尺度进行约束。 经验证， 在 数据集SHA上， 使用本方法的平均误差人数达到 62.3， 相比传统方法降低了1.8； 在数据集SHB上， 使用本方法的平均误差人数达到8.3， 相比传统 方法降低了0.4， 实验表明本发明可以有效提升 可变形卷积的性能。 偏移量解耦的可变形卷积是 通用模块， 不限于人群密度估计领域， 可在多个 领域替换可变形卷积进行应用。 权利要求书2页 说明书6页 附图3页 CN 115410146 A 2022.11.29 CN 115410146 A 1.一种偏移量 解耦的可变形 卷积方法， 其特 征在于， 包括以下步骤： 步骤1： 搭建卷积神经网络模型， 嵌入偏移量解耦的可变形卷积模块(Offset ‑ decoupled  Deformable  Convolution,ODConv)； 步骤2： 定义额外的损失函数对初始偏移量与尺度进行约束， 并设计权重系数加入总体 损失函数； 步骤3： 将数据集作为输入进行训练， 不断调整网络参数， 根据准确率和损失函数获得 最优训练模型； 步骤4： 将使用本发明的模型结果与没有使用可变形卷积的Baseline和嵌入传统可变 形卷积的模型做对比， 验证模型 可行性。 2.根据权利要求1所述的偏移量解耦的可变形卷积， 其特征在于， 步骤1所述的ODConv 将输入特征图分别经过卷积层Pre_Offset  Conv和Scale  Conv得到初始偏移量图Pre_ Offset map和尺度图Scale  map， 然后将Pre_Offset  map和Scale  map逐位置相乘， 进而得 到偏移量图Offset  map， 最后利用Offset  map对输入特征图做可变形卷积得到输出特征 图， 如图2所示。 3.根据权利要求1所述的偏移量解耦的可变形卷积， 其特征在于， 步骤1所述的ODConv 可以应用到所有可用可变形卷积的领域， 替换可变形卷积模块(Deformable  Convolution, DConv)， 结构如图1所示， 不限于人群密度估计。 4.根据权利要求1所述的偏移量解耦的可变形卷积， 其特征在于， 步骤2所述的额外损 失函数包括对于Scale  map的约束损失Scale  loss和对于Pre_Offset  map的约束损失Pre_ Offset loss， 具体定义如下： Scale loss： 其中S为Scale  map， St为Target  scale map， St的每 个值设置为1， N 为每个批次的图像数目。 Pre_Offset  loss： 其中Off为Pre_Offset  map， Offt为Target   pre_offset map， Offt的每个值为0。 5.根据权利要求1所述的偏移量解耦的可变形卷积， 其特征在于， 步骤2所述的额外损 失函数以权 重 λ加入总体损失函数， 公式如下： lall＝ λ(ls+lp)+lden 其中， 为密度图损失， Yi是真实密度图， Ii是输入图， N是 batch size， Θ是网络参数， P(Ii； Θ)为估计的密度图。 6.根据权利 要求1所述的偏移量解耦的可变形卷积， 其特征在于， 为验证ODConv对于人 群密度估计(Crowd  Counting)领域的通用性所设计的实验均为本发明保护的范围， 针对密 集人群场景和稀疏 人群场景分别采用SHA、 SHB数据集进行验证。 7.根据权利要求2所述的偏移量解耦的可变形卷积， 其特征在于， 输入特征图尺寸为 channel*height*weight， 初始偏移量图Pre_Offset  map、 尺度图Scale  map、 偏移量图 Offset map尺寸均为9* height*weight， 每 个空间位置对应9个采样点的偏移量。权　利　要　求　书 1/2 页 2 CN 115410146 A 28.根据权利要求2所述的偏移量解耦的可变形卷积， 其特征在于， Pre_Offset  Conv卷 积层后加入了激活函数Tanh以保证Pre_Offset  map的值在 ‑1～1之间， Scale  Conv卷积层 后加入了 激活函数ReLU以保证Scale  map的值非负。 9.根据权利5所述的偏移量解耦的可变形卷积， 其特征在于， 权重λ 随时间进行改变， 对 于第T个epoc h， 权重系数为 λT， 公式如下： 10.根据权利要求6所述的偏移量解耦的可变形卷积， 其特征在于， 验证实验采用 的 Baseline为CSRNet网络， 通过替换最后一层膨胀卷积为传统可变形卷积或偏移量解耦的可 变形卷积进行对比， 模型 结构如图3所示。 11.根据权利要求6所述的偏移量解耦的可变形卷积， 其特征在于， 验证实验采用的训 练参数为： 参数 设置 Batchsize 24 优化器 Adam 学习率 0.0001 Patchsize 400*400 λ01 k 0.2 m 50 step 50 12.根据权利要求6所述的偏移量解耦的可变形卷积， 其特征在于， 对比验证实验评估 指标为平均每张图误差人 数， 结果如下： SHA SHB Baseline 65.0 9.0 CSRNet(DCo nv) 64.1 8.7 CSRNet(ODCo nv) 62.3 8.3 偏移量解耦的可变形卷积ODConv相比于传统可变形卷积DConv， 在多个数据集上均具 有更高的性能。权　利　要　求　书 2/2 页 3 CN 115410146 A 3