(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210895275.0 (22)申请日 2022.07.26 (71)申请人 北京百度网讯科技有限公司 地址 100085 北京市海淀区上地十街10号 百度大厦2层 (72)发明人 杨喜鹏　何悦　张为明　张伟　 李莹莹　谭啸　孙昊　丁二锐　 (74)专利代理 机构 北京市汉坤律师事务所 11602 专利代理师 姜浩然　吴丽丽 (51)Int.Cl. G06V 10/44(2022.01) G06V 10/82(2022.01) G06N 3/08(2006.01) G06N 3/04(2006.01) (54)发明名称 目标检测方法、 神经网络及其训练方法、 设 备和介质 (57)摘要 本公开提供了一种目标检测方法、 神经网络 及其训练方法、 设备和介质， 涉及人工智能领域， 具体涉及图像处理、 计算机视觉和深度学习等技 术领域。 目标检测方法包括： 利用第一候选区域 预测子网络确定待检测图像中的至少一个第一 候选区域， 以得到至少一个第一候选区域各自的 第一几何特征； 利用第一图像特征提取子网络确 定至少一个第一候选区域中的每一个第一候选 区域第一图像特征； 针对至少一个第一候选区域 中的每一个第一候选区域， 利用第一特征融合子 网络至少将该第一候选区域的第一图像特征和 第一几何特征进行特征融合， 以得到该第一候选 区域的第一候选特征； 利用检测子网络对至少一 个第一候选区域各自的第一候选特征进行处理， 以得到目标检测结果。 权利要求书6页 说明书14页 附图6页 CN 115100431 A 2022.09.23 CN 115100431 A 1.一种基于神经网络的目标检测方法， 所述神经网络包括第一候选区域预测子网络、 第一图像特 征提取子网络、 第一特 征融合子网络、 以及检测子网络， 所述方法包括： 利用所述第 一候选区域预测子网络确定待检测图像中的至少一个第 一候选区域， 以得 到所述至少一个第一候选区域各自的第一几何特征， 所述第一几何特征指示对应的第一候 选区域的尺寸、 形状、 或位置中的至少一 者； 利用所述第一图像特征提取子网络确定所述至少一个第一候选区域中的每一个第一 候选区域第一图像特 征； 针对所述至少一个第 一候选区域中的每一个第 一候选区域， 利用所述第 一特征融合子 网络至少将该第一候选区域的第一图像特征和 第一几何特征进行特征融合， 以得到该第一 候选区域的第一 候选特征； 以及 利用所述检测子网络对所述至少一个第 一候选区域各自的第 一候选特征进行处理， 以 得到目标检测结果。 2.根据权利要求1所述的方法， 其中， 利用所述第 一候选区域预测子网络确定待检测图 像中的至少一个第一 候选区域包括： 确定所述至少一个第 一候选区域各自的第 一置信度 特征， 所述第 一置信度特征指示对 应的第一 候选区域中包括目标对象的置信度， 其中， 针对所述至少一个第一候选区域中的每一个第一候选区域， 利用所述第一特征 融合子网络 至少将该第一 候选区域的第一图像特 征和第一几何特 征进行特征融合包括： 针对所述至少一个第 一候选区域中的每一个第 一候选区域， 利用第 一特征融合子网络 至少将该第一候选区域的第一图像特征、 第一几何特征、 以及第一置信度特征进行特征融 合， 以得到该第一 候选区域的第一 候选特征。 3.根据权利要求1或2所述的方法， 其中， 所述神经网络还包括第一属性预测子网络， 所 述方法还 包括： 利用所述第 一属性预测子网络确定所述至少一个第 一候选区域各自的第 一属性特征， 所述第一属性特征指示对应的第一候选区域中的目标对象的以下属性中的至少一个： 颜 色、 形状、 是否被遮挡 、 是否被截断、 或朝向， 其中， 针对所述至少一个第一候选区域中的每一个第一候选区域， 利用所述第一特征 融合子网络 至少将该第一 候选区域的第一图像特 征和第一几何特 征进行特征融合包括： 针对所述至少一个第 一候选区域中的每一个第 一候选区域， 利用第 一特征融合子网络 至少将该第一候选区域的第一图像特征、 第一几何特征、 以及第一属性特征进 行特征融合， 以得到该第一 候选区域的第一 候选特征。 4.根据权利要求1所述的方法， 其中， 所述检测子网络包括特征强化子网络和结果生成 子网络， 其中， 利用所述检测子网络对所述至少一个第一候选区域各自的第一候选特征进 行处理包括： 针对所述至少一个第 一候选区域中的每一个候选区域， 利用所述特征强化子网络基于 所确定的与所述至少一个第一候选区域对应的至少一个第一候选特征对该第一候选区域 的第一候选特征进行强化， 以得到该第一 候选区域的强化后的第一 候选特征； 以及 利用所述结果生成子网络对所述至少一个第一候选区域中的每一个第一候选区域的 强化后的第一 候选特征进行处 理， 以得到该第一 候选区域的目标检测结果。权　利　要　求　书 1/6 页 2 CN 115100431 A 25.根据权利要求1所述的方法， 其中， 所述神经网络还包括不同于所述第 一候选区域预 测子网络的第二候选区域预测子网络、 第二图像特征提取子网络、 第二特征融合子网络、 匹 配子网络、 以及第三特 征融合子网络， 所述方法还 包括： 利用所述第 二候选区域预测子网络确定所述待检测图像中的至少一个第 二候选区域， 以得到所述至少一个第二候选区域各自的第二几何特征， 所述第二几何特征指示对应的第 二候选区域的尺寸、 形状、 或位置中的至少一 者； 利用所述第二图像特征提取子网络确定所述至少一个第二候选区域中的每一个第二 候选区域的第二图像特 征； 针对所述至少一个第 二候选区域中的每一个第 二候选区域， 利用所述第 二特征融合子 网络至少将该第二候选区域的第二图像特征和 第二几何特征进行特征融合， 以得到该第二 候选区域的第二 候选特征； 利用所述匹配子网络将所述至少一个第一候选区域和所述至少一个第二候选区域进 行匹配， 以得到至少一个候选区域匹配对， 所述候选区域匹配对包括所述至少一个第一候 选区域中的一个第一 候选区域和所述至少一个第二 候选区域中的一个第二 候选区域； 以及 针对所述至少一个候选区域匹配对中的每一个候选区域匹配对， 利用所述第 三特征融 合子网络将该候选区域匹配对所包括的第一候选区域的第一候选特征和该候选区域匹配 对所包括的第二候选区域的第二候选特征进 行融合， 以得到该候选区域匹配对的融合候选 特征， 其中， 利用所述检测子网络对所述至少一个第 一候选区域各自的第 一候选特征进行处 理包括： 利用所述检测子网络对所述至少一个候选区域匹配对各自的融合候选特征进行处理， 以得到所述目标检测结果。 6.根据权利要求5所述的方法， 其中， 基于所述至少一个第 一候选区域各自的几何信 息 和所述至少一个第二候选区域各自的几何信息， 将所述至少一个第一候选区域和所述至少 一个第二 候选区域进行匹配。 7.根据权利要求1所述的方法， 其中， 针对所述至少一个第 一候选区域中的每一个第 一 候选区域， 利用所述第一特征融合子网络至少将该第一候选区域的第一图像特征和第一几 何特征进行特征融合， 以得到该第一 候选区域的第一 候选特征包括： 针对所述至少一个第 一候选区域中的每一个第 一候选区域， 利用所述第 一特征融合子 网络至少将该第一候选区域的第一图像特征和 第一几何特征进行拼接， 以得到该第一候选 区域的第一 候选特征。 8.一种神经网络的训练方法， 所述神经网络包括第一候选区域预测子网络、 第一图像 特征提取子网络、 第一特 征融合子网络、 以及检测子网络， 所述方法包括： 获取样本图像和所述样本图像的真实目标检测结果； 利用所述第一候选区域预测子网络确定所述样本图像中的至少一个第一样本候选区 域， 以得到所述至少一个第一样本候选区域各自的第一样本几何特征， 所述第一样本几何 特征指示对应的第一 候选区域的尺寸、 形状、 或位置中的至少一 者； 利用所述第一图像特征提取子网络确定所述至少一个第一样本候选区域中的每一个 第一样本候选区域的第一样本图像特 征；权　利　要　求　书 2/6 页 3 CN 115100431 A 3