(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211043661.3 (22)申请日 2022.08.29 (71)申请人 浙江大华 技术股份有限公司 地址 310051 浙江省杭州市滨江区滨安路 1187号 (72)发明人 巩海军　李中振　周经纬　于润润　 潘华东　 (74)专利代理 机构 深圳市威世博知识产权代理 事务所(普通 合伙) 44280 专利代理师 严翠霞 (51)Int.Cl. G06V 40/16(2022.01) G06V 40/10(2022.01) G06V 20/52(2022.01) G06V 10/44(2022.01)G06V 10/762(2022.01) G06V 10/764(2022.01) G06V 10/50(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06N 20/10(2019.01) G06N 20/20(2019.01) (54)发明名称 目标客流统计方法、 电子设备以及计算机可 读存储介质 (57)摘要 本申请公开了目标客流统计方法、 电子设备 以及计算机可读存储介质， 该方法包括： 获取统 计区域的视频图像； 从视频图像中检测至少一个 目标对象的图像序列； 基于图像序列对目标对象 的人脸或/和身体部位进行检测； 响应于未检测 到目标对象的人脸， 基于同一目标对象的身体部 位对应的图像序列提取目标对象的步态特征； 利 用步态特征统计统计区域的客流量。 本申请能够 利用步态特征对目标对象进行识别， 以通过关联 人体信息进行客流统计， 从而避免仅靠人脸识别 进行统计而导致的统计误差， 继而提高统计精 度， 以满足精准统计客 流的需求。 权利要求书3页 说明书13页 附图5页 CN 115482569 A 2022.12.16 CN 115482569 A 1.一种目标客 流统计方法， 其特 征在于， 包括： 获取统计区域的视频图像； 从所述视频图像中检测至少一个目标对象的图像序列； 基于所述图像序列对所述目标对象的人脸或/和身体部位进行检测； 响应于未检测到所述目标对象的人脸， 基于同一所述目标对象的身体部位对应的图像 序列提取 所述目标对象的步态特 征； 利用所述 步态特征统计所述统计区域的客 流量。 2.根据权利要求1所述的目标客流统计方法， 其特征在于， 所述基于所述图像序列对所 述目标对象的人脸或/和身体部位进行检测的步骤， 包括： 对所述图像序列进行计算， 并基于计算结果获取包括所述目标对象的最佳人体质量的 第一图像； 基于所述第一图像对所述目标对象的人脸或/和身体部位进行检测； 所述响应于未检测到所述目标对象的人脸， 基于同一所述目标对象的身体部位对应的 图像序列提取 所述目标对象的步态特 征， 包括： 响应于在所述第一图像中未检测到所述目标对象的人脸， 从所述第 一图像中检测所述 目标对象的人 形区域， 以得到所述目标对象的人 形序列； 对所述人 形序列进行步态 识别， 得到所述目标对象的步态特 征。 3.根据权利要求2所述的目标客流统计方法， 其特征在于， 所述响应于在所述第 一图像 中未检测到所述目标对 象的人脸， 从所述第一图像中检测所述 目标对象的人形区域， 以得 到所述目标对象的人 形序列的步骤， 包括： 对所述第一图像中的目标对象添加人体 检测框； 基于所述人体检测框进行分割， 得到包括所述目标对象的所述人形区域以及背景区 域； 利用所述背景区域和所述人 形区域得到所述目标对象的人 形区域掩码； 对所述人 形区域掩码进行二 值化处理， 得到所述目标对象的人 形序列。 4.根据权利要求3所述的目标客流统计方法， 其特征在于， 所述对所述图像序列进行计 算， 并基于计算结果获取包括所述目标对象的最佳 人体质量的第一图像的步骤， 包括： 对所述图像序列中的每帧图像添加人体检测框， 基于所述人体检测框对人体图像进行 计算， 得到每帧图像中所述人体图像对应的质量分数； 对多个所述质量分数进行排序， 将质量分数最大的人体图像对应的图像帧确定为所述 第一图像。 5.根据权利要求4所述的目标客流统计方法， 其特征在于， 所述步态特征通过检测模型 识别； 所述检测模型包括级联的第一图像识别模型、 人体分割模型以及步态特 征识别模型； 所述基于所述图像序列对所述目标对象的人脸或/和身体部位进行检测的步骤， 包括： 利用所述第 一图像识别模型对所述图像序列进行计算， 并基于计算结果获取包括所述 目标对象的最佳 人体质量的第一图像； 利用所述人体分割模型对所述第 一图像添加所述人体检测框， 并基于所述人体检测框 对所述第一图像中的所述人体图像进行分割及检测； 响应于在所述第一图像中未检测到所述目标对象的人脸， 利用所述人体分割 模型从所权　利　要　求　书 1/3 页 2 CN 115482569 A 2述第一图像中检测所述目标对象的人 形区域， 以得到所述目标对象的人 形序列； 通过所述步态特征识别模型对所述人形序列进行步态识别， 得到所述目标对象的步态 特征。 6.根据权利要求5所述的目标客流统计方法， 其特征在于， 所述检测模型是通过采集的 员工的图像进行训练得到的， 训练方法包括： 采集至少一个员工的图像， 对所述至少一个员工的图像添加所述人体 检测框； 基于所述人体检测框进行抠图， 获取到仅包括人体图像的矩形框， 并对所述矩形框中 的所述人体图像进行轮廓标注； 将标注后的矩形框输入到预设的第 一深度学习模型进行人体分割训练， 得到训练好的 所述人体分割模型； 将所述标注后的矩形框输入到预设的第二深度学习模型中进行质量分数计算训练以 及大小比较训练， 得到所述第一图像识别模型； 按固定帧率抽取同一个员工的标注后的矩形框， 以形成同一个员工的标注图像序列； 利用所述人体分割模型对所述同一个员工的标注图像序列中的每一帧图像进行分割， 以得到所述同一个员工的人 形序列； 将获得的每一个员工的人形序列输入到预设的第三深度学习模型进行步态特征识别 训练， 得到训练好的所述 步态特征识别模型。 7.根据权利要求1～6任一项所述的目标客流统计方法， 其特征在于， 所述利用所述步 态特征统计所述统计区域的客 流量的步骤， 包括： 利用聚类算法对所述目标对象的步态特征与存储的员工的步态特征进行聚类， 并输出 第一聚类结果； 响应于所述第 一聚类结果中聚成的簇增加， 利用所述聚类算法对所述目标对象的步态 特征与预设时间段内存 储的客户的步态特 征进行聚类， 并输出第二聚类结果； 响应于所述第二聚类结果中聚成的簇增加， 保存所述目标对象的步态特征， 触发进入 次数加1并保存触发时间， 得到进入统计结果。 8.根据权利要求7所述的目标客流统计方法， 其特征在于， 所述利用聚类算法对所述目 标对象的步态特征与存储的员工的步态特征进行聚类， 并输出第一聚类结果的步骤后， 还 包括： 响应于所述第一聚类结果中聚成的簇未增加， 确定所述目标对象为员工， 不触发进入 次数。 9.根据权利要求7所述的目标客流统计方法， 其特征在于， 所述响应于所述第 一聚类结 果中聚成的簇增加， 利用所述聚类算法对所述目标对象的步态特征与预设时间段内存储的 客户的步态特 征进行聚类， 并输出第二聚类结果的步骤后， 还 包括： 响应于所述第 二聚类结果中聚成的簇未增加， 确定所述目标对象为预设时间段内已统 计的客户， 不触发进入次数。 10.根据权利要求9所述的目标客流统计方法， 其特征在于， 所述响应于所述第二聚类 结果中聚成的簇未增加， 确定所述 目标对象为预设时间段内已统计的客户， 不触发进入次 数的步骤， 包括： 响应于所述第一图像中所述人体图像的质量分数大于匹配上的图像帧中人体图像对权　利　要　求　书 2/3 页 3 CN 115482569 A 3