(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211228248.4 (22)申请日 2022.10.09 (71)申请人 天津大学 地址 300072 天津市南 开区卫津路9 2号 (72)发明人 冯伟　韩瑞泽　颜昊旻　王立凯　 王松　 (74)专利代理 机构 天津市北洋 有限责任专利代 理事务所 12 201 专利代理师 韩帅 (51)Int.Cl. G06V 20/52(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/25(2022.01) G06V 10/44(2022.01)G06V 10/74(2022.01) G06V 10/82(2022.01) (54)发明名称 一种针对密集人群场景多层次行为识别的 方法 (57)摘要 本发明公开了一种针对密集人群场景多层 次行为识别的方法， 步骤s1， 通过卷积神经网络 提取场景中对应的特征向量； 步骤s2， 根据场景 中对应的特征向量构建初始 基础图神经网络； 步 骤s3， 基础图神经网络特征向量计算获得图像相 似度矩阵E； 步骤s4， 所述基础图神经网络计算行 人两两之间的空间距离矩阵D； 步骤s5， 基础图神 经网络根据相似度矩阵E和空间距离矩阵D获得 关系矩阵R； 步骤s6， 基础神经网络采用关系矩阵 R更新场景中特征向量； 步骤s7， 分层图网络对更 新特征向量进行两次聚合获得行人特征nI、 分组 特征nP、 全局特征nG； 步骤s8、 多层感知机网络获 得动作类别预测结果； 该方法实现了对场景中多 层次动作信息的一次性识别， 提高了行为识别效 率。 权利要求书2页 说明书8页 附图1页 CN 115457480 A 2022.12.09 CN 115457480 A 1.一种针对密集人群场景多层次行为识别的方法， 所述方法基于卷积神经网络、 基础 图神经网络、 分层图神经网络和多层感知机网络； 其特 征在于； 包括如下步骤： 步骤s1， 通过 卷积神经网络提取场景中行 人目标检测框对应的特 征向量b1,b2,...,bn； 步骤s2， 根据场景中对应的特 征向量构建初始基础图神经网络； 步骤s3， 所述基础图神经网络特征向量两两之间计算相似度计算获得目标相似度矩阵 E； 步骤s4， 所述基础图神经网络采用面积归一化的空间距离度量方法计算行人两两之间 的空间距离矩阵D； 步骤s5， 所述基础图神经网络根据相似度矩阵E和空间距离矩阵D获得关系矩阵R； 步骤s6， 所述基础神经网络采用关系矩阵R更新场景中特 征向量； 步骤s7， 所述分层图网络对更新特征向量进行两次聚合获得行人特征nI、 分组特征nP、 全局特征nG； 步骤s8、 所述多层感知机网络按照如下公式获得动作类别预测结果： aG＝Fg(nG) 其中： aI为单体行为识别结果， aP为分组的行为识别结果， aG为场景整体行为识别结果。 2.根据权利要求1所述的一种针对密集人群场景多层次行为识别的方法， 其特征在于： 所述基础图神经网络特征向量两两之间计算相似度， 从而获得图像相似度矩阵E， 过程如 下： 对场景中的行人进行建图G＝(N,E)； 其 中N表示途中的节点信息， E表示图中的边信息； 即节点相似度矩阵。 图的节点N初始化为步骤(1)中提取的深度特征， 对于节点u和v,其对应的图的边信息 的计算公式为： eu,v＝F1(fu)F2(fv)T,u,v∈N 其中F1、 F2为多层感知机网络结构， fu、 fv分别代表节点u和节点v对应的特征。 边信息 eu,v 则表示节点u和v的相似度。 通过计算任意两节点的相似度， 可以得到整个图的相似度矩阵 E。 3.根据权利要求2所述的一种针对密集人群场景多层次行为识别的方法， 其特征在于： 所述基础神经网络采用关系矩阵R更新场景中特 征向量过程： 根据初始化的图网络与计算得到的相似度矩阵， 对图网络的节点信息进行更新， 具体 步骤如下： 利用下述公式更新图节点信息： 其中Fn为一个由全连接层构成的节点更新网络， fu， f’u分别为更新前后的节点特征， 节 点v表示与节点u 有连接的节点， eu,v在上述步骤计算得到； 对更新前后的节点特 征进行聚合， 具体公式为：权　利　要　求　书 1/2 页 2 CN 115457480 A 2可以得到 为最终的行人特征， 下标u表示该特征对应的行人编号为u， 运算符 表示 特征向量中元 素的按位对应相加。 4.根据权利要求1所述的一种针对密集人群场景多层次行为识别的方法， 其特征在于： 所述基础图神经网络采用面积归一化的空间距离度量方法计算行人两两之间的空间距离 矩阵D； 利用面积归一 化的空间距离度量方法计算行 人之间的初始空间距离， 公式如下： 其中： xu， xv为检测框下边沿中点 的横坐标， yu， yv为检测框下边沿中点的纵坐标； Su、 Sv 为检测框的面积； 利用如下公式计算空间距离蒙版矩阵 其中： ρ 为预 先设定的超参数。 5.根据权利要求3所述的一种针对密集人群场景多层次行为识别的方法， 其特征在于： 所述基础图神经网络根据相似度矩阵E和空间距离矩阵D按照如下公式获得关系矩阵R； 其中： 其中 由权利要求3所述由距离矩阵D计算得到， λ为预先设定的超参数， 用于平 衡 相似度矩阵与空间距离矩阵之间的权 重，⊙代表矩阵对应元 素相乘。 6.根据权利要求1所述的一种针对密集人群场景多层次行为识别的方法， 其特征在于： 所述分层图网络对更新特征向量进 行两次聚合获得行人特征nI、 分组特征nP、 全局特征nG过 程； 根据关系矩阵R利用聚类算法获取 行人分组预测结果； 使用聚合网络对每个分组中的所有行人特征nI进行按照如下公式聚合获取分组特征 nP： 其中： 下标k表示该特征对应的分组编号为k， 即第k个分组Gk， 表示所有属于该分组 的全部行 人的对应特 征， AiO表示特 征聚合操作。 表示第k个分组对应的分组特 征； 使用聚合网络对分组特征nP以及不属于任何分组的行人特征nI进行按照如下公式聚合 获取全局特 征nG： 其中： 表示u不属于任意分组， 即未参与分组的单人特征 表示全部分组形 成的分组特 征 nG表示聚合得到的全局特 征。权　利　要　求　书 2/2 页 3 CN 115457480 A 3