(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210958234.1 (22)申请日 2022.08.11 (71)申请人 深圳市爱深盈通信息技 术有限公司 地址 518000 广东省深圳市南 山区西丽 街 道曙光社区TCL国际E城G3 栋1001 (72)发明人 何厚峰　周有喜　 (74)专利代理 机构 深圳市嘉勤知识产权代理有 限公司 4 4651 专利代理师 辛鸿飞 (51)Int.Cl. G06V 40/10(2022.01) G06V 20/52(2022.01) G06V 10/34(2022.01) G06V 10/44(2022.01) G06V 10/764(2022.01)G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 跌倒检测方法、 装置、 设备终端和可读存储 介质 (57)摘要 本申请涉及跌倒检测方法、 装置、 设备终端 和可读存储介质， 该跌倒检测方法包括： 基于 YOLOv5目标检测模型， 对输入的视 频帧图像数据 中的行人进行检测， 以输出得到人形目标图像； 将预设数量的人形目标数据帧图输像入至预设 时间段网络进行判断， 以得到对应的人体动作类 别信息； 根据所述人体动作类别信息， 判断对应 人体是否处于跌倒状态， 上述跌倒检测方法在不 同的场景覆盖情况下能够准确的对人体跌倒状 态进行判断。 权利要求书2页 说明书6页 附图6页 CN 115035552 A 2022.09.09 CN 115035552 A 1.一种跌倒检测方法， 其特 征在于， 包括： 基于YOLOv5目标检测模型， 对输入的视频帧图像数据中的行人进行检测， 以输出得到 人形目标图像； 将预设数量的人形目标数据帧图输像入至预设时间段网络进行判断， 以得到对应的人 体动作类别 信息； 根据所述人体动作类别 信息， 判断对应人体是否处于跌倒状态。 2.根据权利 要求1所述的跌倒 检测方法， 其特征在于， 所述YOLOv5目标检测模型包括依 次连接的输入层、 特征提取层、 预测输出层和图像输出处理层， 所述基于Y OLOv5目标检测模 型， 对输入的视频帧图像数据中的行 人进行检测， 以输出 得到人形目标图像的步骤 包括： 基于所述输入层、 所述特征提取层和所述预测输出层， 对输入的视频帧图像数据中的 行人进行检测， 得到初步人 形目标图像； 基于所述图像输出处理层， 对所述初步人形目标图像的大小进行调整， 以得到正方形 的人形目标图像。 3.根据权利要求2所述的跌倒检测方法， 其特征在于， 所述基于所述图像输出处理层， 对所述初步人 形目标图像的大小 进行调整， 以得到正方 形的人形目标图像的步骤 包括： 基于所述图像输出处理层， 获取所述初步人形目标图像， 判断所述初步人形目标图像 是否为正方形； 若否， 则获取 所述初步人 形目标图像中的最长边； 根据所述初步人形目标图像中的最长边计算缩放系数， 根据所述缩放系数对所述初步 人形目标图像进行缩放， 得到缩放后的初步人 形目标图像； 以所述缩放后的初步人形目标图像的最长边为基准边长， 输出正方形的人形目标图 像。 4.根据权利要求3所述的跌倒检测方法， 其特征在于， 所述以所述缩放后的初步人形目 标图像的最长边 为基准边长， 输出正方 形的人形目标图像的步骤 包括： 以所述缩放后的初步人形目标图像的最长边为基准边长， 生成对应的黑色正方形背景 图； 将所述缩放后的初步人形目标图像中的最长边与所述黑色正方形背景图中的一边相 对齐， 生成并输出正方 形的人形目标图像。 5.根据权利要求2所述的跌倒检测方法， 其特征在于， 所述特征提取层和所述预测输出 层之间还设置有平滑网络层， 所述基于YOLOv5目标检测模型， 对输入的视频帧图像数据中 的行人进行检测， 以输出 得到人形目标图像的步骤 包括： 基于所述输入层和所述特征提取层， 对输入的视频帧图像数据进行处理， 提取得到对 应目标的中间特 征图； 获取相邻视频帧图像数据中同一目标 各自对应的中间特 征图； 基于所述平滑网络层对输入的各个中间特征图进行平滑 处理， 获取相邻 视频帧图像数 据中同一目标 各自对应中间特 征图之间的速度、 位置、 加速度以及面积的变化信息； 将所述变化信息输入到所述预测输出层进行特征融合， 以输出得到初步人形目标图 像； 基于所述图像输出处理层， 对所述初步人形目标图像的大小进行调整， 以得到正方形权　利　要　求　书 1/2 页 2 CN 115035552 A 2的人形目标图像。 6.根据权利 要求5所述的跌倒 检测方法， 其特征在于， 所述YOLOv5目标检测模型中对应 的损失函数为： 其中， Loss为YOLOv5目标检测模型中对应的损失函数， Lcls为分类损失， 为Lcls的对应 系数， Lobj为目标损失， 为Lobj的对应系数， Lloc为平滑处理损失， 为Lloc的对应系数， C为 目标检测框中的关键坐标点数目， T为所述中间特征图对应的视频帧图像数据的总帧数， t 为帧变量， 表示第t帧视频帧图像数据所对应的目标检测框经过所述平滑处理后的预 测值， i表示关键坐标点变量， Yi,t表示第t帧视频帧图像数据所对应的目标检测框的真实 值。 7.根据权利 要求5所述的跌倒 检测方法， 其特征在于， 所述特征提取层包括backbone单 元、 空间效率度量单元和Neck单元， 所述基于所述输入层和所述特征提取层， 对输入的视频 帧图像数据进行处 理， 提取得到对应目标的中间特 征图的步骤 包括： 基于所述输入层和所述backbone单元， 对输入的视频帧图像数据进行切 片操作以及卷 积操作， 以获得初始特 征图； 基于所述空间效率度量单元， 对所述初始特征图进行空间特征增强处理， 以得到对应 的增强特 征图； 基于所述 Neck单元对增强特 征图进行二次特 征提取， 以得到对应目标的中间特 征图。 8.一种跌倒检测装置， 其特 征在于， 包括： 图像生成单元， 用于基于YOLOv5目标检测模型， 对输入 的视频帧图像数据中的行人进 行检测， 以输出 得到人形目标图像； 类别信息生成单元， 用于将预设数量的人形目标数据帧图输像入至预设时间段网络进 行判断， 以得到对应的人体动作类别 信息； 状态判断单 元， 用于根据所述人体动作类别 信息， 判断对应人体是否处于跌倒状态。 9.一种设备终端， 其特征在于， 所述设备终端包括处理器和存储器， 所述存储器用于存 储计算机程序， 所述处理器运行所述计算机程序以使 所述设备终端 执行权利要求1至7中任 一项所述的跌倒检测方法。 10.一种可读存储介质， 其特征在于， 所述可读存储介质存储有计算机程序， 所述计算 机程序在被处 理器执行时实施权利要求1至7中任一项所述的跌倒检测方法。权　利　要　求　书 2/2 页 3 CN 115035552 A 3