(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210636140.2 (22)申请日 2022.06.07 (71)申请人 北京海航中软 科技有限公司 地址 100071 北京市丰台区南四环西路18 8 号十七区18号楼 2层202-13 0 (72)发明人 廖镜森　王亮　杨嘉盛　 (74)专利代理 机构 北京高沃 律师事务所 1 1569 专利代理师 刘芳 (51)Int.Cl. G06V 20/10(2022.01) G06V 10/42(2022.01) G06V 10/44(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) G06F 3/01(2006.01) A62C 99/00(2010.01) (54)发明名称 一种基于AR眼镜的灭火训练模拟方法及系 统 (57)摘要 本发明涉及一种灭火训练模拟方法及系统， 包括： 获取目标图像， 目标图像由AR眼镜两侧的 摄像头采集得到； 将目标图像输入燃烧物识别模 型， 确定目标图像中模拟燃烧物到AR眼镜的间 距； 将模拟燃烧物的水位信息、 所述水位信息对 应的灭火时间输入至灭火火势模 型， 预测得到模 拟燃烧物的火势值； 根据火势值以及对应的灭火 时间得到火势变化、 灭火进度值； 根据所述火势 值生成是否加大向所述模拟燃烧物喷射的水量， 根据所述间距 生成前进或后退的指令； 将火势图 像和灭火指导方案显示在AR眼镜上。 本发明通过 AR眼镜展 示火势图像和灭火指导方案， 避免真火 灭火训练存在的安全隐患的发生。 权利要求书2页 说明书8页 附图4页 CN 114972998 A 2022.08.30 CN 114972998 A 1.一种基于AR眼镜的灭火训练模拟方法， 其特 征在于， 包括： 获取目标图像， 所述目标图像由AR眼镜 两侧的摄 像头采集得到； 将所述目标图像输入燃烧物识别模型， 当所述燃烧物识别模型识别到模拟燃烧物时， 确定所述目标图像中所述模拟燃烧物到AR眼镜的间距； 获取所述模拟燃烧物的水位信 息以及所述水位信 息对应的灭火时间； 所述水位信 息表 征向所述模拟燃烧物喷射的水量， 所述水位信息对应的灭火时间表征所述水位信息对应的 水量喷射时间； 将所述水位信 息以及所述水位信 息对应的灭火时间输入至灭火火势模型， 预测得到所 述模拟燃烧物的火势值； 根据所述火势值生成模拟燃烧物火势图像； 所述模拟燃烧物火势图像显示于AR眼镜 中 所述模拟燃烧物上， 用于展示所述模拟燃烧物的虚拟火势； 生成模拟燃烧物灭火指导方案： 根据 所述火势值生成是否加大向所述模拟燃烧物喷射 的水量， 根据所述间距生成前进或后退的指令； 将所述模拟燃烧物灭火指导方案 显示在所述AR眼镜上。 2.根据权利要求1所述的方法， 其特 征在于， 所述燃烧物识别模型， 为MTCNN模型， 包括SURF特征提取器、 主干网络和回归器； 所述 SURF特征提取器用于对输入的所述目标图像提取SURF特征； 所述主干网络用于对 所述SURF 特征进行全局特 征提取； 所述回归器用于根据所述全局特 征识别所述模拟燃烧物。 3.根据权利要求1所述的方法， 其特征在于， 所述确定所述目标图像中所述模拟燃烧物 到AR眼镜的间距， 具体包括： 提取所述目标图像中所述模拟燃烧物的轮廓； 根据双目测距原理， 根据所述模拟燃烧物的轮廓， 采用相似三角形原理计算得到所述 模拟燃烧物与AR眼镜的间距。 4.根据权利要求3所述的方法， 其特征在于， 所述提取所述目标图像中所述模拟燃烧物 的轮廓， 具体包括： 采用自适应显著性对所述目标图像中所述模拟燃烧物的轮廓进行提取。 5.根据权利要求1所述的方法， 其特征在于， 所述灭火火势模型包括数据生成器和LSTM 主干网络； 所述数据生成器用于根据所述水位信息和相应的灭火时间计算得到水位变化速率； 所述LSTM主干网络用于根据所述水位信息、 所述水位变化速率预测得到所述火势值。 6.根据权利要求1或5所述的方法， 其特征在于， 在所述将所述水位信息以及所述水位 信息对应的灭火时间输入至灭火火势模 型之前， 还包括： 对所述 灭火火势模型进 行训练， 训 练方法如下： 获取对燃烧物进行灭火时的样本数据； 所述样本数据包括样本水位信 息和所述样本水 位信息对应的样本灭火时间； 获取对燃烧物进行灭火时的温度值； 根据所述温度值确定样本火势值， 将所述样本火势值作为所述样本数据对应的标签； 将所述样本数据输入至所述灭火 火势模型 得到预测火势值； 根据所述预测火势值与所述样本数据对应的标签确定损失函数值；权　利　要　求　书 1/2 页 2 CN 114972998 A 2判断所述损 失函数值是否达到预设要求， 若否， 根据所述损 失函数值对所述灭火火势 模型中网络参数进行优化， 返回 “将所述样本数据输入至所述灭火火势模型得到预测火势 值”步骤， 若是， 则停止迭代， 得到训练好的灭火 火势模型。 7.根据权利要求6所述的方法， 其特 征在于， 所述损失函数值 为均方差损失函数值。 8.根据权利要求1所述的方法， 其特征在于， 还包括： 将灭火进度值显示在所述AR眼镜 上； 所述灭火进度值 根据所述火势值和对应的灭火时间采用加权平均算法确定 。 9.一种基于AR眼镜的灭火训练模拟系统， 其特征在于， 包括： 汽油桶、 水枪、 传感器、 处 理器、 AR眼镜、 传输线和摄 像设备； 所述汽油桶用于模拟燃烧物； 所述水枪用于模拟灭火器； 所述传感器， 位于所述汽油桶内， 用于采集所述汽油桶中的水位信 息， 并将所述水位信 息传输给所述处理器； 所述水位信息表征向所述模拟燃烧物喷射的水量， 所述水位信息对 应的灭火时间表征 所述水位信息对应的水量喷射时间； 所述摄像设备， 位于所述AR眼镜左右两侧， 用于实时采集图像并将图像发送给所述处 理器； 所述处理器用于： 将接收到的图像输入燃烧物 识别模型， 所述接收到的图像记为目标图像； 当所述燃烧物识别模型识别 到模拟燃烧物时， 确定所述目标图像中所述模拟燃烧物到 AR眼镜的间距； 将接收到的所述水位信 息以及所述水位信 息对应的灭火时间输入至灭火火势模型， 预 测得到所述模拟燃烧物的火势值； 根据所述火势值生成模拟燃烧物火势图像； 所述模拟燃烧物火势图像设置于所述AR眼 镜中所述模拟燃烧物上， 用于展示所述模拟燃烧物的虚拟火势； 生成模拟燃烧物灭火指导方案： 根据 所述火势值生成是否加大向所述模拟燃烧物喷射 的水量， 根据所述间距生成前进或后退 的指令； 所述模拟燃烧物灭火指导方案显示在所述 AR眼镜上； 所述传输线用于连接所述处理器和所述AR眼镜， 将所述模拟燃烧物火势图像以及所述 模拟燃烧物灭火指导方案传输给 所述AR眼镜； 所述AR眼镜用于展示所述模拟燃烧物火势图像以及所述模拟燃烧物灭火指导方案 。权　利　要　求　书 2/2 页 3 CN 114972998 A 3