(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210626786.2 (22)申请日 2022.06.05 (71)申请人 李晓赫 地址 100084 北京市海淀区双清路3 0号清 华大学土木工程系 (72)发明人 李晓赫　吴建平　 (74)专利代理 机构 济南光启专利代理事务所 (普通合伙) 37292 专利代理师 衣明春 (51)Int.Cl. G06V 10/30(2022.01) G06V 10/44(2022.01) G06V 10/774(2022.01) G06V 20/17(2022.01) G06V 20/54(2022.01) (54)发明名称 一种基于高空无人机视频的车辆轨迹和航 向角提取方法 (57)摘要 一种基于高空无人机视频的车辆轨迹和航 向角提取方法， 1)使用无人机在高空拍摄交通流 视频数据， 对视频进行视频增稳预处理； 2)实施 基于数据集的深度学习模型训练， 获取旋转目标 检测模型YOL Ov5‑R的模型文件； 3)基于YOLOv5 ‑R 和DeepSort ‑R深度学习模型对每一帧图像进行 旋转目标检测与跟踪， 获取车辆目标的图像坐 标、 车辆航向角、 车辆类别、 车辆尺寸等信息； 4) 对车辆轨迹的坐标和航向角数据进行数据清洗、 平滑降噪等预处理； 5)人工标定环境参照物的地 面坐标作为锚点， 计算图像坐标系与地面坐标系 之间的坐标转换参数， 获取车辆轨迹的地面坐 标。 本发明有效克服无人机拍摄扰动影响、 工作 效率高、 显著提高车辆轨迹数据提取的精度、 可 获取车辆尺寸和航向角数据等优点。 权利要求书5页 说明书8页 附图6页 CN 114972767 A 2022.08.30 CN 114972767 A 1.一种基于高空无人机视频的车辆轨迹和航向角提取方法， 其特征在于， 包括有以下 步骤： 步骤1： 对无人机在高空拍摄交通流视频进行视频稳像预处理， 去除因无人机飞行和高 空环境影响导 致的抖动； 步骤2： (1)车辆目标类别划分： 获取无人机交通流视频数据， 根据交通流视频中的典型车辆型 式并结合自身研究需要， 将车辆目标划分成不同类别； (2)数据集制作： 用于训练的数据集可自己制作或者下 载符合要求的现有数据集； (3)模型训练： 使用基于pytorch的深度学习框架进行旋转目标检测模型YOLOv5 ‑R的训 练， 训练完成后获得YOLOv5.pt模型文件； 训练次数可以自行设定， 当训练结果进入收敛区 间时， 平均准确率mAP达 到90％以上， 平均损失avera ge loss在1.6以下且不再 下降； 步骤3： 对步骤1中经过视频稳像处理后的无人机交通流视频数据中的每一帧图像进行目标检 测与跟踪， 采用的图像处理算法为基于YOLOv5 ‑R的旋转目标检测算法与基于DeepSort ‑R的 旋转目标跟踪算法； 获取的数据包括车辆的平面xy坐标、 车辆类别信息、 车身尺寸信息、 车 辆航向角信息和车辆编号ID信息， 获取的各类信息分别按车辆ID的先后顺序保存至不同 的.csv文件； 步骤4： 对步骤3中获取的车辆 轨迹和航向角的数据进行 数据清洗、 平 滑降噪预处 理； (1)数据清洗； 通过计算数据之间的欧氏距离是否小于合理阈值， 对目标检测结果进行剔除坏值， 去 除错误检测数据， 修 正错误追踪数据； (2)平滑降噪； 通过车辆跟踪算法获取的车辆轨迹和航向角数据 是离散时间数据， 由于目标检测框的 偏移、 旋转、 形变造成车辆检测中心 点的偏移和车辆检测框的偏转， 使 得车辆轨迹和航向角 数据产生误差， 需要采用离 散时间平 滑算法对轨 迹数据进行平 滑降噪； 步骤5： 将步骤1中增稳处理后无人机交通流视频数据中的第一帧单独提取为图片， 选择建筑 物的角点、 地面交通标志线段的端点、 路灯灯柱清晰可辨的固定参照物的特征点作为锚点， 锚点的数量至少为4个， 且均匀分布于画面中； 将锚点作为坐标转换 的控制点， 将视频拍摄 范围内的道路路面视为一个平面， 使用鼠标人工标记出锚点， 调用OpenCV获取锚点的屏幕 坐标(xi,yi)， 通过谷歌地图获取锚点的地理坐标(x ′i,y′i)； 图像坐标系与地面坐标系的转 换实为两个处于不同平面的二维坐标系之间的转换， 调用OpenCV的findHomography算法求 解图像坐标系与地理坐标系之间的坐标转换矩阵H； 将获取的车辆轨迹的图像坐标通过等式(1)计算得到对应的地理坐标， 将计算结果按 车辆ID序号存 入新的csv文件中。 2.根据权利要求1所述的一种基于高空无人机视频的车辆轨迹和航向角提取方法， 其 特征在于： 步骤1中视频 稳像的实现逻辑：权　利　要　求　书 1/5 页 2 CN 114972767 A 2(1)首先抽取视频的第一帧与最后一帧， 在第一帧里使用掩膜把路旁建筑物、 树木区域 覆盖； 再分别提取第一帧与最后一帧的特征点， 进行特征点匹配， 留下交集部分， 得到帧中 静态物的关键点， 即特征模板； 然后将特征模板应用到每一帧上， 快速地将 视频的所有帧对 齐到第一帧， 实现视频消抖； (2)特征点提取使用的是ORB特征点提取算法， 调用OpenCV的ORB模块可以实时提取帧 中的特征点； 两帧之间的特征点匹配， 使用Flann算法， 调用OpenCV的FLANN模块来快速获得 匹配成功的特征点； 对这些静态特征点进行使用Lower ’s算法进一步筛选优化， 获取至少4 对优秀的静态特征匹配点； 使用特征模板从中筛选出与第一帧画面匹配的静态特征点， 调 用OpenCV的fin dHomography算法来计算单应性矩阵H； 使用单应性矩阵H， 进行两帧之间的 透视变换； 调用OpenCV的wrapPerspective函数进行帧间图像的透视变换， 与前一帧对齐； 由于帧在透视变换前后的尺寸不同， 造成帧对齐后出现黑边， 采用边缘点重复来弥补黑边； 将经过处理后的每一帧合并， 输出为 新的视频。 3.根据权利要求1所述的一种基于高空无人机视频的车辆轨迹和航向角提取方法， 其 特征在于： 步骤2中： 自己制作的数据集， 可以从无人机采集的交通流视频中随机抽取一定数量以上的帧作 为原始图片数据， 裁剪为统一大小后使用标签工具按照划分的目标类别进行图像标注， 即 在图片中使用多边形框框选出目标所在位置， 并指定其所属类别名称， 生成自己的数据集 用于模型训练； 下载符合要求的现有数据集， 需要将图片数据和标签数据按比例划分为训练集、 校验 集及测试集， 将划分好的数据集的voc格式XML标签文件转换为YOLOv5 ‑R模型训练txt标签 文件； 模型训练txt标签文件格式为： (x1,y1,x2,y2,x3,y3,x4,y4,label,cls)， 分别表示旋转 检测框的四个角点的图像坐标(x1,y1),(x2,y2),(x3,y3),(x4,y4)， 标签label和种类cls。 4.根据权利要求1所述的一种基于高空无人机视频的车辆轨迹和航向角提取方法， 其 特征在于： 步骤3中： YOLOv5‑R旋转目标检测算法： 1、 数据的表示方 式： YOLOv5正矩形框表示格式为[x,y,w,h]， 将YOLOv5模型改成直接对 旋转矩形框进行 预处理， YOLOv5 ‑R旋转框的表示格式为[x1,y1,x2,y2,x3,y3,x4,y4]； 2、 模型的detect模块： 修改检测框的表示格式和绘制方法； 3、 旋转框的i ou、 nms： 改为旋转框的i ou计算， Nm s在测试的时候进行重 叠框过滤； 4、 loss修改： 采用旋转框的i ouloss回归。 5.根据权利要求1所述的一种基于高空无人机视频的车辆轨迹和航向角提取方法， 其 特征在于： 步骤3中： DeepSort‑R旋转目标跟踪算法： 1、 Detecti on、 tracker的tl wh格式改为xylst格式； 2、 车辆特 征提取get_features， 使用最小外 接无旋转矩形hb b格式； 3、 卡尔曼 滤波加入角度参数， 由8参数变为10参数：权　利　要　求　书 2/5 页 3 CN 114972767 A 3