(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210900838.0 (22)申请日 2022.07.28 (71)申请人 吉林大学 地址 130012 吉林省长 春市朝阳区南湖大 路5372号 (72)发明人 于银辉　孙旭　张汇川　田子玉　 杨美　聂新礼　 (74)专利代理 机构 北京慕达星云知识产权代理 事务所 (特殊普通合伙) 11465 专利代理师 符继超 (51)Int.Cl. H04B 10/116(2013.01) G06V 10/28(2022.01) G06V 10/26(2022.01)G06V 10/44(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01) G06T 7/73(2017.01) G06T 7/66(2017.01) G06N 3/08(2006.01) G06N 3/04(2006.01) (54)发明名称 一种基于深度学习的无人机可见光相机通 信方法及其系统 (57)摘要 本发明公开了一种基于深度学习的无人机 可见光相机通信方法及其系统， 包括： 发送端使 用LED阵列以预先设计的数据帧格式发送数据信 息； 接收端利用相机捕获LED阵列图像； 采用 YOLOv5s深度学习算法快速检测出图像中LED阵 列位置； 结合数据帧格式特点和透视变换算法实 现LED的精确定位和状态识别， 恢复数据信息； 系 统包括： 发送端、 接收端、 初步定位模块、 精确定 位模块、 矫正模块和信息获取模块； 本发明将深 度学习和传统图像处理方法相结合， 能够提高无 人机可见光相机通信的可靠性， 减少系统时延， 并且硬件总体 造价低， 适用于移动设备， 易推广。 权利要求书3页 说明书8页 附图3页 CN 115296738 A 2022.11.04 CN 115296738 A 1.一种基于深度学习的无 人机可见光相机通信方法， 其特 征在于， 包括以下步骤： S1.至少一个发送端LED阵列以预设的数据帧格式发送光信号； S2.至少一个接收端相机捕获LED阵列发送的光信号， 并获取相应的图像； S3.采用YOLOv5s深度学习算法检测图像中LED阵列的位置， 并且将得到 的预测框按照 比例扩大， 使预测框 完全包含LED阵列； S4.将放大后的预测框区域进行二值化处理， 结合数据帧格 式特点实现LED阵列的精确 定位； S5.使用透 视变换算法对精确定位后的LED阵列进行位置矫 正； S6.计算LED阵列上的LED灯数量， 并且识别每个LED灯的状态， 获取光信号对应的数据 信息。 2.根据权利要求1所述的一种基于深度学习的无人机可见光相机通信方法， 其特征在 于， S1中， 预设的数据帧格式具体包括： 定位图形、 分割图形和数据位； 定位图形， 用于 接收端在任意方向扫描对LED阵列进行 快速精确定位； 分隔图形， 用于将定位图形与数据位隔开； 数据位为LED阵列上除定位图形和分割图形的剩余 位置， 用于表示发送的数据。 3.根据权利要求1所述的一种基于深度学习的无人机可见光相机通信方法， 其特征在 于， S3中， YOLOv5s深度学习算法的具体内容包括： S31.建立YOLOv5s深度学习模型， 输入待检测的图像； S32.提取输入图像的底层特 征， 获取不同阶段的特 征图； S33.融合不同阶段的特 征图上不同层次的特 征信息， 得到融合后的特 征图； S34.预测融合后的特征图上LED阵列的类别信息和位置信息； 其 中类别信息为LED阵列 上的LED灯亮或灭的状态信息； S35.通过损失函数LDIoU优化YOLOv5s深度学习模型， 其中， 损失函数LDIoU为： 其中， IoU表示两个预测框交集与并集之比， Bp＝(xp,yp,wp,hp)表示预测框， xp,yp,wp,hp 分别表示预测框的中心点横 坐标、 纵坐标、 宽度和高度， Bgt＝(xgt,ygt,wgt,hgt)表示真实框， xgt,ygt,wgt,hgt分别表示真实框的中心点横坐 标、 纵坐标、 宽度和高度， bp＝(xp,yp)表示预测 框的中心点， bgt＝(xgt,ygt)表示真实框的中心点， ρ( ·)表示欧式距离， c表示覆盖两个框的 最小外接矩形的对角线长度。 4.根据权利要求1所述的一种基于深度学习的无人机可见光相机通信方法， 其特征在 于， S4中的结合数据帧格式特点实现LED阵列的精确定位的具体内容包括： (1)在包含LED阵列的二 值图像的x轴方向上 逐行扫描图像边 缘点； (2)当扫描到的点连续2个以上为相同像素点时对相同像素点个数进行计数， 直至扫描 到不同的像素点停止计数， 记录相同像素点的个数后继续进 行扫描； 其中， 灰度值小于阈值 的像素为 黑色像素， 灰度值大于阈值的像素为白色像素；权　利　要　求　书 1/3 页 2 CN 115296738 A 2(3)根据(2)中的方法依 次进行扫描并记录黑色像素个数m1、 白色像素个数m2和黑色像 素个数m3； 当m1:m2:m3满足1:2:1的关系时， 记录m2对应的白色像素行的中心点像素坐标y1 值， 继续扫描下一行， 依次得到y2,y3,...,ym； (4)沿图像y轴进行扫描， 根据(2)中方法依 次记录黑色像素个数n1、 白色像素个数n2和 黑色像素个数n3， 当n1:n2:n3满足1:2:1关系时， 依次记录对应的白色像素列的中心点像素 坐标x1,x2,x3,...,xn值； (5)计算得到 定位图形中心点像素坐标 其中， n表示满足条件的像素列数， m表示满足条件的像素 行数； (6)再将所获得的定位图形中心点中的任意三个组合成三角形， 选取构成等腰直角三 角形的组合， 作为同属 于一个LED阵列上的三个定位图形， 以及LED阵列三个角点的像素坐 标为： 和 (7)采用最小二乘法， 得到LED阵列上剩余一个角点的像素坐标， 完成LED阵列精确定 位。 5.根据权利要求1所述的一种基于深度学习的无人机可见光相机通信方法， 其特征在 于， S5的具体内容包括： S51.根据LED阵列4个角点的像素坐标(x,y)和矫正后角点的像素坐标(x ′,y′)， 计算出 透视变换矩阵M： 其中w’为变换系数； S52.利用透视变换矩阵M对LED阵列图像进行透视变换， 变换后的LED阵列上的像素点 坐标(u,v)： 其中a33＝1。 6.根据权利要求1所述的一种基于深度学习的无人机可见光相机通信方法， 其特征在 于， S6的具体内容包括： S61.根据矫正后LED阵列定位图形的中心点之间的水平距离d， 角点与定位图形中心点 的水平距离r， 计算出LED阵列中的LED灯个数N：权　利　要　求　书 2/3 页 3 CN 115296738 A 3