(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210193785.3 (22)申请日 2022.03.01 (71)申请人 重庆邮电大 学 地址 400065 重庆市南岸区黄桷垭崇文路2 号 (72)发明人 唐伦　吴壮　蒲昊　汪智平　 陈前斌　 (74)专利代理 机构 北京同恒源知识产权代理有 限公司 1 1275 专利代理师 廖曦 (51)Int.Cl. G06F 9/50(2006.01) G06N 3/04(2006.01) H04B 7/185(2006.01) H04W 4/46(2018.01)G06F 9/445(2018.01) (54)发明名称 一种多无 人机协作边 缘计算方法 (57)摘要 本发明涉及一种多无人机协作边缘计算方 法， 属于边缘计算无人机领域。 本发明中多架边 缘计算无人机通过组网， 构建成一个 分布式的计 算系统； 预设每个无人机上边缘计算服务的中央 处理器的周 期频率、 存储大小； 以任务计算服务 延迟和严苛任务失败惩罚的加权和最小为优化 目标； 采用深度确定性策略梯度算法确定各个任 务卸载的无人机； 采取深度确定性策略梯度算法 确定各个任务计算结果的交付无人机， 然后交付 无人机任务计算结果反馈给用户。 本方法充分考 虑各个无人机上边缘计算服务器的任务负载状 况、 车辆的移动特性和任务对服务质量的需求， 能够保证任务的及时交付。 权利要求书3页 说明书5页 附图3页 CN 114546660 A 2022.05.27 CN 114546660 A 1.一种多无 人机协作边 缘计算方法， 其特 征在于： 该 方法包括以下步骤： S1： 无人机相互之间建立 通信链路； S2： 初始化 边缘计算服务器的CPU频率周期和存 储； S3： 构建任务计算 服务延迟和严苛任务失败惩罚的加权和的优化模型； S4： 基于优化模型， 根据车辆的位置和服务器的状况采用深度确定性策略梯度算法确 定各个任务卸载的无 人机； S5： 车辆将计算任务卸载到相应的无 人机上； S6： 各个无 人机利用二分搜索算法将计算任务划分为 不同比例大小的子任务； S7： 各个无 人机将子任务卸载到其 他无人机上， 并开始计算 服务； S8： 各个无人机判断边缘计算服务器上的任务是否计算完成， 若计算任务完成执行S8， 否则， 执行S6； S9： 基于车辆的位置和方向角采用深度确定性略梯度算法确定各个任务的交付无人 机； S10： 各无人机交付任务计算结果给 车辆。 2.根据权利要求1所述的一种多无人机协作边缘计算方法， 其特征在于： 所述S1中， 无 人机携带计算服务器， 且 无人机的总数目为N个， 每个无人机的编号为n； 无人机上的边缘计 算服务器上具备相同大小的中央处 理器周期频率 缓存 3.根据权利要求2所述的一种多无人机协作边缘计算方法， 其特征在于： 所述S2中， 优 化步骤包括以下步骤： S21： 设所有无人机覆盖下的车辆的数目为U个， 每个车辆的编号为u， 每个车辆计算任 务可以表征为 其中 为车辆 在t时隙所需要的CPU计算周期数， 为车辆 在t时隙所需要的缓存资源大小， 也为任务的数据量大小， 表示该任务的服务 质量QoS需求， 当 时表示该任务为低优先级的计算任务， 当 时表示该任务为 高优先级的计算任务； S22 ： 车辆u的将计算任务卸载到无人机n上 ， 其任务卸载的传输延迟为 ： 其中 代表车辆u将计算任务卸 载至无人机n上， 当 则不卸 载， ru,n为车辆u与无 人机n之间的传输 速率； S23： 无人机将任务划分为不同大小的子任务， 并将各个子任务卸载给其他无人机， 其 任务卸载的传输延迟为 其中 为划分为无 人机n'的任务比例大小； S24： 车辆u 的各个子任务卸载到无人机n上， 无人机上的边缘计算服务器计算时延为： 其中 为无人机n边缘计算服务器分给 该任务的CPU周期频率； S25： 车辆u的任务的总的服 务延迟为 权　利　要　求　书 1/3 页 2 CN 114546660 A 2S23 ： 为了保证 任务被正确接收并成功交付 ， 定义其惩罚函数为 ： S24： 建立优化模型： 其中T是系统的运行 总时间， χ为 任务计算卸载服 务失败时的单位 惩罚。 4.根据权利要求3所述的一种多无人机协作边缘计算方法， 其特征在于： 所述S4中， 深 度确定性策略梯度算法包含四个神经网络； 其中两个网络为评价网络， 在训练神经网络时 更新权值； 另外两个网络为目标网络， 在训练神经网络时定期从评价网络中替换权值； 对于 评价网络与目标网络， 分别采用演员神经网络与评论家神经网络对最优策略和Q值进行评 价。 5.根据权利要求1所述的一种多无人机协作边缘计算方法， 其特征在于： 所述S5中， 深 度确定性策略梯度算法的状态空间为:各个车辆任务的数据量大小， 即 每个车辆的速 度与方向角{ut ,speed,ut ,angle}； 边缘服务器完成之前时间段内卸载任务的延迟 深度确定性策略梯度算法的动作空间为： 对于车辆u， 任务的卸载无人机与结果交付无 人机， 即 深度确定性策略梯度算法的成本模型为： 全体车辆u的任务计算服务延迟和严苛任务 失败惩罚的加权和， 即： 其中χ为 任务计算卸载服务 失败时的单位 惩罚因子 。 6.根据权利要求5所述的一种多无人机协作边缘计算方法， 其特征在于： 所述S4中， 深 度确定性策略梯度算法为了得到长期的期望收益 ， 其状态s的价值函数V为 ： 其中γt是与时间相关的的折现因子； 通 过最小化每个 状态的价 值函数， 即得到最优的卸载π*， 即： 7.根据权利要求6所述的一种多无人机协作边缘计算方法， 其特征在于： 所述S4中， 深 度确定性策略梯度算法包括以下步骤： S41： 设置算法的迭代次数； S42： 初始化环境以及 初始的状态； S43： 选择一个动作 察下一个 状态st+1和成本C(st,at)； S44： 将(st,at,st+1)存放至经验回放缓冲区； 若缓冲区已满， 则删除最旧的(st,at,st+1) 元素；权　利　要　求　书 2/3 页 3 CN 114546660 A 3