(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210314986.4 (22)申请日 2022.03.22 (71)申请人 同济大学 地址 200092 上海市杨 浦区四平路1239号 (72)发明人 王睿　史敏燕　 (74)专利代理 机构 上海科律专利代理事务所 (特殊普通 合伙) 31290 专利代理师 叶凤 (51)Int.Cl. G06F 9/445(2018.01) G06F 9/50(2006.01) H04L 67/1023(2022.01) (54)发明名称 一种基于深度强化学习的移动边缘计算卸 载方法 (57)摘要 本发明属于无线通信领域， 具体涉及一种基 于深度强化学习的移动边缘服务器的任务卸载 方法。 假定用户具有移动性的情况下， 本发明通 过对用户移动性建模和推导任务在不同端处理 速率来达到优化系统卸载能耗最小的目的。 本发 明采用深度强化学习算法来解决任务在本地端、 移动边缘服务器端进行处理的功率分配问题， 从 而改善系统最小能耗。 本发明优化了系统的最小 计算能耗， 以进一步提高系统的性能。 对比传统 方案， 本发明方法收敛速度快， 性能更好， 更加突 显其实际应用价 值。 权利要求书2页 说明书4页 附图2页 CN 114756294 A 2022.07.15 CN 114756294 A 1.一种基于深度强化学习的移动边 缘计算卸载 方法， 其特 征在于， 包括以下步骤： 步骤1.构造深度卷积神经网络； 步骤2.在t时刻， 将用户当前任务到达速率， 用户当前任务数、 用户和移动边缘服务器 的信道状态、 移动边 缘服务器和核心网的信道状态作为当前系统状态； st＝[lk(t)， gk， q(t)， gq， c(t)] 其中， k为用户编号， q为边缘服务器编号， lk(t)为用户k需要处理的任务量； gk,q(t)为用 户k和边缘服务器q之间的信道状态； gq,c(t)为边缘服务器q和核心网之间的信道状态； 步骤3.在 t时刻， 用户以1 ‑ε 的概率根据状态st所对应的最大状态动作值函数Q值选择动 作at， 以ε 的概 率随机选取其他动作， 其中， 贪婪因子 ε为0～1常数； 其中， 为任务在本地进行处理的功率， 为任务在用户k和移动边缘服务器q 进行传输的功率， 为任务在移动边缘服务器q进 行传输的功 率， 为移动边缘服 务器q处理用户k卸载的任务的功率， αq(t)为任务在移动边 缘服务器q处理的权重； 步骤4.执 行动作之后根据公式(1)计算当前 奖励值rt： 其中， 为用户在本地处理的任务大小， m为用户卸载到移动边缘服务器端的任务大 小， Pk(m)为用户k向移动边缘服务器卸载m个比特任务的概率， αq为任务在移动边缘服务器q 处理的权重， Cuser、 Cmec和Ccloud分别为任务在本地、 移动边缘服务器端以及核心网处理的能 耗， ω为任务未在时间限制内处 理完的惩罚； 步骤5.用户获取 下一时刻状态st+1； 步骤6.将t时刻的经验(st,at,rt,st+1)放入经验 池D中； 步骤7.随机从经验池D中抽取样本对卷积神经网络的权重参数θ进行更新， 根据公式 (2)计算损失函数： 其中， QT为目标Q值， 其计算方式如公式(3)所示， Q(s,a, θ )为当前Q 值； 其中， r为奖励， γ折扣因子为0～ 1常数， s′为跳转的下一个动作， a ′为在状态s ′下执行 的动作； 步骤8.根据公式(2)计算损失函数的梯度： 步骤9.采用随机梯度下降法， 使得梯度值 最小， 更新神经网络的权 重参数； 步骤10.根据环境变化， 用户重复步骤3～ 9， 直到用户学习到稳定的动作选择 策略。 2.如权利要求1所述一种基于深度强化学习的移动边缘计算卸载方法， 其特征在于， 步 骤1中的深度卷积神经网络由一个输入层、 两个卷积层、 一个全连接层以及一个输出层构 成； 输入层用于输入系统当前的状态； 卷积层用于提取特征； 全连接层和输出层结合来构成权　利　要　求　书 1/2 页 2 CN 114756294 A 2一个深层网络 。权　利　要　求　书 2/2 页 3 CN 114756294 A 3