(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211290036.9 (22)申请日 2022.10.20 (71)申请人 中国华能集团清洁能源技 术研究院 有限公司 地址 102209 北京市昌平区北七家未来科 技城华能人才创新创业基地实验楼A 楼 申请人 华能新能源股份有限公司山西分公 司 (72)发明人 孙财新　孔金良　郭小江　杨宁　 潘霄峰　李鹏飞　王鸿策　 (74)专利代理 机构 北京清亦华知识产权代理事 务所(普通 合伙) 11201 专利代理师 曲进华(51)Int.Cl. H02J 3/32(2006.01) H02J 3/00(2006.01) H02J 3/38(2006.01) (54)发明名称 现货场景下基于深度强化学习的风储灵活 控制方法和装置 (57)摘要 本申请提出了一种现货场景下基于深度强 化学习的风储灵活控制方法和装置， 涉及风电储 能控制技术领域， 其中， 该方法包括： 获取风电信 息数据； 根据风电信息数据， 以风储现货结算收 益最大化为目标构建目标函数， 并构建风储约束 条件； 根据目标函数和风储约束条件， 构建储能 灵活控制模 型； 基于深度强化学习对储能灵活控 制模型进行求解， 得到储能系统充放电功率； 采 用滚动优化方法周期性更新储能系统充放电功 率。 本申请通过将储能控制决策嵌入深度强化学 习方法中， 具有一定的先进性和稳定性， 能够辅 助风电厂实时有效控制储能系统充放电功率， 提 高风电可控性。 权利要求书2页 说明书15页 附图2页 CN 115360741 A 2022.11.18 CN 115360741 A 1.一种现货场景下基于深度强化学习的风储灵活控制方法， 其特征在于， 包括以下步 骤： 获取风电信息数据， 其中， 所述风电信 息数据包括： 中长期合约数据、 日前出清数据、 现 货电价预测数据、 风电场预测功率数据、 风电场实 发功率数据； 根据所述风电信息数据， 以风储现货结算收益最大化为目标构建目标函数， 并构建风 储约束条件； 根据所述目标函数和所述 风储约束条件， 构建储能灵活控制模型； 基于深度强化学习对所述储能灵活控制模型进行求 解， 得到储能系统充放电功率； 采用滚动优化方法周期性更新所述储能系统充放电功率。 2.如权利要求1所述的方法， 其特征在于， 所述中长期合约数据包括中长期合约加权电 价和中长期合约分时电量； 所述日前 出清数据包括： 日前 出清电量、 基数电量和标 杆电价； 所述现货电价预测数据包括： 日前电价预测数据和实时电价预测数据； 所述风电场预测功率数据包括： 超短期风功率预测数据和短期风功率预测数据； 所述风电场实 发功率数据包括： 风电场实 发功率。 3.如权利要求1所述的方法， 其特征在于， 在所述以风储现货结算收益最大化为目标构 建目标函数之前， 还 包括： 获取现货结算收入和超额获利回收损失； 根据所述现货结算收入和超额获利回收损失计算 风储现货结算收益。 4.如权利要求1所述的方法， 其特征在于， 所述风储约束条件至少包括风储联合输出功 率等式约束、 风储联合输出电量等式约束、 储能充放电功 率约束、 储能电池荷电状态约束和 储能末时段电池荷电状态约束中的一种。 5.如权利要求1所述的方法， 其特征在于， 所述基于深度强化学习 对所述储能灵活控制 模型进行求 解， 得到储能系统充放电功率， 包括： 采用策略网络和评价网络进行计算， 将储能电池荷电状态作为所述策略网络的当前状 态， 将储能充放电功率动作作为所述策略网络的动作， 将预设时段的即时回报作为强化学 习的奖惩 函数； 基于所述当前状态、 所述动作和所述强化学习的奖惩函数， 采用 双延迟深度确定性策 略梯度进行储能灵活控制策略的求 解。 6.如权利要求5所述的方法， 其特征在于， 所述评价网络包括第 一评价网络和第 二评价 网络， 所述基于所述当前状态、 所述动作和所述 强化学习的奖惩函数， 采用双延迟深度确定 性策略梯度进行储能灵活控制策略的求 解， 包括： 采用所述第 一评价网络和第 二评价网络对所述策略网络的动作值函数进行估计， 并使 用二者之中的较小值作为第一估计值； 采用策略目标网络和评价目标网络， 根据 预设目标函数计算第二估计值， 其中， 所述策 略目标网络的结构与所述策略网络的结构相同， 所述评价目标网络的结构与所述评价网络 的结构相同； 根据所述第 一估计值和所述第 二估计值对所述评价网络的参数进行更新， 并在所述评 价网络的更新次数达到预设次数时， 对所述策略网络和所述策略目标网络的参数进行更权　利　要　求　书 1/2 页 2 CN 115360741 A 2新。 7.如权利要求1所述的方法， 其特征在于， 在所述采用滚动优化方法周期性更新所述储 能系统充放电功率之后， 还 包括： 根据所述储能系统充放电功率生成充放电序列曲线， 并根据所述充放电序列曲线将下 一时刻的充放电功 率指令下发给储能系统， 以根据所述充放电功率指 令对所述储能系统进 行充放电控制。 8.一种现货场景 下基于深度强化学习的风储灵活控制装置， 其特 征在于， 包括： 获取模块， 用于获取风电信息数据， 其中， 所述风电信息数据包括： 中长期合约数据、 日 前出清数据、 现货电价预测数据、 风电场预测功率数据、 风电场实 发功率数据； 第一构建模块， 用于根据所述风电信息数据， 以风储现货结算收益最大化为目标构建 目标函数， 并构建风储约束条件； 第二构建模块， 用于根据所述目标函数和所述 风储约束条件， 构建储能灵活控制模型； 求解模块， 用于基于深度强化学习对所述储能灵活控制模型进行求解， 得到储能系统 充放电功率； 优化模块， 用于采用滚动优化方法周期性更新所述储能系统充放电功率。 9.如权利要求8所述的装置， 其特 征在于， 还 包括： 生成模块， 用于根据所述储能系统充放电功率 生成充放电序列曲线； 控制模块， 用于根据 所述充放电序列曲线将下一 时刻的充放电功率指令下发给储能系 统， 以根据所述充放电功率指令对所述储能系统进行充放电控制。 10.一种非临时性计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 所述计 算机程序被处 理器执行时实现如权利要求1 ‑7中任一所述的方法。权　利　要　求　书 2/2 页 3 CN 115360741 A 3