基于时序深度强化学习的虚拟电厂预测-决策一体化调度

孙国强; 王希文; 周亦洲; 孙康; 卫志农; 臧海祥

doi:10.16081/j.epae.202512030

欢迎来到能源电力期刊网！

English Version 期刊登录

您当前的位置：

首页 >

文章列表页 >

基于时序深度强化学习的虚拟电厂预测-决策一体化调度

分析与研究 | 更新时间：2026-04-30

- 基于时序深度强化学习的虚拟电厂预测-决策一体化调度
- Forecasting-decision integrated scheduling of virtual power plant based on temporal deep reinforcement learning
- 电力自动化设备 2026年46卷第5期页码：164-171
- 作者机构：
  
  河海大学电气与动力工程学院，江苏南京 211100
- 作者简介：
  
  孙国强（1978 —），男，教授，博士，主要研究方向为电力系统运行分析与控制（E-mail：hhusunguoqiang@163.com）；
  王希文（2001 —），女，硕士研究生，主要研究方向为虚拟电厂（E-mail：231306080068@hhu.edu.cn）；
  周亦洲（1993 —），男，副教授，博士，通信作者，主要研究方向为虚拟电厂与电力市场、综合能源系统规划与运行（E-mail：yizhou@hhu.edu.cn）。
- 基金信息：
  
  国家自然科学基金资助项目(U24B2088)
- DOI：10.16081/j.epae.202512030
  中图分类号： TM73
- 收稿：2025-05-16，
  
  修回：2025-10-30，
  
  网络首发：2026-01-04，
  
  纸质出版：2026-05-10
- 稿件说明：
移动端阅览
孙国强,王希文,周亦洲等.基于时序深度强化学习的虚拟电厂预测-决策一体化调度[J].电力自动化设备,2026,46(05):164-171.

Sun Guoqiang,Wang Xiwen,Zhou Yizhou,et al.Forecasting-decision integrated scheduling of virtual power plant based on temporal deep reinforcement learning[J].Electric Power Automation Equipment,2026,46(05):164-171.
孙国强,王希文,周亦洲等.基于时序深度强化学习的虚拟电厂预测-决策一体化调度[J].电力自动化设备,2026,46(05):164-171. DOI： 10.16081/j.epae.202512030.

Sun Guoqiang,Wang Xiwen,Zhou Yizhou,et al.Forecasting-decision integrated scheduling of virtual power plant based on temporal deep reinforcement learning[J].Electric Power Automation Equipment,2026,46(05):164-171. DOI： 10.16081/j.epae.202512030.

摘要

随着新能源在虚拟电厂中的渗透率不断提高，传统依赖精准预测的预测-决策序贯调度方法因其误差传递与目标不一致性，难以适应复杂不确定性环境下的虚拟电厂调度需求。为此，提出一种基于时序深度强化学习的虚拟电厂预测-决策一体化调度方法，将原始天气数据视为调度因素直接输入神经网络进行训练。建立含光伏机组、燃气轮机、储能装置的虚拟电厂聚合模型，并提出虚拟电厂预测-决策一体化调度架构；将虚拟电厂预测-决策一体化调度问题表述为连续状态空间下的强化学习框架，定义其环境状态集、智能体动作集等；采用考虑时序特性的深度确定性策略梯度算法进行训练。仿真结果表明，所提方法能通过环境反馈进行自适应学习，有效解决预测误差传递问题，提高虚拟电厂的自适应性和安全性。

Abstract

Along with the continuous increase of the penetration of renewable resources in virtual power plant，the traditional forecasting-decision sequential scheduling method which depends on accuracy forecas-ting is difficult to adapt to the scheduling demand of virtual power plant under complex uncertainty environment because of the inconsistency between its error propagation and the object. Therefore，a forecasting-decision integrated scheduling method for virtual power plant is proposed based on temporal deep reinforcement learning. The raw weather data is regarded as the scheduling factor and directly input into the neural network for training. A virtual power plant aggregation model containing photovoltaic units，gas turbines，and energy storage devices is established，and a forecasting-decision integrated scheduling architecture is proposed. The forecasting-decision integrated scheduling problem of virtual power plant is described as a reinforcement learning framework under continuous state space，and its environmental state set and agent action set are defined. A deep deterministic policy gradient algorithm considering the temporal feature is adopted for training. The simulation results show that the proposed method can adaptively study through environment feedback，effectively solve the forecasting error propagation problem，and improve the self-adaptation and security of virtual power plant.

关键词

Keywords

references

文淅宇，朱继忠，李盛林，等 . 基于时空协同的多数据中心虚拟电厂低碳经济调度策略［J］. 电力系统自动化， 2024 ， 48 （ 18 ）： 56 - 65 .

Wen Xiyu ， Zhu Jizhong ， Li Shenglin ， et al . Low-carbon econo-mic dispatch for multiple data center virtual power plant based on spatio-temporal collaboration ［J］. Automation of Electric Power Systems ， 2024 ， 48 （ 18 ）： 56 - 65 .

康重庆，陈启鑫，苏剑，等 . 新型电力系统规模化灵活资源虚拟电厂科学问题与研究框架［J］. 电力系统自动化， 2022 ， 46 （ 18 ）： 3 - 14 .

Kang Chongqing ， Chen Qixin ， Su Jian ， et al . Scientific problems and research framework of virtual power plant with enormous flexible distributed energy resources in new power system ［J］. Automation of Electric Power Systems ， 2022 ， 46 （ 18 ）： 3 - 14 .

林毓军，苗世洪，杨炜晨，等 . 面向多重不确定性环境的虚拟电厂日前优化调度策略［J］. 电力自动化设备， 2021 ， 41 （ 12 ）： 143 - 150 .

Lin Yujun ， Miao Shihong ， Yang Weichen ， et al . Day-ahead optimal scheduling strategy of virtual power plant for environment with multiple uncertainties ［J］. Electric Power Automation Equipment ， 2021 ， 41 （ 12 ）： 143 - 150 .

李晓舟，秦文萍，景祥，等 . 计及不确定风险和多主体协同的虚拟电厂参与主辅市场联合优化策略［J］. 电网技术， 2024 ， 48 （ 11 ）： 4553 - 4567 .

Li Xiaozhou ， Qin Wenping ， Jing Xiang ， et al . Joint optimization for virtual power plant participating in main and auxiliary markets considering uncertain risks and multi-agent coordination ［J］. Power System Technology ， 2024 ， 48 （ 11 ）： 4553 - 4567 .

Chen L M ， Tang H L ， Wu J K ， et al . A robust optimization framework for energy management of CCHP users with inte-grated demand response in electricity market ［J］. International Journal of Electrical Power & Energy Systems ， 2022 ， 141 ： 108181 .

李本新，樊鑫，姜涛，等 . 考虑超分辨率风电不确定性的鲁棒安全经济调度［J］. 电力系统保护与控制， 2025 ， 53 （ 24 ）： 89 - 99 .

Li Benxin ， Fan Xin ， Jiang Tao ， et al . Robust security-constrained economic dispatch considering super-resolution wind power uncertainty ［J］. Power System Protection and Control ， 2025 ， 53 （ 24 ）： 89 - 99 .

黄馨仪，刘明波，林舜江，等 . 考虑风电不确定性的输配电系统鲁棒经济调度分布式算法［J］. 电力系统自动化， 2025 ， 49 （ 4 ）： 165 - 177 .

Huang Xinyi ， Liu Mingbo ， Lin Shunjiang ， et al . Distributed algo-rithm for robust economic dispatch of integrated transmission and distribution system considering wind power uncertainty ［J］. Automation of Electric Power Systems ， 2025 ， 49 （ 4 ）： 165 - 177 .

梁梓杨，吴洋，雷振兴，等 . 考虑光伏不确定性和配电网安全校核的分布式能源聚合商参与市场竞标的优化方法［J］. 广东电力， 2024 ， 37 （ 12 ）： 138 - 146 .

Liang Ziyang ， Wu Yang ， Lei Zhenxing ， et al . An optimization method for distributed energy resource aggregators to participate in electricity market bidding considering PV uncertainty and distribution network security check ［J］. Guangdong Electric Power ， 2024 ， 37 （ 12 ）： 138 - 146 .

李昭昱，艾芊，张宇帆，等 . 数据驱动技术在虚拟电厂中的应用综述［J］. 电网技术， 2020 ， 44 （ 7 ）： 2411 - 2419 .

Li Zhaoyu ， Ai Qian ， Zhang Yufan ， et al . Application of data-driven technology in virtual power plant ［J］. Power System Technology ， 2020 ， 44 （ 7 ）： 2411 - 2419 .

Lu R Z ， Bai R C ， Luo Z ， et al . Deep reinforcement learning-based demand response for smart facilities energy management ［J］. IEEE Transactions on Industrial Electronics ， 2022 ， 69 （ 8 ）： 8554 - 8565 .

杨挺，赵黎媛，刘亚闯，等 . 基于深度强化学习的综合能源系统动态经济调度［J］. 电力系统自动化， 2021 ， 45 （ 5 ）： 39 - 47 .

Yang Ting ， Zhao Liyuan ， Liu Yachuang ， et al . Dynamic econo-mic dispatch for integrated energy system based on deep reinforcement learning ［J］. Automation of Electric Power Systems ， 2021 ， 45 （ 5 ）： 39 - 47 .

梁涛，柴露露，谭建鑫，等 . 基于深度强化学习算法的氢耦合电-热综合能源系统优化调度［J］. 电力自动化设备， 2025 ， 45 （ 1 ）： 59 - 66 .

Liang Tao ， Chai Lulu ， Tan Jianxin ， et al . Optimal scheduling of hydrogen coupled electrothermal integrated energy system based on deep reinforcement learning algorithm ［J］. Electric Power Automation Equipment ， 2025 ， 45 （ 1 ）： 59 - 66 .

王育飞，王义顺，薛花，等 . 基于改进MADDPG算法的储能系统多目标优化调度策略［J］. 电力系统自动化， 2024 ， 48 （ 23 ）： 98 - 111 .

Wang Yufei ， Wang Yishun ， Xue Hua ， et al . Multi-objective opti-mal scheduling strategy for energy storage system based on improved multi-agent deep deterministic policy gradient algorithm ［J］. Automation of Electric Power Systems ， 2024 ， 48 （ 23 ）： 98 - 111 .

窦嘉铭，王小君，司方远，等 . 基于深度强化学习的区域综合能源系统主动调节灵活性规则提取及可解释优化调度［J］. 电力系统保护与控制， 2025 ， 53 （ 23 ）： 139 - 151 .

Dou Jiaming ， Wang Xiaojun ， Si Fangyuan ， et al . Extraction of active regulation flexibility rules and interpretable optimal scheduling for regional integrated energy systems based on deep reinforcement learning ［J］. Power System Protection and Control ， 2025 ， 53 （ 23 ）： 139 - 151 .

于群，李知艺，谷炜，等 . 面向理想调度的高比例新能源电力系统端到端调度决策方法［J］. 中国电机工程学报， 2023 ， 43 （增刊1 ）： 31 - 43 .

Yu Qun ， Li Zhiyi ， Gu Wei ， et al . Perfect-dispatch-oriented end-to-end dispatch decision-making method for high proportion renewable energy power system ［J］. Proceedings of the CSEE ， 2023 ， 43 （ S1 ）： 31 - 43 .

Wang Y Z ， Wang J X ， Zhang H R ， et al . Bridging prediction and decision：Advances and challenges in data-driven optimiza-tion ［J］. Nexus ， 2025 ， 2 （ 1 ）： 100057 .

张理，王宝，贾健雄，等 . 微电网功率预测与调度端到端协同优化方法［J］. 上海交通大学学报， 2025 ， 59 （ 6 ）： 720 - 731 .

Zhang Li ， Wang Bao ， Jia Jianxiong ， et al . End-to-end collaborative optimization method for microgrid power prediction and optimal scheduling ［J］. Journal of Shanghai Jiao Tong University ， 2025 ， 59 （ 6 ）： 720 - 731 .

Wahdany D ， Schmitt C ， Cremer J L . More than accuracy：end-to-end wind power forecasting that optimises the energy system ［J］. Electric Power Systems Research ， 2023 ， 221 ： 109384 .

Huang S Y ， Yang M ， Zhang C H ， et al . A control strategy based on deep reinforcement learning under the combined wind-solar storage system ［C］∥ 2020 IEEE 3rd Student Confe-rence on Electrical Machines and Systems（SCEMS） . Jinan，China ： IEEE ， 2020 ： 819 - 824 .

于一潇，杨佳峻，杨明，等 . 基于深度强化学习的风电场储能系统预测决策一体化调度［J］. 电力系统自动化， 2021 ， 45 （ 1 ）： 132 - 140 .

Yu Yixiao ， Yang Jiajun ， Yang Ming ， et al . Prediction and decision integrated scheduling of energy storage system in wind farm based on deep reinforcement learning ［J］. Automation of Electric Power Systems ， 2021 ， 45 （ 1 ）： 132 - 140 .

王丽晓，李嘉琪，晏二保，等 . 资源聚合型虚拟电厂电-冷-柔耦合需求响应策略［J］. 广东电力， 2024 ， 37 （ 12 ）： 119 - 128 .

Wang Lixiao ， Li Jiaqi ， Yan Erbao ， et al . Electric cooling and flexibility joint demand response strategies for resources aggregated virtual power plants ［J］. Guangdong Electric Power ， 2024 ， 37 （ 12 ）： 119 - 128 .

孙国强，刘玥池，韩海腾，等 . 基于碳势-负荷数据双向反馈机制的配电网调度策略［J］. 电力自动化设备， 2024 ， 44 （ 12 ）： 231 - 238 .

Sun Guoqiang ， Liu Yuechi ， Han Haiteng ， et al . Dispatch strategy for distribution network based on carbon intensity-load data bi-directional feedback mechanism ［J］. Electric Power Automation Equipment ， 2024 ， 44 （ 12 ）： 231 - 238 .

王齐辉，孙国强，陈胜，等 . 基于深度学习的最优线路开断分布鲁棒优化调度方法［J］. 电力自动化设备， 2025 ， 45 （ 5 ）： 218 - 224 .

Wang Qihui ， Sun Guoqiang ， Chen Sheng ， et al . Distributionally robust optimal dispatching method of optimal transmission switching based on deep learning ［J］. Electric Power Automation Equipment ， 2025 ， 45 （ 5 ）： 218 - 224 .

Sun Z H ， Lu T G . Collaborative operation optimization of distribution system and virtual power plants using multi-agent deep reinforcement learning with parameter-sharing mechanism ［J］. IET Generation，Transmission & Distribution ， 2024 ， 18 （ 1 ）： 39 - 49 .

吕宗璞，戴朝华，姚志刚，等 . 计及稳压率和经济性的城轨直流牵引供电光储系统深度Q网络优化控制方法［J］. 电力自动化设备， 2024 ， 44 （ 10 ）： 46 - 52 .

Lü Zongpu ， Dai Chaohua ， Yao Zhigang ， et al . Deep Q network optimization control method for DC traction power supply photo-voltaic-energy storage system of urban rail considering voltage stabilization rate and economy ［J］. Electric Power Automation Equipment ， 2024 ， 44 （ 10 ）： 46 - 52 .

王冲，石大夯，万灿，等 . 基于多智能体深度强化学习的随机事件驱动故障恢复策略［J］. 电力自动化设备， 2025 ， 45 （ 3 ）： 186 - 193 .

Wang Chong ， Shi Dahang ， Wan Can ， et al . Uncertain event-driven fault recovery strategy based on multi-agent deep reinforcement learning ［J］. Electric Power Automation Equipment ， 2025 ， 45 （ 3 ）： 186 - 193 .

刘建行，刘方 . 基于深度强化学习的梯级水蓄风光互补系统优化调度策略研究［J］. 广东电力， 2024 ， 37 （ 5 ）： 10 - 22 .

Liu Jianhang ， Liu Fang . Research on optimized dispatching strategy of cascade hydropower-pumping-storage-wind-photovoltaic multi-energy complementary system based on deep reinforcement learning ［J］. Guangdong Electric Power ， 2024 ， 37 （ 5 ）： 10 - 22 .

Hou S R ， Salazar E M ， Vergara P P ， et al . Performance com-parison of deep RL algorithms for energy systems optimal scheduling ［C］∥ 2022 IEEE PES Innovative Smart Grid Tech-nologies Con-ference Europe（ISGT-Europe） . Novi Sad，Serbia ： IEEE ， 2022 ： 1 - 6 .

颜俊，贺伟，郭创新，等 . 基于生成对抗网络与Transformer的多尺度光伏出力预测［J］. 电力自动化设备， 2025 ， 45 （ 11 ）： 25 - 35 .

Yan Jun ， He Wei ， Guo Chuangxin ， et al . Multi-scale photovoltaic power output prediction based on generative adversarial network and Transformer ［J］. Electric Power Automation Equip-ment ， 2025 ， 45 （ 11 ）： 25 - 35 .

彭宇文，杨之乐，李冰，等 . 基于VMD-ISSA-LSTM的短期光伏发电功率预测［J］. 广东电力， 2024 ， 37 （ 1 ）： 18 - 26 .

Peng Yuwen ， Yang Zhile ， Li Bing ， et al . Short term photovol-taic power generation prediction based on VMD-ISSA-LSTM ［J］. Guangdong Electric Power ， 2024 ， 37 （ 1 ）： 18 - 26 .

浏览量

下载量

CSCD

文章被引用时，请邮件提醒。

提交

工具集

关联资源

基于图深度强化学习的配电网电压控制方法

考虑源-荷不确定性的低碳海油平台综合能源系统优化调度

基于进化深度强化学习的含氢虚拟电厂低碳经济调度

考虑飞轮和锂电储能协同频率支撑的电力系统优化调度方法

基于分布式联邦强化学习的多区域综合能源系统优化调度