基于改进约束强化学习的风光水火储多能互补日内调度方法

司睿绮; 陈思远; 余菀雅; 张俊; 徐箭

doi:10.7500/AEPS20251101008

欢迎来到能源电力期刊网！

English Version 期刊登录

您当前的位置：

首页 >

文章列表页 >

基于改进约束强化学习的风光水火储多能互补日内调度方法

学术研究 | 更新时间：2026-09-22

- 基于改进约束强化学习的风光水火储多能互补日内调度方法
- Intra-day Scheduling Method for Wind-Solar-Hydro-Thermal-Storage Multi-energy Complementarity Based on Improved Constrained Reinforcement Learning
- 电力系统自动化 2026年50卷第18期页码：17-31
- 作者机构：
  
  武汉大学电气与自动化学院，湖北省武汉市 430072
- 作者简介：
  
  司睿绮(1999—)，女，博士研究生，主要研究方向：人工智能在电力系统调控领域的应用。E-mail：ruiqi.si@whu.edu.cn
  陈思远(1993—)，男，博士后，主要研究方向：人工智能在电力系统中的应用。E-mail：wddqcsy@whu.edu.cn
  余菀雅(2003—)，女，硕士研究生，主要研究方向：人工智能在电力系统中的应用。E-mail：yuwanya1@whu.edu.cn
  张俊(1981—)，男，通信作者，博士，教授，博士生导师，主要研究方向：人机混合智能在电力系统运行分析中的应用。E-mail：jun.zhang.ee@whu.edu.cn
- 基金信息：
  
  国家重点研发计划资助项目(2022YFB2403500)
- DOI：10.7500/AEPS20251101008
  中图分类号：
- 收稿：2025-11-01，
  
  修回：2026-02-10，
  
  网络首发：2026-05-14，
  
  纸质出版：2026-09-25
- 稿件说明：
移动端阅览
司睿绮,陈思远,余菀雅等.基于改进约束强化学习的风光水火储多能互补日内调度方法[J].电力系统自动化,2026,50(18):17-31.

SI Ruiqi,CHEN Siyuan,YU Wanya,et al.Intra-day Scheduling Method for Wind-Solar-Hydro-Thermal-Storage Multi-energy Complementarity Based on Improved Constrained Reinforcement Learning[J].Automation of Electric Power Systems,2026,50(18):17-31.
司睿绮,陈思远,余菀雅等.基于改进约束强化学习的风光水火储多能互补日内调度方法[J].电力系统自动化,2026,50(18):17-31. DOI： 10.7500/AEPS20251101008.

SI Ruiqi,CHEN Siyuan,YU Wanya,et al.Intra-day Scheduling Method for Wind-Solar-Hydro-Thermal-Storage Multi-energy Complementarity Based on Improved Constrained Reinforcement Learning[J].Automation of Electric Power Systems,2026,50(18):17-31. DOI： 10.7500/AEPS20251101008.

摘要

大型清洁能源基地是中国构建新型电力系统的重要组成部分，其强不确定性、弱灵活性、多可控资源等特征导致日内调度面临时效性与复杂性双重挑战。文中提出一种基于改进约束强化学习的风光水火储多能互补日内调度方法。首先，构建了考虑风光水火储和直流协同的电力系统日内优化调度模型，并将其转化为约束马尔可夫决策过程。其次，设计了时序记忆单元嵌入的策略网络架构以捕捉系统状态的时序依赖性，并在价值网络中引入自监督辅助任务以增强特征表征能力。然后，采用拉格朗日松弛法求解安全约束下的最优调度策略，并结合基于专家经验的动作校正模块共同保证单步约束和长时段耦合约束的满足。最后，利用改进的IEEE 39节点系统和某实际电网验证了所提方法的有效性。

Abstract

The large-scale clean energy base is a critical component of China’s new power system. Their inherent characteristics—strong uncertainty

low flexibility

and numerous controllable resources—pose dual challenges of timeliness and complexity for intra-day dispatching. This paper proposes an intra-day scheduling method for wind-solar-hydro-thermal-storage multi-energy complementarity based on improved constrained reinforcement learning. First

an intra-day optimal scheduling model for power system is established

incorporating the coordination of wind

solar

hydro

thermal

storage

and DC transmission

and reformulated as a constrained Markov decision process. Second

a policy network architecture embedded with temporal memory units is designed to capture the temporal dependencies of system states

while self-supervised auxiliary tasks are introduced into the value network to enhance feature representation capability. Third

the Lagrangian relaxation method is employed to derive the optimal scheduling policy under safety constraints

and an action correction module based on expert experience is incorporated to jointly ensure satisfaction of both single-step constraints and long-term coupling constraints. Finally

the effectiveness of the proposed method is validated using a modified IEEE 39-bus system and an actual power grid.

关键词

Keywords

references

国家发展改革委 . 中华人民共和国国民经济和社会发展第十四个五年规划和2035年远景目标纲要［EB/OL］．［ 2025-11-01 ］． https：//www.ndrc.gov.cn/code=&state=123 https://www.ndrc.gov.cn/code=&state=123 ．

National Development and Reform Commission of China . The outline of the 14th five-year plan for economic and social development and long-range objectives through the year 2035 of the People’s Republic of China ［EB/OL］. ［ 2025-11-01 ］. https：//www.ndrc.gov.cn/code=&state=123 https://www.ndrc.gov.cn/code=&state=123 ．

吉兴全，李元芳，叶平峰，等 . 源-网-荷-储与低碳-经济双重协同的电力系统规划［J］. 电力自动化设备， 2025 ， 45 （ 9 ）： 174 - 182 .

Ji Xingquan ， Li Yuanfang ， Ye Pingfeng ， et al . Power system planning based on double synergy of source-network-load-storage and low carbon-economy ［J］. Electric Power Automation Equipment ， 2025 ， 45 （ 9 ）： 174 - 182 .

程春田 . 碳中和下的水电角色重塑及其关键问题［J］. 电力系统自动化， 2021 ， 45 （ 16 ）： 29 - 36 ．

Cheng Chuntian . Function remolding of hydropower systems for carbon neutral and its key problems ［J］. Automation of Electric Power Systems ， 2021 ， 45 （ 16 ）： 29 - 36 .

向往，梅晓波，赵峥，等 . 内陆清洁能源基地±800 kV/10 000 MW直流外送拓扑设计［J］. 高电压技术， 2024 ， 50 （ 5 ）： 2052 - 2066 ．

Xiang Wang ， Mei Xiaobo ， Zhao Zheng ， et al . Topology design of ±800 kV/10 000 MW HVDC transmission for inland large-scale renewable energy bases ［J］. High Voltage Engineering ， 2024 ， 50 （ 5 ）： 2052 - 2066 .

刘昊，张恒旭 . 考虑风光储碳协同和用户满意度的分层优化调度策略［J］. 电力系统自动化， 2025 ， 49 （ 11 ）： 48 - 58 ．

Liu Hao ， Zhang Hengxu . Hierarchical optimal dispatch strategy considering wind-solar-storage-carbon synergy and user satisfaction ［J］. Automation of Electric Power Systems ， 2025 ， 49 （ 11 ）： 48 - 58 .

申建建，王月，程春田，等 . 水风光多能互补发电调度问题研究现状及展望［J］. 中国电机工程学报， 2022 ， 42 （ 11 ）： 3871 - 3885 ．

Shen Jianjian ， Wang Yue ， Cheng Chuntian ， et al . Research status and prospect of generation scheduling for hydropower-wind-solar energy complementary system ［J］. Proceedings of the CSEE ， 2022 ， 42 （ 11 ）： 3871 - 3885 .

王月，申建建，郝婷洁，等 . 耦合多受端日内负荷特征的流域水风光系统中期调度方法［J］. 电力系统自动化， 2025 ， 49 （ 19 ）： 174 - 184 ．

Wang Yue ， Shen Jianjian ， Hao Tingjie ， et al . Mid-term scheduling method for basin hydro-wind-solar system coupled with intraday load characteristics of multiple receiving ends ［J］. Automation of Electric Power Systems ， 2025 ， 49 （ 19 ）： 174 - 184 .

谭晶，何川，陈保瑞，等 . 考虑水光蓄互补和直流外送的电力系统分布鲁棒优化调度方法［J］. 中国电机工程学报， 2024 ， 44 （ 15 ）： 5947 - 5960 ．

Tan Jing ， He Chuan ， Chen Baorui ， et al . Distributionally robust optimal scheduling method of power system considering hydropower-photovoltaic-pumped storage complementarity and DC transmission ［J］. Proceedings of the CSEE ， 2024 ， 44 （ 15 ）： 5947 - 5960 .

郭怿，明波，黄强，等 . 考虑输电功率平稳性的水-风-光-储多能互补日前鲁棒优化调度［J］. 电工技术学报， 2023 ， 38 （ 9 ）： 2350 - 2363 ．

Guo Yi ， Ming Bo ， Huang Qiang ， et al . Day-ahead robust optimal scheduling of hydro-wind-pv-storage complementary system considering the steadiness of power delivery ［J］. Transactions of China Electrotechnical Society ， 2023 ， 38 （ 9 ）： 2350 - 2363 .

方必武，姜拓，陈亦平，等 . 促进可再生能源消纳的跨省区实时优化调度方法及应用［J］. 电力系统自动化， 2023 ， 47 （ 15 ）： 111 - 121 ．

Fang Biwu ， Jiang Tuo ， Chen Yiping ， et al . Cross-provincial real-time optimal dispatching method and application for promoting renewable energy accommodation ［J］. Automation of Electric Power Systems ， 2023 ， 47 （ 15 ）： 111 - 121 .

陈静鹏，王科，蒋迪，等 . 高比例水电系统的网省联合实时优化调度方法及应用［J］. 电力系统自动化， 2022 ， 46 （ 6 ）： 160 - 165 ．

Chen Jingpeng ， Wang Ke ， Jiang Di ， et al . Regional and provincial grid coordinated optimal real-time dispatch method and application for power grid with high proportion of hydropower ［J］. Automation of Electric Power Systems ， 2022 ， 46 （ 6 ）： 160 - 165 .

杨瑾诚，邓长虹，龙志君，等 . 基于风电消纳的梯级水电实时调度策略及其评价方法［J］. 武汉大学学报， 2020 ， 53 （ 4 ）： 330 - 338 ．

Yang Jincheng ， Deng Changhong ， Long Zhijun ， et al . Real-time dispatching strategy of cascade hydropower based on wind power generation and its evaluation method ［J］. Engineering Journal of Wuhan University ， 2020 ， 53 （ 4 ）： 330 - 338 .

朱建全，朱文凯，刘海欣，等 . 近似动态规划在电力系统优化运行中的应用综述［J］. 电力系统自动化， 2024 ， 48 （ 22 ）： 1 - 21 ．

Zhu Jianquan ， Zhu Wenkai ， Liu Haixin ， et al . Overview on application of approximate dynamic programming in optimal operation of power system ［J］. Automation of Electric Power Systems ， 2024 ， 48 （ 22 ）： 1 - 21 .

彭刘阳，孙元章，徐箭，等 . 基于深度强化学习的自适应不确定性经济调度［J］. 电力系统自动化， 2020 ， 44 （ 9 ）： 33 - 42 ．

Peng Liuyang ， Sun Yuanzhang ， Xu Jian ， et al . Self-adaptive uncertainty economic dispatch based on deep reinforcement learning ［J］. Automation of Electric Power Systems ， 2020 ， 44 （ 9 ）： 33 - 42 .

Hu J X ， Ye Y J ， Wu Y Z ， et al . Rethinking safe policy learning for complex constraints satisfaction： a glimpse in real-time security constrained economic dispatch integrating energy storage units ［J］. IEEE Transactions on Power Systems ， 2024 ， 40 （ 1 ）： 1091 - 1104 .

段玉戈，王小君，刘曌，等 . 基于先验知识修正的社区充电站在线实时优化调度［J］. 电力自动化设备， 2026 ， 46 （ 2 ）： 137 - 147 ．

Duan Yuge ， Wang Xiaojun ， Liu Zhao ， et al . Online real-time optimal scheduling of community charging stations based on prior knowledge correction ［J］. Electric Power Automation Equipment ， 2026 ， 46 （ 2 ）： 137 - 147 .

王珂，姚建国，余佩遥，等 . 基于深度强化学习的电网前瞻调度智能决策架构及关键技术初探［J］. 中国电机工程学报， 2022 ， 42 （ 15 ）： 5430 - 5439 ．

Wang Ke ， Yao Jianguo ， Yu Peiyao ， et al . Architecture and key technologies of intelligent decision-making of power grid look-ahead dispatch based on deep reinforcement learning ［J］. Proceedings of the CSEE ， 2022 ， 42 （ 15 ）： 5430 - 5439 .

刘民颂，朱圆恒，赵冬斌 . 基于Transformer的状态-动作-奖赏预测表征学习［J］. 自动化学报， 2025 ， 51 （ 1 ）： 117 - 132 ．

LIU Minsong ， ZHU Yuanheng ， ZHAO Dongbin . State-action-reward prediction representation learning based on Transformer ［J］. Acta Automatica Sinica ， 2025 ， 51 （ 1 ）： 117 - 132 .

王雪松，王荣荣，程玉虎 . 基于表征学习的离线强化学习方法研究综述［J］. 自动化学报， 2024 ， 50 （ 6 ）： 1104 - 1128 ．

Wang Xuesong ， Wang Rongrong ， Cheng Yuhu . A review of offline reinforcement learning based on representation learning ［J］. Acta Automatica Sinica ， 2024 ， 50 （ 6 ）： 1104 - 1128 .

陈真，吴卓屹，张霖 . 深度强化学习中策略表征研究简述［J］．系统仿真学报， 2025 ， 37 （ 7 ）： 1753 - 1769 ．

Chen Zhen ， Wu Zhuoyi ， Zhang Lin . Research on policy representation in deep reinforcement learning ［J］. Journal of System Simulation ， 2025 ， 37 （ 7 ）： 1753 - 1769 .

窦迅，邓叶航，王顺江，等 . 基于改进多智能体深度确定策略梯度算法的配电网无功协调优化调度［J］. 电力自动化设备， 2025 ， 45 （ 8 ）： 79 - 86 ．

Dou Xun ， Deng Yehang ， Wang Shunjiang ， et al . Reactive power coordination optimization scheduling of distribution network based on improved multi-agent deep deterministic policy gradient algorithm ［J］. Electric Power Automation Equipment ， 2025 ， 45 （ 8 ）： 79 - 86 .

Yi Z ， Wang X ， Yang C ， et al . Real-time sequential security-constrained optimal power flow： a hybrid knowledge-data-driven reinforcement learning approach ［J］. IEEE Transactions on Power Systems ， 2023 ， 39 （ 1 ）： 1664 - 1680 .

刘宇昕 . 基于数据增强和自监督学习的视觉强化学习研究［D］. 北京：北京邮电大学， 2024 ．

Liu Yuxin . Research on visual reinforcement learning based on data augmentation and self-supervised learning ［D］. Beijing ： Beijing University of Posts and Telecommunications ， 2024 .

Oord A ， Li Y ， Vinyals O . Representation learning with contrastive predictive coding ［PP/OL］. ［ 2025-11-01 ］. https：//arxiv.org/abs/1807.03748 https://arxiv.org/abs/1807.03748 .

李天明，王小君，窦嘉铭，等 . 基于约束强化学习的综合能源系统优化调度研究［J］. 电力系统保护与控制， 2025 ， 53 （ 6 ）： 1 - 14 ．

Li Tianming ， Wang Xiaojun ， Dou Jiaming ， et al . Research on optimal dispatch of integrated energy systems based on constrained reinforcement learning ［J］. Power System Protection and Control ， 2025 ， 53 （ 6 ）： 1 - 14 .

Yan Ziming ， Xu Yan . A hybrid data-driven method for fast solution of security-constrained optimal power flow ［J］. IEEE Transactions on Power Systems ， 2022 ， 37 （ 6 ）： 4365 - 4374 .

LI H P ， HE H B . Learning to operate distribution networks with safe deep reinforcement learning ［J］. IEEE Transactions on Smart Grid ， 2022 ， 13 （ 3 ）： 1860 - 1872 .

Gao Y ， Yu N . Model-augmented safe reinforcement learning for Volt-VAR control in power distribution networks ［J］. Applied Energy ， 2022 ， 313 ： 118762 .

李亚平，严嘉豪，王继业，等 . 强化学习与随机优化混合驱动的电网前瞻调度技术及其应用［J/OL］. 电力系统自动化， 2025-12-19 . https：//link.cnki.net/urlid/32.1180.TP.20251203.1644.002 https://link.cnki.net/urlid/32.1180.TP.20251203.1644.002 .

LI Yaping ， YAN Jiahao ， WANG Jiye ， et al . Power grid look-ahead dispatch technologies driven by reinforcement learning and stochastic optimization and their applications ［J/OL］. Automation of Electric Power Systems ， 2025-12-19 . https：//link.cnki.net/urlid/32.1180.TP.20251203.1644.002 https://link.cnki.net/urlid/32.1180.TP.20251203.1644.002 .

崔杨，程广岩，仲悟之，等 . 计及受端电网调峰趋势的风-光-火特高压直流外送调度方法［J］. 太阳能学报， 2021 ， 42 （ 8 ）： 32 - 40 ．

Cui Yang ， Cheng Guangyan ， Zhong Wuzhi ， et al . Wind-photovoltaic-fire UHVDC external dispatching method considering peaking trend of power grid ［J］. Acta Energiae Solaris Sinica ， 2021 ， 42 （ 8 ）： 32 - 40 .

裴青琦，陈逸诗，何智勇，等 . 基于时间与图嵌入强化学习的含5G基站储能配电网安全调度策略［J］. 电工技术学报， 2026 ， 41 （ 13 ）： 4386 - 4402 .

Pei Qingqi ， Chen Yishi ， He Zhiyong ， et al . A safe scheduling strategy for distribution network considering 5G base station energy storage based on time and graph embedding reinforcement learning ［J］. Transactions of China Electrotechnical Society ， 2026 ， 41 （ 13 ）： 4386 - 4402 .

张虹，景欣，阮梦宇，等 . 基于知识图谱的交直流大电网断面越限处置策略快速生成方法［J］. 现代电力， 2021 ， 38 （ 4 ）： 455 - 464 ．

Zhang Hong ， Jing Xin ， Ruan Mengyu ， et al . A method of fast eliminating transmission section overload based on knowledge graph in large-scale ac-dc power grids ［J］. Modern Electric Power ， 2021 ， 38 （ 4 ）： 455 - 464 .

龚承霄，李岩松，刘君，等 . 基于深度学习的大电网断面功率快速自动调整方法［J］. 电力系统自动化， 2023 ， 47 （ 2 ）： 181 - 190 ．

Gong Chengxiao ， Li Yansong ， Liu Jun ， et al . Deep learning based fast automatic adjustment method for cross-section power of bulk power grid ［J］. Automation of Electric Power Systems ， 2023 ， 47 （ 2 ）： 181 - 190 .

浏览量

下载量

CSCD

文章被引用时，请邮件提醒。

提交

工具集

关联资源

绿电直连数据中心：耦合逻辑、关键技术与应用模式

融合多维数据特征的可解释负荷预测方法

面向中长期电力供需平衡的季节性储热建模与优化规划方法

面向新型电力系统的暂态稳定边界表征与计算：综述与展望

支撑应急保供需求的电能量与备用市场协同监管机制