Two-stage multi-timescale optimal scheduling for electricity-hydrogen coupling systems based on scenario approach and deep reinforcement learning

CHEN Zhe; WEI Meijia; LIN Da; LI Zhihao; CHEN Jian

doi:10.19585/j.zjdl.202501006

English Version Reader LoginJournal Login

您当前的位置：

首页 >

文章列表页 >

Two-stage multi-timescale optimal scheduling for electricity-hydrogen coupling systems based on scenario approach and deep reinforcement learning

Internet of Energy | 更新时间：2025-06-16

- Two-stage multi-timescale optimal scheduling for electricity-hydrogen coupling systems based on scenario approach and deep reinforcement learning
- ZHEJIANG ELECTRIC POWER Vol. 44, Issue 1, Pages: 54-67(2025)
- 作者机构：
  
  1.国网浙江省电力有限公司电力科学研究院，杭州 310014
  2.电网智能化调度与控制教育部重点实验室（山东大学），济南 250061
- 作者简介：
- 基金信息：
- DOI：10.19585/j.zjdl.202501006
  CLC：
- Received：30 May 2024，
  
  Revised：2024-08-19，
  
  Published：25 January 2025
- 稿件说明：
移动端阅览
陈哲,韦美佳,林达等.基于场景法和深度强化学习的电氢耦合系统两阶段多时间尺度优化调度[J].浙江电力,2025,44(01):54-67.

CHEN Zhe,WEI Meijia,LIN Da,et al.Two-stage multi-timescale optimal scheduling for electricity-hydrogen coupling systems based on scenario approach and deep reinforcement learning[J].ZHEJIANG ELECTRIC POWER,2025,44(01):54-67.
陈哲,韦美佳,林达等.基于场景法和深度强化学习的电氢耦合系统两阶段多时间尺度优化调度[J].浙江电力,2025,44(01):54-67. DOI： 10.19585/j.zjdl.202501006.

CHEN Zhe,WEI Meijia,LIN Da,et al.Two-stage multi-timescale optimal scheduling for electricity-hydrogen coupling systems based on scenario approach and deep reinforcement learning[J].ZHEJIANG ELECTRIC POWER,2025,44(01):54-67. DOI： 10.19585/j.zjdl.202501006.

摘要

电氢耦合系统中风光出力存在波动性，且电能与氢能调度时间尺度也具有差异性，这些因素给系统的经济、高效调度带来诸多挑战。为此，基于场景法和深度强化学习提出一种考虑风光不确定性的电氢耦合系统两阶段多时间尺度优化调度方法。首先分析储电与储氢等储能装置的工作特性，设计电氢耦合系统两阶段优化调度框架。然后考虑风光不确定性，构建长时间尺度和短时间尺度两阶段优化调度模型；长时间尺度优化模型以系统能量最大程度自平衡为目标，采用拉丁超立方场景生成和场景缩减得到典型风光出力场景，并进行优化求解；短时间尺度优化模型以系统运行经济性最优为目标，采用深度确定性策略梯度算法求解。最后，通过算例仿真表明所提优化调度方法能够实现氢能日间转移、有效平抑风光出力波动，验证了方法的有效性。

Abstract

In electricity-hydrogen coupling systems， fluctuations in wind and solar power output， as well as the different timescales for electricity and hydrogen energy dispatch， pose significant challenges for economic and efficient system scheduling. To address these challenges， this paper， using scenario approach and deep reinforcement learning （DRL）， proposes a two-stage multi-timescale optimal scheduling method for electricity-hydrogen coupling systems considering uncertainties of wind and solar power generation. First， the operational characteristics of energy storage devices， including electrical and hydrogen storage devices， are analyzed， and a two-stage optimal scheduling framework for electricity-hydrogen coupling systems is designed. Next， with the uncertainties of wind and solar power generation considered， long-term and short-term timescale optimal models are developed. The long-term timescale model aims to maximize the systems’ energy self-balance by generating typical wind and solar output scenarios using Latin hypercube sampling （LHS） for scenario generation and reduction， followed by optimization. The short-term model focuses on minimizing the systems’ operational costs and is solved using the deep deterministic policy gradient （DDPG） algorithm. Finally， case study simulations demonstrate that the proposed method effectively facilitates hydrogen energy shifting， smooths fluctuations in wind and solar output， verifying the method’s effectiveness.

关键词

Keywords

references

张雪松，陈杨，倪筹帷，等 . 考虑多类型电解槽差异化特征的分布式电热氢系统优化设计［J］. 浙江电力， 2024 ， 43 （ 4 ）： 1 - 11 .

ZHANG Xuesong ， CHEN Yang ， NI Chouwei ， et al . Optimal design of distributed electric-thermal-hydrogen energy systems considering differentiated features of multi-type electrolyzers ［J］. Zhejiang Electric Power ， 2024 ， 43 （ 4 ）： 1 - 11 .

葛晓琳，居兴，王定美 . 考虑需求响应不确定性的主动配电网优化调度［J］. 电测与仪表， 2023 ， 60 （ 1 ）： 104 - 110 .

GE Xiaolin ， JU Xing ， WANG Dingmei . Optimal scheduling of active distribution network considering uncertaintyof demand response ［J］. Electrical Measurement & Instrumentation ， 2023 ， 60 （ 1 ）： 104 - 110 .

孙兵，赵广怀，李金友，等 . 基于改进鸟群算法的多目标微电网优化调度研究［J］. 智慧电力， 2024 ， 52 （ 6 ）： 46 - 53 .

SUN Bing ， ZHAO Guanghuai ， LI Jinyou ， et al . Multi-objective microgrid optimal scheduling based on improved bird flock algorithm ［J］. Smart Power ， 2024 ， 52 （ 6 ）： 46 - 53 .

赵振宇，包格日乐图，李炘薪 . 基于信息间隙决策理论的含碳捕集-电转气综合能源系统优化调度［J］. 发电技术， 2024 ， 45 （ 4 ）： 651 - 665 .

ZHAO Zhenyu ，包格日乐图， LI Xinxin . Optimization and scheduling of integrated energy systems with carbon capture and storage-power to gas based on information gap decision theory ［J］. Power Generation Technology ， 2024 ， 45 （ 4 ）： 651 - 665 .

魏震波，杨超，李银江 . 参与多元耦合市场的电-气综合能源系统低碳经济调度［J］. 智慧电力， 2023 ， 51 （ 5 ）： 8 - 14 .

WEI Zhenbo ， YANG Chao ， LI Yinjiang . Low-carbon economic dispatch of electricity-gas integrated energy systems participating in multiple markets ［J］. Smart Power ， 2023 ， 51 （ 5 ）： 8 - 14 .

杨锡勇，张仰飞，林纲，等 . 考虑需求响应的源-荷-储多时间尺度协同优化调度策略［J］. 发电技术， 2023 ， 44 （ 2 ）： 253 - 260 .

YANG Xiyong ， ZHANG Yangfei ， LIN Gang ， et al . Multi-time scale collaborative optimal scheduling strategy for source-load-storage considering demand response ［J］. Power Generation Technology ， 2023 ， 44 （ 2 ）： 253 - 260 .

赵佩尧，李正烁，高晗，等 . 电-气-热综合能源系统协同调度优化研究综述［J］. 山东电力技术， 2024 ， 51 （ 4 ）： 1 - 11 .

ZHAO Peiyao ， LI Zhengshuo ， GAO Han ， et al . Review on collaborative scheduling optimization of electricity-gas-heat integrated energy system ［J］. Shandong Electric Power ， 2024 ， 51 （ 4 ）： 1 - 11 .

周孝信，陈树勇，鲁宗相，等 . 能源转型中我国新一代电力系统的技术特征［J］. 中国电机工程学报， 2018 ， 38 （ 7 ）： 1893 - 1904 .

ZHOU Xiaoxin ， CHEN Shuyong ， LU Zongxiang ， et al . Technology features of the new generation power system in china ［J］. Proceedings of the CSEE ， 2018 ， 38 （ 7 ）： 1893 - 1904 .

潘光胜，顾伟，张会岩，等 . 面向高比例可再生能源消纳的电氢能源系统［J］. 电力系统自动化， 2020 ， 44 （ 23 ）： 1 - 10 .

PAN Guangsheng ， GU Wei ， ZHANG Huiyan ， et al . Electricity and hydrogen energy system towards accomodation of high proportion of renewable energy ［J］. Automation of Electric Power Systems ， 2020 ， 44 （ 23 ）： 1 - 10 .

姜海洋，杜尔顺，朱桂萍，等 . 面向高比例可再生能源电力系统的季节性储能综述与展望［J］. 电力系统自动化， 2020 ， 44 （ 19 ）： 194 - 207 .

JIANG Haiyang ， DU Ershun ， ZHU Guiping ， et al . Review and prospect of seasonal energy storage for power system with high proportion of renewable energy ［J］. Automation of Electric Power Systems ， 2020 ， 44 （ 19 ）： 194 - 207 .

张红，袁铁江，谭捷，等 . 面向统一能源系统的氢能规划框架［J］. 中国电机工程学报， 2022 ， 42 （ 1 ）： 83 - 93 .

ZHANG Hong ， YUAN Tiejiang ， TAN Jie ， et al . Hydrogen energy system planning framework for unified energy system ［J］ . Proceedings of the CSEE ， 2022 ， 42 （ 1 ）： 83 - 93 .

闫庆友，党嘉璐，林宏宇，等 . 考虑全生命周期碳排放的电氢耦合VPP调度优化［J］. 电力建设， 2024 ， 45 （ 4 ）： 13 - 25 .

YAN Qingyou ， DANG Jialu ， LIN Hongyu ， et al . The scheduling optimization model for electric-hydrogen coupled VPP considering life-cycle carbon emissions ［J］. Electric Power Construction ， 2024 ， 45 （ 4 ）： 13 - 25 .

章雷其，谭彩霞，赵波，等 . 考虑子系统特性的分布式电氢耦合系统多时间尺度优化［J］. 电力建设， 2023 ， 44 （ 9 ）： 118 - 128 .

ZHANG Leiqi ， TAN Caixia ， ZHAO Bo ， et al . Multi-time-scale operational optimization of a distributed electro-hydrogen coupling system considering subsystem characteristics ［J］. Electric Power Construction ， 2023 ， 44 （ 9 ）： 118 - 128 .

CHEN C M ， WU X Y ， LI Y ， et al . Distributionally robust day-ahead scheduling of park-level integrated energy system considering generalized energy storages ［J］. Applied Energy ， 2021 ， 302 ： 117493 .

LI Q ， XIAO X K ， PU Y C ， et al . Hierarchical optimal scheduling method for regional integrated energy systems considering electricity-hydrogen shared energy ［J］. Applied Energy ， 2023 ， 349 ： 121670 .

罗潇，任洲洋，温紫豪，等 . 考虑氢能系统热回收的电氢区域综合能源系统日前优化运行［J］. 电工技术学报， 2023 ， 38 （ 23 ）： 6359 - 6372 .

LUO Xiao ， REN Zhouyang ， WEN Zihao ， et al . A day-ahead dispatching method of regional integrated electric-hydrogen energy systems considering the heat recycle of hydrogen systems ［J］. Transactions of China Electrotechnical Society ， 2023 ， 38 （ 23 ）： 6359 - 6372 .

LI R Q ， REN H B ， WU Q ， et al . Cooperative economic dispatch of EV-HV coupled electric-hydrogen integrated energy system considering V2G response and carbon trading ［J］. Renewable Energy ， 2024 ， 227 ： 120488 .

赵为光，董凤麟，杨莹，等 . 电氢热多源联合的微能源网优化模型［J］. 黑龙江科技大学学报， 2021 ， 31 （ 5 ）： 634 - 641 .

ZHAO Weiguang ， DONG Fenglin ， YANG Ying ， et al . Optimization model of combined micro energy network for EHR ［J］. Journal of Heilongjiang University of Science and Technology ， 2021 ， 31 （ 5 ）： 634 - 641 .

ZHANG Y W ， ZHANG M ， FAN C X ， et al . Computing resource allocation scheme of IOV using deep reinforcement learning in edge computing environment ［J］. EURASIP Journal on Advances in Signal Processing ， 2021 ， 2021 （ 1 ）： 33 .

CHEN M ， SHEN Z R ， WANG L ， et al . Intelligent energy scheduling in renewable integrated microgrid with bidirectional electricity-to-hydrogen conversion ［J］. IEEE Transactions on Network Science and Engineering ， 2022 ， 9 （ 4 ）： 2212 - 2223 .

SHI T ， XU C ， DONG W H ， et al . Research on energy management of hydrogen electric coupling system based on deep reinforcement learning ［J］. Energy ， 2023 ， 282 ： 128174 .

梁涛，孙博峰，谭建鑫，等 . 基于深度强化学习算法的风光互补可再生能源制氢系统调度方案［J］. 高电压技术， 2023 ， 49 （ 6 ）： 2264 - 2274 .

LIANG Tao ， SUN Bofeng ， TAN Jianxin ， et al . Scheduling scheme of wind-solar complementary renewable energy hydrogen production system based on deep reinforcement learning ［J］. High Voltage Engineering ， 2023 ， 49 （ 6 ）： 2264 - 2274 .

范宏，于伟南，柳璐，等 . 双碳目标下考虑电氢互补的智慧园区多楼宇协调调度［J］. 电力系统自动化， 2022 ， 46 （ 21 ）： 42 - 51 .

FAN Hong ， YU Weinan ， LIU Lu ， et al . Multi-building coordinated dispatch in smart park for carbon emission peak and carbon neutrality considering electricity and hydrogen complementary ［J］. Automation of Electric Power Systems ， 2022 ， 46 （ 21 ）： 42 - 51 .

刘海镇，徐丽，王新华，等 . 电网氢储能场景下的固态储氢系统及储氢材料的技术指标研究［J］. 电网技术， 2017 ， 41 （ 10 ）： 3376 - 3384 .

LIU Haizhen ， XU Li ， WANG Xinhua ， et al . Technical indicators for solid-state hydrogen storage systems and hydrogen storage materials for grid-scale hydrogen energy storage application ［J］. Power System Technology ， 2017 ， 41 （ 10 ）： 3376 - 3384 .

郑彦春，陕超伦，张晋宾 . 长持续时间储能体系研究现状及发展展望［J］. 南方能源建设， 2024 ， 11 （ 2 ）： 93 - 101 .

ZHENG Yanchun ， SHAN Chaolun ， ZHANG Jinbin . Current research status and development prospects of long duration energy storage system ［J］. Southern Energy Construction ， 2024 ， 11 （ 2 ）： 93 - 101 .

SHEIKHOLESLAMI R ， RAZAVI S . Progressive Latin Hypercube Sampling：an efficient approach for robust sampling-based analysis of environmental models ［J］. Environmental Modelling & Software ， 2017 ， 93 ： 109 - 126 .

薛福，马晓明，游焰军 . 储能技术类型及其应用发展综述［J］. 综合智慧能源， 2023 ， 45 （ 9 ）： 48 - 58 .

XUE Fu ， MA Xiaoming ， YOU Yanjun . Energy storage technologies and their applications and development ［J］. Integrated Intelligent Energy ， 2023 ， 45 （ 9 ）： 48 - 58 .

YE Y J ， QIU D W ， SUN M Y ， et al . Deep reinforcement learning for strategic bidding in electricity markets ［J］. IEEE Transactions on Smart Grid ， 2020 ， 11 （ 2 ）： 1343 - 1355 .

南斌，姜春娣，董树锋，等 . 计及源荷不确定性的综合能源系统日前-日内协调优化调度［J］. 电网技术， 2023 ， 47 （ 9 ）： 3669 - 3683 .

NAN Bin ， JIANG Chundi ， DONG Shufeng ， et al . Day-ahead and intra-day coordinated optimal scheduling of integrated energy system considering uncertainties in source and Load ［J］. Power System Technology ， 2023 ， 47 （ 9 ）： 3669 - 3683 .

彭刘阳，孙元章，徐箭，等 . 基于深度强化学习的自适应不确定性经济调度［J］. 电力系统自动化， 2020 ， 44 （ 9 ）： 33 - 42 .

PENG Liuyang ， SUN Yuanzhang ， XU Jian ， et al . Self-adaptive uncertainty economic dispatch based on deep reinforcement learning ［J］. Automation of Electric Power Systems ， 2020 ， 44 （ 9 ）： 33 - 42 .

王士博，孔令国，蔡国伟，等 . 电力系统氢储能关键应用技术现状、挑战及展望［J］. 中国电机工程学报， 2023 ， 43 （ 17 ）： 6660 - 6681 .

WANG Shibo ， KONG Lingguo ， CAI Guowei ， et al . Current status，challenges and prospects of key application technologies for hydrogen storage in power system ［J］. Proceedings of the CSEE ， 2023 ， 43 （ 17 ）： 6660 - 6681 .

李永毅，王子晗，张磊，等 . 风-光-氢-燃气轮机一体化氢电耦合系统容量配置优化［J/OL］. 中国电机工程学报， 1 - 13 ［ 2024-05-30 ］. https：//doi.org/10.13334/j.0258-8013.pcsee.232133 https://doi.org/10.13334/j.0258-8013.pcsee.232133 .

LI Yongyi ， WANG Zihan ， ZHANG Lei ， et al . Capacity allocation optimization of integrated hydrogen-electric coupling system of wind-solar-hydrogen-gas trubine ［J/OL］. Proceedings of the CSEE ， 1 - 13 ［ 2024-05-30 ］. https：//doi.org/10.13334/j.0258-8013.pcsee.232133 https://doi.org/10.13334/j.0258-8013.pcsee.232133 .

Views

下载量

CSCD

Alert me when the article has been cited

提交

Tools

Publicity Resources

A DRL-based optimization method for microgrid operation

Related Author

ZENG Lei

DING Quan

CHEN Xiaoyu

YUE Xianya

Related Institution

Guodian Nanjing Automation Co.， Ltd.

School of Electrical Engineering， Southeast University

AI问答

⁰