An energy management strategy for integrated electricity-thermal energy systems using the DQN-CE algorithm

ZHU Jiejie; PI Zhiyong; CHEN Daicai; TAN Hong

doi:10.19585/j.zjdl.202501005

English Version Reader LoginJournal Login

您当前的位置：

首页 >

文章列表页 >

An energy management strategy for integrated electricity-thermal energy systems using the DQN-CE algorithm

Internet of Energy | 更新时间：2025-06-16

- An energy management strategy for integrated electricity-thermal energy systems using the DQN-CE algorithm
- ZHEJIANG ELECTRIC POWER Vol. 44, Issue 1, Pages: 44-53(2025)
- 作者机构：
  
  1.三峡大学电气与新能源学院，湖北宜昌 443002
  2.国网湖北省电力有限公司荆门供电公司，湖北荆门 448000
  3.国网湖北省电力有限公司利川供电公司，湖北利川 445499
- 作者简介：
- 基金信息：
- DOI：10.19585/j.zjdl.202501005
  CLC：
- Received：04 June 2024，
  
  Revised：2024-07-22，
  
  Published：25 January 2025
- 稿件说明：
移动端阅览
朱杰杰,皮志勇,陈代才等.基于DQN-CE算法的电-热综合能源系统能量管理策略[J].浙江电力,2025,44(01):44-53.

ZHU Jiejie,PI Zhiyong,CHEN Daicai,et al.An energy management strategy for integrated electricity-thermal energy systems using the DQN-CE algorithm[J].ZHEJIANG ELECTRIC POWER,2025,44(01):44-53.
朱杰杰,皮志勇,陈代才等.基于DQN-CE算法的电-热综合能源系统能量管理策略[J].浙江电力,2025,44(01):44-53. DOI： 10.19585/j.zjdl.202501005.

ZHU Jiejie,PI Zhiyong,CHEN Daicai,et al.An energy management strategy for integrated electricity-thermal energy systems using the DQN-CE algorithm[J].ZHEJIANG ELECTRIC POWER,2025,44(01):44-53. DOI： 10.19585/j.zjdl.202501005.

摘要

针对电-热综合能源系统中可再生能源输出的不确定性和间歇性问题，提出用于一种电-热综合能源系统能量管理的强化学习方法，以电-热综合能源系统运行成本最低为目标，实现综合能源系统的能量管理。首先，建立电-热综合能源系统能量管理模型；然后，将含可再生能源的电-热综合能源系统能量管理过程转化为马尔可夫决策过程；再次，在DQN-CE（深度Q网络-交叉熵）的基础上进一步提出采用NoisyNet（噪声网络）和自注意力机制来提高智能体优化性能；最后，通过算例分析表明，所提方法训练的智能体能够实时响应可再生能源的不确定性，并能在线管理包含可再生能源在内的电-热综合能源系统的能量。

Abstract

To address the uncertainty and intermittency of renewable energy output in integrated electricity-thermal energy systems， a reinforcement learning method for energy management is proposed， aiming to minimize the operating costs of the system. First， an energy management model for the integrated electricity-thermal energy system is established. Next， the energy management process of the system， which includes renewable energy， is transformed into a Markov decision process （MDP）. Thirdly， on the basis of DQN-CE（Deep Q-Network-Cross Entropy）， we further propose a NoisyNet and self-attention mechanism to improve the agent optimization performance. Finally， case study analysis shows that the agent trained using the proposed method can respond in real time to the uncertainties of renewable energy and manage the energy of the integrated electricity-thermal energy system with renewable sources online.

关键词

Keywords

references

WANG R ， CHENG S ， ZUO X W ， et al . Optimal management of multi stakeholder integrated energy system considering dual incentive demand response and carbon trading mechanism ［J］. International Journal of Energy Research ， 2022 ， 46 （ 5 ）： 6246 - 6263 .

赵佩尧，李正烁，高晗，等 . 电-气-热综合能源系统协同调度优化研究综述［J］. 山东电力技术， 2024 ， 51 （ 4 ）： 1 - 11 .

ZHAO Peiyao ， LI Zhengshuo ， GAO Han ， et al . Review on collaborative scheduling optimization of electricity-gas-heat integrated energy system ［J］. Shandong Electric Power ， 2024 ， 51 （ 4 ）： 1 - 11 .

周专，苗帅，边家瑜，等 . 基于系统动力学氢需求预测与综合能源系统优化配置研究［J］. 电力电容器与无功补偿， 2023 ， 44 （ 6 ）： 12 - 22 .

ZHOU Zhuan ， MIAO Shuai ， BIAN Jiayu ， et al . Hydrogen demand prediction based on system dynamics and research on optimal configuration of integrated energy system ［J］. Power Capacitor & Reactive Power Compensation ， 2023 ， 44 （ 6 ）： 12 - 22 .

SONG D R ， MENG W Q ， DONG M ， et al . A critical survey of integrated energy system：summaries，methodologies and analysis ［J］. Energy Conversion and Management ， 2022 ， 266 ： 115863 .

LYU X M ， LIU T Q ， LIU X ， et al . Low-carbon robust economic dispatch of park-level integrated energy system considering price-based demand response and vehicle-to-grid ［J］. Energy ， 2023 ， 263 ： 125739 .

NIKAS A ， GAMBHIR A ， TRUTNEVYTE E ， et al . Perspective of comprehensive and comprehensible multi-model energy and climate science in Europe ［J］. Energy ， 2021 ， 215 ： 119153 .

陈思畏，李建军，邹信迅，等 . 基于孪生延迟DDPG强化学习的电-热耦合系统低碳经济调度［J/OL］. 现代电力， 1 - 8 ［ 2024-05-21 ］. https：//doi.org/10.19725/j.cnki.1007-2322.2023.0058 https://doi.org/10.19725/j.cnki.1007-2322.2023.0058 .

CHEN Siwei ， Li Jianjun ， Zou Xinxun ， et al . Low-carbon economic scheduling of electric-thermal coupled systems based on twin-delayed DDPG reinforcement learning ［J］. Modern Electric Power ， 1 - 8 ［ 2024-05-21 ］. https：//doi.org/10.19725/j.cnki.1007-2322.2023.0058 https://doi.org/10.19725/j.cnki.1007-2322.2023.0058 .

黎海涛，刘伊然，杨艳红，等 . 基于改进联邦竞争深度Q网络的多微网能量管理策略［J］. 电力系统自动化， 2024 ， 48 （ 8 ）： 174 - 184

LI Haitao ， LIU Yiran ， YANG Yanhong ， et al . Multi-microgrid energy management strategy based on improved federal competitive deep Q network ［J］. Automation of Electric Power Systems ， 2024 ， 48 （ 8 ）： 174 .

张志一，窦震海，于润泽，等 . 考虑电-热等效虚拟储能的综合能源系统低碳经济调度［J］. 电力建设， 2024 ， 45 （ 3 ）： 16 - 26 .

ZHANG Zhiyi ， DOU Zhenhai ， YU Runze ， et al . Low-carbon economic dispatch of integrated energy system considering electric-thermal equivalent virtual energy storage ［J］. Electric Power Construction ， 2024 ， 45 （ 3 ）： 16 - 26 .

王佳蕊，孙勇，胡枭，等 . 基于MICP的多能耦合综合能源系统可再生能源消纳能力研究［J］. 电力建设， 2023 ， 44 （ 8 ）： 157 - 170 .

WANG Jiarui ， SUN Yong ， HU Xiao ， et al . Research on renewable energy absorption capacity of multi-energy coupling integrated energy systems based on MICP ［J］. Electric Power Construction ， 2023 ， 44 （ 8 ）： 157 - 170 .

柳松林，成贵学，赵晋斌，等 . 基于双层优化的电-热综合能源系统调峰运行方法［J］. 智慧电力， 2023 ， 51 （ 5 ）： 65 - 72 .

LIU Songlin ， CHENG Guixue ， ZHAO Jinbin ， et al . Peak-shaving operation method of electric-thermal integrated energy system based on double-layer optimization ［J］. Smart Power ， 2023 ， 51 （ 5 ）： 65 - 72 .

QADRDAN M ， WU J Z ， JENKINS N ， et al . Operating strategies for a GB integrated gas and electricity network considering the uncertainty in wind power forecasts ［J］. IEEE Transactions on Sustainable Energy ， 2014 ， 5 （ 1 ）： 128 - 138 .

高晓松，李更丰，肖遥，等 . 基于分布鲁棒优化的电-气-热综合能源系统日前经济调度［J］. 电网技术， 2020 ， 44 （ 6 ）： 2245 - 2254 .

GAO Xiaosong ， LI Gengfeng ， XIAO Yao ， et al . Day-ahead economic scheduling of electric-gas-thermal integrated energy system based on the optimization of dividing rod ［J］. Power grid technology ， 2020 ， 44 （ 6 ）： 2245 - 2254 .

WANG Q J ， XIAO Y F ， TAN H ， et al . Day-Ahead scheduling of rural integrated energy systems based on distributionally robust optimization theory ［J］. Applied Thermal Engineering ， 2024 ， 246 ： 123001 .

QI Y ， XU X ， LIU Y ， et al . Intelligent energy management for an on-grid hydrogen refueling station based on dueling double deep Q network algorithm with NoisyNet ［J］. Renewable Energy ， 2024 ， 222 ： 119885 .

张晗，杨继斌，张继业，等 . 基于多种群萤火虫算法的车载燃料电池直流微电网能量管理优化［J］. 中国电机工程学报， 2021 ， 41 （ 3 ）： 833 - 845 .

ZHANG Han ， YANG Jibin ， ZHANG Jiye ， et al . Multiple-population firefly algorithm-based energy management strategy for vehicle-mounted fuel cell DC microgrid ［J］. Proceedings of the CSEE ， 2021 ， 41 （ 3 ）： 833 - 845 .

冯昌森，张瑜，文福拴，等 . 基于深度期望Q网络算法的微电网能量管理策略）［J］. 电力系统自动化， 2022 ， 46 （ 3 ）： 14 - 22 .

FENG Changsen ， ZHANG Yu ， WEN Fusuan ， et al . Energy management strategy of microgrid based on deep expectation Q network algorithm ［J］. Power system automation ， 2022 ， 46 （ 3 ）： 14 - 22 .

李扬，马文捷，卜凡金，等 . 多智能体深度强化学习驱动的跨园区能源交互优化调度［J］. 电力建设， 2024 ， 45 （ 5 ）： 59 - 70 .

LI Yang ， MA Wenjie ， BU Fanjin ， et al . Deep reinforcement learning-driven cross-community energy interaction optimal scheduling ［J］. Electric Power Construction ， 2024 ， 45 （ 5 ）： 59 - 70 .

黎海涛，申保晨，杨艳红，等 . 基于改进竞争深度Q网络算法的微电网能量管理与优化策略［J］. 电力系统自动化， 2022 ， 46 （ 7 ）： 42 - 49 .

LI Haitao ， SHEN Baochen ， YANG Yanhong ， et al . Energy management and optimization strategy for microgrid based on improved dueling deep Q network algorithm ［J］. Automation of Electric Power Systems ， 2022 ， 46 （ 7 ）： 42 - 49 .

李想，任晓羽，周永兵，等 . 基于改进D3QN算法的随机工时下柔性综合调度问题研究［J］. 系统仿真学报， 2024 ， 37 （ 2 ）： 474 - 486 .

LI Xiang ， REN Xiaoyu ， ZHOU Yongbing ， et al . Research on flexible integrated scheduling under random hours based on improved D3QN algorithm ［J］. Journal of System Simulation ， 2024 ， 37 （ 2 ）： 474 - 486 .

XIAO H ， FU L ， SHANG C ， et al . Ship energy scheduling with DQN-CE algorithm combining bi-directional LSTM and attention mechanism ［J］. Applied energy ， 2023 ， 347 ： 121378 .

王新迎，赵琦，赵黎媛，等 . 基于深度Q学习的电热综合能源系统能量管理［J］. 电力建设， 2021 ， 42 （ 3 ）： 10 - 18 .

WANG Xinying ， ZHAO Qi ， ZHAO Liyuan ， et al . Energ-y management of electrothermal integrated energy system based on deep Q learning ［J］. Electric power construction ， 2021 ， 42 （ 3 ）： 10 - 18 .

刘俊峰，陈剑龙，王晓生，等 . 基于深度强化学习的微能源网能量管理与优化策略研究［J］. 电网技术， 2020 ， 44 （ 10 ）： 3794 - 3803 .

LIU Junfeng ， CHEN Jianlong ， WANG Xiaosheng ， et al . Energy management and optimization of multi-energy grid based on deep reinforcement learning ［J］. Power System Technology ， 2020 ， 44 （ 10 ）： 3794 - 3803 .

Views

下载量

CSCD

Alert me when the article has been cited

提交

Tools

Publicity Resources

No data

Related Author

No data

Related Institution

No data

AI问答

⁰