Trading strategy of energy storage in electric energy and frequency regulation markets based on multi-agent reinforcement learning

ZHANG Xinqi; LIU Zhihai; CHEN Xiaochen; ZHAN Shuang; CHENG Yongzhuo; HE Zhilong; YANG Qiang

doi:10.16081/j.epae.202603013

您当前的位置：

首页 >

文章列表页 >

Trading strategy of energy storage in electric energy and frequency regulation markets based on multi-agent reinforcement learning

INTELLIGENT DISPATCH TECHNOLOGIES FOR NEW\-TYPE POWER SYSTEMS | 更新时间：2026-03-30

- Trading strategy of energy storage in electric energy and frequency regulation markets based on multi-agent reinforcement learning
- Electric Power Automation Equipment Vol. 46, Issue 4, Pages: 139-148(2026)
- 作者机构：
  
  1.大唐海南文昌新能源有限公司，海南文昌 571332
  2.浙江大学电气工程学院，浙江杭州 310027
  3.大唐（文昌）储能科技有限公司，海南文昌 571300
  4.中国大唐集团海外投资有限公司，北京 100052
  5.中国大唐集团科学技术研究总院有限公司华东电力试验研究院，安徽合肥 230061
- 作者简介：
- 基金信息：
  
  Hainan Provincial Key Research and Development Program(ZDYF2024GXJS296)
- DOI：10.16081/j.epae.202603013
  CLC： TM73
- Received：09 January 2026，
  
  Revised：2026-03-12，
  
  Online First：18 March 2026，
  
  Published：10 April 2026
- 稿件说明：
移动端阅览
张新琪,柳志海,陈晓晨等.基于多智能体强化学习的储能电能量-调频市场交易策略[J].电力自动化设备,2026,46(04):139-148.

ZHANG Xinqi,LIU Zhihai,CHEN Xiaochen,et al.Trading strategy of energy storage in electric energy and frequency regulation markets based on multi-agent reinforcement learning[J].Electric Power Automation Equipment,2026,46(04):139-148.
张新琪,柳志海,陈晓晨等.基于多智能体强化学习的储能电能量-调频市场交易策略[J].电力自动化设备,2026,46(04):139-148. DOI： 10.16081/j.epae.202603013.

ZHANG Xinqi,LIU Zhihai,CHEN Xiaochen,et al.Trading strategy of energy storage in electric energy and frequency regulation markets based on multi-agent reinforcement learning[J].Electric Power Automation Equipment,2026,46(04):139-148. DOI： 10.16081/j.epae.202603013.

摘要

为了提高独立储能在新型电力系统中的市场竞争力，提出一种基于多智能体强化学习的电能量-调频辅助服务市场联合交易策略。根据南方区域电力市场规则，构建包含火电、新能源与独立储能的联合出清模型；在马尔可夫博弈框架下，将各发电主体建模为智能体，采用多智能体强化学习算法，实现非完全信息条件下的策略性报价优化；为了刻画储能与系统运行之间的跨时段耦合特性，设计多维状态与动作空间的建模方法，以实现多时段协同优化。基于IEEE 30节点系统的仿真结果表明，所提算法可使智能体总收益相较于单一智能体算法提升18.8 %。进一步分析结果表明，随着参与策略性报价的机组数量增加，各市场主体总体收益呈上升趋势。研究结果验证了所提多智能体强化学习框架在提升储能市场收益与优化系统整体运行效率方面的有效性。

Abstract

To enhance the market competitiveness of independent energy storage in the new power system，a joint trading strategy for participating in electric energy and frequency regulation ancillary service markets based on multi-agent reinforcement learning is proposed. According to the rules of the Southern Regional Electricity Market，a joint clearing model including thermal power，new energy and independent energy storage is constructed. Under a Markov game framework，each power generation entity is modeled as an agent，and a multi-agent reinforcement learning algorithm is adopted to achieve strategic bidding optimization under conditions of incomplete information. To depict the cross-period coupling characteristics between energy sto-rage and system operation，a modeling method of multi-dimensional state and action space is designed to achieve multi-period collaborative optimization. The simulative results of IEEE 30-bus system show that the proposed algorithm can increase the total revenue of the agents by 18.8 % compared with the single-agent algorithm. Further analysis results indicate that as the number of units engaging in strategic bidding increa-ses，the overall revenue of each market entity exhibits an upward trend. The research results verify the effectiveness of the proposed multi-agent reinforcement learning framework in enhancing the revenue of energy storage in the markets and optimizing the overall operational efficiency of the system.

关键词

Keywords

references

国家能源局 . 关于印发《加快构建新型电力系统行动方案（2024 — 2027年）》的通知［EB／OL］. （ 2024-07-25 ）［ 2025-10-27 ］. https：∥www.gov.cn／zhengce／zhengceku／202408／content_ 6966863.htm https://www.gov.cn/zhengce/zhengceku/202408/content_6966863.htm .

KHAN M K ， RAZA M ， SHAHBZA M ， et al . Recent advance-ment in energy storage technologies and their applications ［J］. Journal of Energy Storage ， 2024 ， 92 ： 112112 .

王文坚，陈飞雄，林世琦 . 新型电力系统下调频容量需求计算与储-荷调频方法研究综述［J］. 智慧电力， 2025 ， 53 （ 12 ）： 1 - 12 .

WANG Wenjian ， CHEN Feixiong ， LIN Shiqi . A review of frequency regulation capacity demand calculation and energy storage-load frequency regulation methods in new-type power systems ［J］. Smart Power ， 2025 ， 53 （ 12 ）： 1 - 12 .

FENG T ， CONEJO A J . Electric-vehicle aggregators as cyber-physical energy systems：optimal operation strategy for frequen-cy regulation and energy arbitrage ［J］. Cyber-Physical Energy Systems ， 2025 ， 1 （ 1 ）： 49 - 55 .

RANCILIO G ， BOVERA F ， SPILLER M ， et al . BESS and the ancillary services markets：a symbiosis yet？Impact of market design on performance ［J］. Applied Energy ， 2024 ， 375 ： 124153 .

韩泽雷，鞠平，秦川，等 . 面向新型电力系统的频率安全研究综述与展望［J］. 电力自动化设备， 2023 ， 43 （ 9 ）： 112 - 124 .

HAN Zelei ， JU Ping ， QIN Chuan ， et al . Review and prospect of research on frequency security of new power system ［J］. Electric Power Automation Equipment ， 2023 ， 43 （ 9 ）： 112 - 124 .

国家能源局 . 国家能源局关于促进新型储能并网和调度运用的通知［EB／OL］. （ 2024-04-02 ）［ 2025-10-27 ］. http：∥www.scio.gov.cn／live／2024／34135／wjzc／202406/t20240613_851615.html http://www.scio.gov.cn/live/2024/34135/wjzc/202406/t20240613_851615.html .

国家能源局 . 关于深化新能源上网电价市场化改革促进新能源高质量发展的通知［EB／OL］. （ 2025-02-09 ）［ 2025-11-13 ］. https：∥www.ndrc.gov.cn／xxgk／zcfb／tz／202502／t20250209_1396066.html https://www.ndrc.gov.cn/xxgk/zcfb/tz/202502/t20250209_1396066.html .

李丹阳，刘鸿鹏，韩旭，等 . 考虑新能源市场容量价格的新型电力现货市场交易机制设计［J］. 电力自动化设备， 2026 ， 46 （ 2 ）： 194 - 204 .

LI Danyang ， LIU Hongpeng ， HAN Xu ， et al . Design of trading mechanism for new electricity spot market considering market capacity price of renewable energy ［J］. Electric Power Automation Equipment ， 2026 ， 46 （ 2 ）： 194 - 204 .

谢开，刘敦楠，李竹，等 . 适应新型电力系统的多维协同电力市场体系［J］. 电力系统自动化， 2024 ， 48 （ 4 ）： 2 - 12 .

XIE Kai ， LIU Dunnan ， LI Zhu ， et al . Multi-dimensional colla-borative electricity market system for new power system ［J］. Automation of Electric Power Systems ， 2024 ， 48 （ 4 ）： 2 - 12 .

许敏兴，苗世洪，励刚，等 . 考虑多元储能参与现货市场的电力系统日前-日内优化调度［J］. 电力系统自动化， 2025 ， 49 （ 24 ）： 51 - 62 .

XU Minxing ， MIAO Shihong ， LI Gang ， et al . Day-ahead and intra-day optimal scheduling of power system considering multiple energy storage participating in spot market ［J］. Automation of Electric Power Systems ， 2025 ， 49 （ 24 ）： 51 - 62 .

徐爽，万靖，崔世常，等 . 不对称信息下新型储能容量租赁市场的博弈均衡分析［J］. 电力系统保护与控制， 2024 ， 52 （ 13 ）： 13 - 24 .

XU Shuang ， WAN Jing ， CUI Shichang ， et al . Game equilibrium analysis of energy storage leasing market with asymmetric information ［J］. Power System Protection and Control ， 2024 ， 52 （ 13 ）： 13 - 24 .

王再闯，郭明阳，刘斌，等 . 基于策略性双向拍卖机制的共享储能与产销者电力交易模型［J］. 电力自动化设备， 2026 ， 46 （ 3 ）： 41 - 50 .

WANG Zaichuang ， GUO Mingyang ， LIU Bin ， et al . Electric po-wer trading model between shared energy storage and active energy participant based on strategic double auction mechanism ［J］. Electric Power Automation Equipment ， 2026 ， 46 （ 3 ）： 41 - 50 .

苏烨，石剑涛，张江丰，等 . 考虑调频的储能规划与竞价策略综述［J］. 电力自动化设备， 2021 ， 41 （ 9 ）： 191 - 198 .

SU Ye ， SHI Jiantao ， ZHANG Jiangfeng ， et al . Review on planning and bidding strategy of energy storage considering frequency regulation ［J］. Electric Power Automation Equipment ， 2021 ， 41 （ 9 ）： 191 - 198 .

林阿竹，柯清辉，江岳文 . 独立储能参与调频辅助服务市场机制设计［J］. 电力自动化设备， 2022 ， 42 （ 12 ）： 26 - 34 .

LIN Azhu ， KE Qinghui ， JIANG Yuewen . Market mechanism design of independent energy storage participating in frequency modulation auxiliary service market ［J］. Electric Power Automation Equipment ， 2022 ， 42 （ 12 ）： 26 - 34 .

陆秋瑜，杨银国，谢平平，等 . 适应储能参与的调频辅助服务市场机制设计及调度策略［J］. 电网技术， 2023 ， 47 （ 12 ）： 4971 - 4984 .

LU Qiuyu ， YANG Yinguo ， XIE Pingping ， et al . Market mechanism design and scheduling strategy of auxiliary services for frequency control adapting to energy storage participation ［J］. Power System Technology ， 2023 ， 47 （ 12 ）： 4971 - 4984 .

薛文浩，吕泉，齐楚，等 . 现货市场环境下独立储能参与一次调频市场运营策略［J］. 电力自动化设备， 2025 ， 45 （ 7 ）： 28 - 34 .

XUE Wenhao ， LÜ Quan ， QI Chu ， et al . Operation strategy of independent energy storage participating in primary frequency regulation market under spot market environment ［J］. Electric Power Automation Equipment ， 2025 ， 45 （ 7 ）： 28 - 34 .

郝丽丽，蔡雅琪，王正风，等 . 计及运行规划收益补偿的电能量市场储能报量报价策略［J］. 电力自动化设备， 2024 ， 44 （ 5 ）： 36 - 43，72 .

HAO Lili ， CAI Yaqi ， WANG Zhengfeng ， et al . Quantity-price bidding strategy of energy storage in electric energy market considering operation and planning benefit compensation ［J］. Electric Power Automation Equipment ， 2024 ， 44 （ 5 ）： 36 - 43，72 .

NASROLAHPOUR E ， KAZEMPOUR J ， ZAREIPOUR H ， et al . A bilevel model for participation of a storage system in energy and reserve markets ［J］. IEEE Transactions on Sustainable Energy ， 2018 ， 9 （ 2 ）： 582 - 598 .

张硕，陈媛丽，李英姿，等 . 计及电力现货机会成本的构网型储能电站调频辅助服务竞价出清双层博弈模型［J］. 中国电机工程学报， 2024 ， 44 （增刊1 ）： 146 - 158 .

ZHANG Shuo ， CHEN Yuanli ， LI Yingzi ， et al . A bi-level game model for frequency regulation ancillary service bidding and clearing of grid-forming energy storage stations considering opportunity cost of electricity spot trading ［J］. Proceedings of the CSEE ， 2024 ， 44 （ Supplement 1 ）： 146 - 158 .

李国庆，闫克非，范高锋，等 . 储能参与现货电能量-调频辅助服务市场的交易决策研究［J］. 电力系统保护与控制， 2022 ， 50 （ 17 ）： 45 - 54 .

LI Guoqing ， YAN Kefei ， FAN Gaofeng ， et al . Transaction decision-making of energy storage stations participating in the spot energy and frequency modulation ancillary service market ［J］. Power System Protection and Control ， 2022 ， 50 （ 17 ）： 45 - 54 .

刘继春，刘可欣，柯贤波，等 . 新型电力系统下储能参与电能量-惯量-一次调频多市场交易方法［J］. 电网技术， 2025 ， 49 （ 3 ）： 1018 - 1031 .

LIU Jichun ， LIU Kexin ， KE Xianbo ， et al . Participation of energy storage in electric energy-inertia-primary frequency regulation multi-market trading method under a new power system ［J］. Power System Technology ， 2025 ， 49 （ 3 ）： 1018 - 1031 .

葛晓琳，凡婉秋，符杨，等 . 基于改进柔性策略评价的风火储多主体博弈电能-调频市场联合竞价模型［J］. 电网技术， 2023 ， 47 （ 5 ）： 1920 - 1930 .

GE Xiaolin ， FAN Wanqiu ， FU Yang ， et al . Joint bidding mo-del of electricity and frequency regulation market with wind fire storage multi-agent games based on improved soft actor-critic ［J］. Power System Technology ， 2023 ， 47 （ 5 ）： 1920 - 1930 .

DU Y ， LI F X ， ZANDI H L ， et al . Approximating Nash equilibrium in day-ahead electricity market bidding with multi-agent deep reinforcement learning ［J］. Journal of Modern Power Systems and Clean Energy ， 2021 ， 9 （ 3 ）： 534 - 544 .

JIANG Y Z ， DONG J ， HUANG H X . Optimal bidding strategy for the price-maker virtual power plant in the day-ahead market based on multi-agent twin delayed deep deterministic policy gradient algorithm ［J］. Energy ， 2024 ， 306 ： 132388 .

张继行，张一，王旭，等 . 基于多代理强化学习的多新型市场主体虚拟电厂博弈竞价及效益分配策略［J］. 电网技术， 2024 ， 48 （ 5 ）： 1980 - 1991 .

ZHANG Jihang ， ZHANG Yi ， WANG Xu ， et al . Game bidding and benefit allocation strategies for virtual power plants with multiple new market entities based on multi-agent reinforcement learning ［J］. Power System Technology ， 2024 ， 48 （ 5 ）： 1980 - 1991 .

LI X Y ， LUO F J ， LI C J . Multi-agent deep reinforcement learning-based autonomous decision-making framework for com-munity virtual power plants ［J］. Applied Energy ， 2024 ， 360 ： 122813 .

张兴平，王腾，张馨月，等 . 基于多智能体深度确定策略梯度算法的火力发电商竞价策略［J］. 中国电力， 2024 ， 57 （ 11 ）： 161 - 172 .

ZHANG Xingping ， WANG Teng ， ZHANG Xinyue ， et al . Bidding strategy for thermal power generation companies based on multi-agent deep deterministic policy gradient algorithm ［J］. Electric Power ， 2024 ， 57 （ 11 ）： 161 - 172 .

Views

下载量

CSCD

Alert me when the article has been cited

提交

Tools

Publicity Resources

Automatic generation control based on soft pulse twin delayed deep deterministic policy gradient algorithm

Reactive power coordination optimization scheduling of distribution network based on improved multi-agent deep deterministic policy gradient algorithm

Operation strategy of independent energy storage participating in primary frequency regulation market under spot market environment

Joint optimization method of gas-fired internal combustion engine coupled with coal-fired power unit participating in electric energy and frequency regulation markets

Uncertain event-driven fault recovery strategy based on multi-agent deep reinforcement learning

Related Author

LI Zongze

WANG Wentao

SHI Yu

HUANG Haochao

ZHAO Junmiao

XI Lei

ZHOU Jiazhe

DOU Xun

Related Institution

Hubei Provincial Key Laboratory for Operation and Control of Cascaded Hydropower Station，China Three Gorges University

College of Electrical Engineering and New Energy，China Three Gorges University

Research Institute of State Grid Liaoning Electric Power Co.，Ltd.

State Grid Liaoning Electric Power Co.，Ltd.

College of Electrical Engineering and Control Science，Nanjing TECH University

AI问答

⁰