Reinforcement Learning-based Real-time Dispatch for Power System Based on Trajectory Screening and Dynamic Weighting

MA Wenhao; WANG Wenye; CHE Liang; CAI Wanda; WEI Changfu; YANG Xiao

doi:10.7500/AEPS20260314002

English Version Journal Login

您当前的位置：

首页 >

文章列表页 >

Reinforcement Learning-based Real-time Dispatch for Power System Based on Trajectory Screening and Dynamic Weighting

更新时间：2026-09-30

- Reinforcement Learning-based Real-time Dispatch for Power System Based on Trajectory Screening and Dynamic Weighting
- Automation of Electric Power Systems Pages: 1-15(2026)
- 作者机构：
  
  1.湖南大学电气与信息工程学院，湖南省长沙市 410082
  2.广西电网电力调度控制中心，广西壮族自治区南宁市 530023
- 作者简介：
- 基金信息：
  
  Smart Grid-National Science and Technology Major Project(2026ZD0809600)
- DOI：10.7500/AEPS20260314002
  CLC：
- Received：14 March 2026，
  
  Revised：2026-06-08，
  
  Online First：21 August 2026，
- 稿件说明：
移动端阅览
马文浩,王文烨,车亮等.基于轨迹筛选和动态赋权的电力系统强化学习实时调度[J/OL].电力系统自动化, http://dx.doi.org/10.7500/AEPS20260314002.

MA Wenhao,WANG Wenye,CHE Liang,et al.Reinforcement Learning-based Real-time Dispatch for Power System Based on Trajectory Screening and Dynamic Weighting[J/OL].Automation of Electric Power Systems, http://dx.doi.org/10.7500/AEPS20260314002.
马文浩,王文烨,车亮等.基于轨迹筛选和动态赋权的电力系统强化学习实时调度[J/OL].电力系统自动化, http://dx.doi.org/10.7500/AEPS20260314002. DOI：

MA Wenhao,WANG Wenye,CHE Liang,et al.Reinforcement Learning-based Real-time Dispatch for Power System Based on Trajectory Screening and Dynamic Weighting[J/OL].Automation of Electric Power Systems, http://dx.doi.org/10.7500/AEPS20260314002. DOI：

摘要

随着新型电力系统的快速发展，以强化学习为代表的数据驱动方法在解决新型电力系统调度问题过程中仍面临样本利用率低和训练稳定性不足的关键挑战。为了解决这些问题，提出一种基于轨迹筛选和动态赋权的新型电力系统强化学习实时调度策略，从样本利用率与训练稳定性两个层面提升强化学习的整体性能。首先，结合物理学势场理论与电力系统领域知识，构建基于人工势场的轨迹筛选方法，实现对交互轨迹的评估与筛选，从而提高样本利用率。其次，在轨迹筛选的基础上，提出一种基于聚类的轨迹动态赋权方法，通过改进的

-means方法实现不同分布轨迹的自适应动态赋权，避免策略过拟合，有效缓解样本分布不均引起的训练不稳定问题。最后，以实际电网中的典型场景算例进行仿真验证，结果表明所提方法在显著提升样本利用率的同时，增强了训练过程的稳定性，进而提升了强化学习在新型电力系统调度中的表现。

Abstract

With the rapid development of new power systems

data-driven meth

ods represented by reinforcement learning still face key challenges of low sample utilization and insufficient training stability in solving dispatch problems in new power systems. To address these issues

this paper proposes a reinforcement learning-based real-time dispatch strategy for new power systems based on trajectory screening and dynamic weighting

which improves the overall performance of reinforcement learning from the perspectives of sample utilization and training stability. Firstly

combining potential field theory from physics with domain knowledge in power systems

a trajectory screening method based on artificial potential fields is constructed to evaluate and select interaction trajectories

thereby enhancing sample utilization. Secondly

based on trajectory screening

a dynamic trajectory weighting method based on clustering is proposed. This method achieves adaptive dynamic weighting of trajectories with different distributions through an improved

-means method

avoiding overfitting of the strategy and effectively mitigating training instability caused by uneven sample distribution. Finally

simulation verification using typical scenarios in actual power grids shows that the proposed method significantly improves sample utilization while enhancing the stability of the training process

thereby improving the performance of reinforcement learning in new power system dispatch.

关键词

Keywords

references

穆泽雨，陈思远，许沛东，等 . 计及风电不确定性的电网前瞻调度多时段平衡风险分级预警［J］. 电力系统自动化， 2026 ， 50 （ 1 ）： 61 - 73 .

Mu Zeyu ， Chen Siyuan ， Xu Peidong ， et al . Hierarchical early-warning for multi-period balance risk in look-ahead dispatch of power grid considering uncertainty of wind power ［J］. Automation of Electric Power Systems ， 2026 ， 50 （ 1 ）： 61 - 73 .

刘金波，宋旭日，杨楠，等 . 深度强化学习在电网实时计划编排中的应用［J］. 电力系统自动化， 2023 ， 47 （ 14 ）： 157 - 166 .

Liu Jinbo ， Song Xuri ， Yang Nan ， et al . Application of deep reinforcement learning in real-time plan scheduling of power grid ［J］. Automation of Electric Power Systems ， 2023 ， 47 （ 14 ）： 157 - 166 .

冯松杰，魏韡 . 考虑新能源消纳和电力保供的电力系统多时间尺度平衡方法［J］. 电力系统自动化， 2025 ， 49 （ 4 ）： 128 - 140 .

Feng Songjie ， Wei Wei . Multi-timescale balancing method for power systems considering renewable energy accommodation and power supply support ［J］. Automation of Electric Power Systems ， 2025 ， 49 （ 4 ）： 128 - 140 .

叶林，裴铭，杨建宾，等 . 极端天气下的新能源电力系统电力电量平衡体系［J］. 电力系统自动化， 2025 ， 49 （ 4 ）： 2 - 18 .

Ye Lin ， Pei Ming ， Yang Jianbin ， et al . Electric power and energy balancing system for power system with renewable energy in extreme weather ［J］. Automation of Electric Power Systems ， 2025 ， 49 （ 4 ）： 2 - 18 .

江一航，赵书强，王慧，等 . 计及风电、调相机支撑特性的频率安全约束分布鲁棒机组组合调度方法［J］. 电工技术学报， 2025 ， 40 （ 1 ）： 80 - 95 .

Jiang Yihang ， Zhao Shuqiang ， Wang Hui ， et al . Distributionally robust frequency constrained unit commitment with frequency support of wind power and synchronous condenser ［J］. Transactions of China Electrotechnical Society ， 2025 ， 40 （ 1 ）： 80 - 95 .

Zhang X S ， Ding T ， Mu C G ， et al . Dual stochastic dual dynamic programming for multi-stage economic dispatch with renewable energy and thermal energy storage ［J］. IEEE Transactions on Power Systems ， 2024 ， 39 （ 2 ）： 3725 - 3737 .

苏粟，李泽宁，靳小龙，等 . 基于机会约束规划的含智能楼宇主动配电网分布式能量管理策略［J］. 中国电机工程学报， 2023 ， 43 （ 10 ）： 3781 - 3793 .

Su Su ， Li Zening ， Jin Xiaolong ， et al . Distributed energy management strategy for active distribution network incorporating intelligent buildings based on chance-constrained programming ［J］. Proceedings of the CSEE ， 2023 ， 43 （ 10 ）： 3781 - 3793 .

李东颖，朱建全，陈一熙 . 基于双缓冲区生成对抗模仿学习的电力系统实时安全约束经济调度［J］. 电网技术， 2025 ， 49 （ 3 ）： 1121 - 1129 .

Li Dongying ， Zhu Jianquan ， Chen Yixi . Security-constrained economic dispatch of power systems based on dual buffer generative adversarial imitation learning ［J］. Power System Technology ， 2025 ， 49 （ 3 ）：中插75 .

Xiong H B ， Shi Y H ， Shahidehpour M ， et al . Multi-stage robust optimization of real-time dynamic dispatch with fast-acting units in resilient power systems ［J］. IEEE Transactions on Power Systems ， 2025 ， 40 （ 1 ）： 1121 - 1129 .

杨楠，宋旭日，董亮，等 . 基于生成式多对抗强化学习的高比例新能源电网日内优化调度［J］. 电力自动化设备， 2025 ， 45 （ 11 ）： 43 - 51 .

Yang Nan ， Song Xuri ， Dong Liang ， et al . Intraday optimal scheduling for power system with high renewable energy based on generative multi-adversarial reinforcement learning ［J］. Electric Power Automation Equipment ， 2025 ， 45 （ 11 ）： 43 - 51 .

彭刘阳，孙元章，徐箭，等 . 基于深度强化学习的自适应不确定性经济调度［J］. 电力系统自动化， 2020 ， 44 （ 9 ）： 33 - 42 .

Peng Liuyang ， Sun Yuanzhang ， Xu Jian ， et al . Self-adaptive uncertainty economic dispatch based on deep reinforcement learning ［J］. Automation of Electric Power Systems ， 2020 ， 44 （ 9 ）： 33 - 42 .

Chen J B ， Yu T ， Pan Z N ， et al . A scalable graph reinforcement learning algorithm based stochastic dynamic dispatch of power system under high penetration of renewable energy ［J］. International Journal of Electrical Power & Energy Systems ， 2023 ， 152 ： 109212 .

Safiri S ， Nikoofard A ， Khosravy M ， et al . Multi-agent distributed reinforcement learning algorithm for free-model economic-environmental power and CHP dispatch problems ［J］. IEEE Transactions on Power Systems ， 2023 ， 38 （ 5 ）： 4489 - 4500 .

Zhou X ， Wang J Y ， Wang X Y ， et al . Optimal dispatch of integrated energy system based on deep reinforcement learning ［J］. Energy Reports ， 2023 ， 9 ： 373 - 378 .

王文烨，冯川，管昱翔，等 . 面向可信度提升的数模混合驱动快速机组组合求解方法［J］. 电力系统自动化， 2026 ， 50 （ 1 ）： 74 - 85 .

Wang Wenye ， Feng Chuan ， Guan Yuxiang ， et al . Hybrid data-model-driven fast unit commitment solution method for credibility enhancement ［J］. Automation of Electric Power Systems ， 2026 ， 50 （ 1 ）： 74 - 85 .

Xu S Y ， Zhu J B ， Li B S ， et al . Real-time power system dispatch scheme using grid expert strategy-based imitation learning ［J］. International Journal of Electrical Power & Energy Systems ， 2024 ， 161 ： 110148 .

李天明，王小君，窦嘉铭，等 . 基于约束强化学习的综合能源系统优化调度研究［J］. 电力系统保护与控制， 2025 ， 53 （ 6 ）： 1 - 14 .

Li Tianming ， Wang Xiaojun ， Dou Jiaming ， et al . Research on optimal dispatch of integrated energy systems based on constrained reinforcement learning ［J］. Power System Protection and Control ， 2025 ， 53 （ 6 ）： 1 - 14 .

Guan Y X ， Ma W H ， Che L ， et al . Model-based safe reinforcement learning for active distribution network scheduling ［J］. IEEE Transactions on Smart Grid ， 2025 ， 16 （ 3 ）： 2375 - 2388 .

Shuai H ， He H B . Online scheduling of a residential microgrid via Monte-Carlo tree search and a learned model ［J］. IEEE Transactions on Smart Grid ， 2021 ， 12 （ 2 ）： 1073 - 1087 .

Shan X ， Xue F . A day-ahead economic dispatch scheme for transmission system with high penetration of renewable energy ［J］. IEEE Access ， 2022 ， 10 ： 11159 - 11172 .

Hou S R ， Gao S Y ， Xia W J ， et al . RL-ADN： a high-performance Deep Reinforcement Learning environment for optimal Energy Storage Systems dispatch in active distribution networks ［J］. Energy and AI ， 2025 ， 19 ： 100457 .

Zhao J ， Li F X ， Sun H Y ， et al . Self-attention generative adversarial network enhanced learning method for resilient defense of networked microgrids against sequential events ［J］. IEEE Transactions on Power Systems ， 2023 ， 38 （ 5 ）： 4369 - 4380 .

黄锋，张志慧，姜静，等 . 基于改进人工势场算法的移动机器人路径规划方法［J］. 机器人， 2025 ， 47 （ 5 ）： 696 - 707 .

Huang Feng ， Zhang Zhihui ， Jiang Jing ， et al . A path planning method for mobile robots based on the improved articial potential field algorithm ［J］. Robot ， 2025 ， 47 （ 5 ）： 696 - 707 .

龚国仙，陈博洋，杨德州，等 . 考虑极端场景优化的高比例新能源电力系统规划方法［J］. 电网技术， 2025 ， 49 （ 9 ）： 3667 - 3676 .

Gong Guoxian ， Chen Boyang ， Yang Dezhou ， et al . Planning method for high-proportion of new energy power systems considering extreme scenario optimization ［J］. Power System Technology ， 2025 ， 49 （ 9 ）： 3667 - 3676 .

程雄，戴鹏，钟浩，等 . 考虑综合相似性度量的光伏典型出力场景聚类方法［J］. 中国电机工程学报， 2024 ， 44 （ 21 ）： 8462 - 8474 .

Cheng Xiong ， Dai Peng ， Zhong Hao ， et al . Photovoltaic typical output scenario clustering method considering comprehensive similarity measurement ［J］. Proceedings of the CSEE ， 2024 ， 44 （ 21 ）： 8462 - 8474 .

武艺，姚良忠，廖思阳，等 . 一种基于改进 K -means++算法的分布式光储聚合调峰方法［J］. 电网技术， 2022 ， 46 （ 10 ）： 3923 - 3931 .

Wu Yi ， Yao Liangzhong ， Liao Siyang ， et al . A peak shaving method of aggregating the distributed photovoltaics and energy storages based on the improved K -means++ algorithm ［J］. Power System Technology ， 2022 ， 46 （ 10 ）： 3923 - 3931 .

Liang E ， Liaw R ， Moritz P ， et al . RLlib： abstractions for distributed reinforcement learning ［C］// Proceedings of the 35th International Conference on Machine Learning ， 2018 ： 3059 - 3068 .

Views

下载量

CSCD

Alert me when the article has been cited

提交

Tools

Publicity Resources

Review of Grid-forming Energy Storage Control and Operation Research in Distributed Islanded Grids

Configuration Optimization and Stability Analysis of Electricity-Hydrogen Bidirectional Conversion Combined Heating and Power System

Reinforcement Learning Based Dynamic Aggregation and Multi-timescale Bidding Strategy for Virtual Power Plants

Static Voltage Stability Analysis of Multi-infeed Systems with Renewable Energy and Static Var Generators

Green Power Directly-connected Data Centers: Coupling Logic, Key Technologies, and Application Modes

Related Author

ZHANG Yongjun

JIANG Chongying

TANG Wenhu

XU Min

CHENG Runting

LI Licheng

HE Guixiong

JIA Xiaoqiang

Related Institution

School of Electric Power Engineering, South China University of Technology

CSG Electric Power Research Institute

National Key Laboratory of Grid Security (China Electric Power Research Institute)

China Electric Power Research Institute

School of Energy and Power Engineering, Xi’an Jiaotong University

AI问答

⁰