基于轨迹筛选和动态赋权的电力系统强化学习实时调度

马文浩; 王文烨; 车亮; 蔡宛达; 韦昌福; 杨潇

doi:10.7500/AEPS20260314002

欢迎来到能源电力期刊网！

English Version 期刊登录

您当前的位置：

首页 >

文章列表页 >

基于轨迹筛选和动态赋权的电力系统强化学习实时调度

更新时间：2026-09-30

- 基于轨迹筛选和动态赋权的电力系统强化学习实时调度
- Reinforcement Learning-based Real-time Dispatch for Power System Based on Trajectory Screening and Dynamic Weighting
- 电力系统自动化 2026年页码：1-15
- 作者机构：
  
  1.湖南大学电气与信息工程学院，湖南省长沙市 410082
  2.广西电网电力调度控制中心，广西壮族自治区南宁市 530023
- 作者简介：
  
  马文浩(1994—)，男，博士研究生，主要研究方向：基于强化学习的电力系统调控。E-mail：mawenhao@hnu.edu.cn
  王文烨(1998—)，女，博士研究生，主要研究方向：电力系统调控技术。E-mail：wangwenye@hnu.edu.cn
  车亮(1982—)，男，通信作者，博士，教授，博士生导师，主要研究方向：基于人工智能与人机混合增强智能的电力系统调控。E-mail：cheliang@hnu.edu.cn
- 基金信息：
  
  智能电网国家科技重大专项（2030）资助项目(2026ZD0809600)
- DOI：10.7500/AEPS20260314002
  中图分类号：
- 收稿：2026-03-14，
  
  修回：2026-06-08，
  
  网络首发：2026-08-21，
- 稿件说明：
移动端阅览
马文浩,王文烨,车亮等.基于轨迹筛选和动态赋权的电力系统强化学习实时调度[J/OL].电力系统自动化, http://dx.doi.org/10.7500/AEPS20260314002.

MA Wenhao,WANG Wenye,CHE Liang,et al.Reinforcement Learning-based Real-time Dispatch for Power System Based on Trajectory Screening and Dynamic Weighting[J/OL].Automation of Electric Power Systems, http://dx.doi.org/10.7500/AEPS20260314002.
马文浩,王文烨,车亮等.基于轨迹筛选和动态赋权的电力系统强化学习实时调度[J/OL].电力系统自动化, http://dx.doi.org/10.7500/AEPS20260314002. DOI：

MA Wenhao,WANG Wenye,CHE Liang,et al.Reinforcement Learning-based Real-time Dispatch for Power System Based on Trajectory Screening and Dynamic Weighting[J/OL].Automation of Electric Power Systems, http://dx.doi.org/10.7500/AEPS20260314002. DOI：

摘要

随着新型电力系统的快速发展，以强化学习为代表的数据驱动方法在解决新型电力系统调度问题过程中仍面临样本利用率低和训练稳定性不足的关键挑战。为了解决这些问题，提出一种基于轨迹筛选和动态赋权的新型电力系统强化学习实时调度策略，从样本利用率与训练稳定性两个层面提升强化学习的整体性能。首先，结合物理学势场理论与电力系统领域知识，构建基于人工势场的轨迹筛选方法，实现对交互轨迹的评估与筛选，从而提高样本利用率。其次，在轨迹筛选的基础上，提出一种基于聚类的轨迹动态赋权方法，通过改进的

-means方法实现不同分布轨迹的自适应动态赋权，避免策略过拟合，有效缓解样本分布不均引起的训练不稳定问题。最后，以实际电网中的典型场景算例进行仿真验证，结果表明所提方法在显著提升样本利用率的同时，增强了训练过程的稳定性，进而提升了强化学习在新型电力系统调度中的表现。

Abstract

With the rapid development of new power systems

data-driven meth

ods represented by reinforcement learning still face key challenges of low sample utilization and insufficient training stability in solving dispatch problems in new power systems. To address these issues

this paper proposes a reinforcement learning-based real-time dispatch strategy for new power systems based on trajectory screening and dynamic weighting

which improves the overall performance of reinforcement learning from the perspectives of sample utilization and training stability. Firstly

combining potential field theory from physics with domain knowledge in power systems

a trajectory screening method based on artificial potential fields is constructed to evaluate and select interaction trajectories

thereby enhancing sample utilization. Secondly

based on trajectory screening

a dynamic trajectory weighting method based on clustering is proposed. This method achieves adaptive dynamic weighting of trajectories with different distributions through an improved

-means method

avoiding overfitting of the strategy and effectively mitigating training instability caused by uneven sample distribution. Finally

simulation verification using typical scenarios in actual power grids shows that the proposed method significantly improves sample utilization while enhancing the stability of the training process

thereby improving the performance of reinforcement learning in new power system dispatch.

关键词

Keywords

references

穆泽雨，陈思远，许沛东，等 . 计及风电不确定性的电网前瞻调度多时段平衡风险分级预警［J］. 电力系统自动化， 2026 ， 50 （ 1 ）： 61 - 73 .

Mu Zeyu ， Chen Siyuan ， Xu Peidong ， et al . Hierarchical early-warning for multi-period balance risk in look-ahead dispatch of power grid considering uncertainty of wind power ［J］. Automation of Electric Power Systems ， 2026 ， 50 （ 1 ）： 61 - 73 .

刘金波，宋旭日，杨楠，等 . 深度强化学习在电网实时计划编排中的应用［J］. 电力系统自动化， 2023 ， 47 （ 14 ）： 157 - 166 .

Liu Jinbo ， Song Xuri ， Yang Nan ， et al . Application of deep reinforcement learning in real-time plan scheduling of power grid ［J］. Automation of Electric Power Systems ， 2023 ， 47 （ 14 ）： 157 - 166 .

冯松杰，魏韡 . 考虑新能源消纳和电力保供的电力系统多时间尺度平衡方法［J］. 电力系统自动化， 2025 ， 49 （ 4 ）： 128 - 140 .

Feng Songjie ， Wei Wei . Multi-timescale balancing method for power systems considering renewable energy accommodation and power supply support ［J］. Automation of Electric Power Systems ， 2025 ， 49 （ 4 ）： 128 - 140 .

叶林，裴铭，杨建宾，等 . 极端天气下的新能源电力系统电力电量平衡体系［J］. 电力系统自动化， 2025 ， 49 （ 4 ）： 2 - 18 .

Ye Lin ， Pei Ming ， Yang Jianbin ， et al . Electric power and energy balancing system for power system with renewable energy in extreme weather ［J］. Automation of Electric Power Systems ， 2025 ， 49 （ 4 ）： 2 - 18 .

江一航，赵书强，王慧，等 . 计及风电、调相机支撑特性的频率安全约束分布鲁棒机组组合调度方法［J］. 电工技术学报， 2025 ， 40 （ 1 ）： 80 - 95 .

Jiang Yihang ， Zhao Shuqiang ， Wang Hui ， et al . Distributionally robust frequency constrained unit commitment with frequency support of wind power and synchronous condenser ［J］. Transactions of China Electrotechnical Society ， 2025 ， 40 （ 1 ）： 80 - 95 .

Zhang X S ， Ding T ， Mu C G ， et al . Dual stochastic dual dynamic programming for multi-stage economic dispatch with renewable energy and thermal energy storage ［J］. IEEE Transactions on Power Systems ， 2024 ， 39 （ 2 ）： 3725 - 3737 .

苏粟，李泽宁，靳小龙，等 . 基于机会约束规划的含智能楼宇主动配电网分布式能量管理策略［J］. 中国电机工程学报， 2023 ， 43 （ 10 ）： 3781 - 3793 .

Su Su ， Li Zening ， Jin Xiaolong ， et al . Distributed energy management strategy for active distribution network incorporating intelligent buildings based on chance-constrained programming ［J］. Proceedings of the CSEE ， 2023 ， 43 （ 10 ）： 3781 - 3793 .

李东颖，朱建全，陈一熙 . 基于双缓冲区生成对抗模仿学习的电力系统实时安全约束经济调度［J］. 电网技术， 2025 ， 49 （ 3 ）： 1121 - 1129 .

Li Dongying ， Zhu Jianquan ， Chen Yixi . Security-constrained economic dispatch of power systems based on dual buffer generative adversarial imitation learning ［J］. Power System Technology ， 2025 ， 49 （ 3 ）：中插75 .

Xiong H B ， Shi Y H ， Shahidehpour M ， et al . Multi-stage robust optimization of real-time dynamic dispatch with fast-acting units in resilient power systems ［J］. IEEE Transactions on Power Systems ， 2025 ， 40 （ 1 ）： 1121 - 1129 .

杨楠，宋旭日，董亮，等 . 基于生成式多对抗强化学习的高比例新能源电网日内优化调度［J］. 电力自动化设备， 2025 ， 45 （ 11 ）： 43 - 51 .

Yang Nan ， Song Xuri ， Dong Liang ， et al . Intraday optimal scheduling for power system with high renewable energy based on generative multi-adversarial reinforcement learning ［J］. Electric Power Automation Equipment ， 2025 ， 45 （ 11 ）： 43 - 51 .

彭刘阳，孙元章，徐箭，等 . 基于深度强化学习的自适应不确定性经济调度［J］. 电力系统自动化， 2020 ， 44 （ 9 ）： 33 - 42 .

Peng Liuyang ， Sun Yuanzhang ， Xu Jian ， et al . Self-adaptive uncertainty economic dispatch based on deep reinforcement learning ［J］. Automation of Electric Power Systems ， 2020 ， 44 （ 9 ）： 33 - 42 .

Chen J B ， Yu T ， Pan Z N ， et al . A scalable graph reinforcement learning algorithm based stochastic dynamic dispatch of power system under high penetration of renewable energy ［J］. International Journal of Electrical Power & Energy Systems ， 2023 ， 152 ： 109212 .

Safiri S ， Nikoofard A ， Khosravy M ， et al . Multi-agent distributed reinforcement learning algorithm for free-model economic-environmental power and CHP dispatch problems ［J］. IEEE Transactions on Power Systems ， 2023 ， 38 （ 5 ）： 4489 - 4500 .

Zhou X ， Wang J Y ， Wang X Y ， et al . Optimal dispatch of integrated energy system based on deep reinforcement learning ［J］. Energy Reports ， 2023 ， 9 ： 373 - 378 .

王文烨，冯川，管昱翔，等 . 面向可信度提升的数模混合驱动快速机组组合求解方法［J］. 电力系统自动化， 2026 ， 50 （ 1 ）： 74 - 85 .

Wang Wenye ， Feng Chuan ， Guan Yuxiang ， et al . Hybrid data-model-driven fast unit commitment solution method for credibility enhancement ［J］. Automation of Electric Power Systems ， 2026 ， 50 （ 1 ）： 74 - 85 .

Xu S Y ， Zhu J B ， Li B S ， et al . Real-time power system dispatch scheme using grid expert strategy-based imitation learning ［J］. International Journal of Electrical Power & Energy Systems ， 2024 ， 161 ： 110148 .

李天明，王小君，窦嘉铭，等 . 基于约束强化学习的综合能源系统优化调度研究［J］. 电力系统保护与控制， 2025 ， 53 （ 6 ）： 1 - 14 .

Li Tianming ， Wang Xiaojun ， Dou Jiaming ， et al . Research on optimal dispatch of integrated energy systems based on constrained reinforcement learning ［J］. Power System Protection and Control ， 2025 ， 53 （ 6 ）： 1 - 14 .

Guan Y X ， Ma W H ， Che L ， et al . Model-based safe reinforcement learning for active distribution network scheduling ［J］. IEEE Transactions on Smart Grid ， 2025 ， 16 （ 3 ）： 2375 - 2388 .

Shuai H ， He H B . Online scheduling of a residential microgrid via Monte-Carlo tree search and a learned model ［J］. IEEE Transactions on Smart Grid ， 2021 ， 12 （ 2 ）： 1073 - 1087 .

Shan X ， Xue F . A day-ahead economic dispatch scheme for transmission system with high penetration of renewable energy ［J］. IEEE Access ， 2022 ， 10 ： 11159 - 11172 .

Hou S R ， Gao S Y ， Xia W J ， et al . RL-ADN： a high-performance Deep Reinforcement Learning environment for optimal Energy Storage Systems dispatch in active distribution networks ［J］. Energy and AI ， 2025 ， 19 ： 100457 .

Zhao J ， Li F X ， Sun H Y ， et al . Self-attention generative adversarial network enhanced learning method for resilient defense of networked microgrids against sequential events ［J］. IEEE Transactions on Power Systems ， 2023 ， 38 （ 5 ）： 4369 - 4380 .

黄锋，张志慧，姜静，等 . 基于改进人工势场算法的移动机器人路径规划方法［J］. 机器人， 2025 ， 47 （ 5 ）： 696 - 707 .

Huang Feng ， Zhang Zhihui ， Jiang Jing ， et al . A path planning method for mobile robots based on the improved articial potential field algorithm ［J］. Robot ， 2025 ， 47 （ 5 ）： 696 - 707 .

龚国仙，陈博洋，杨德州，等 . 考虑极端场景优化的高比例新能源电力系统规划方法［J］. 电网技术， 2025 ， 49 （ 9 ）： 3667 - 3676 .

Gong Guoxian ， Chen Boyang ， Yang Dezhou ， et al . Planning method for high-proportion of new energy power systems considering extreme scenario optimization ［J］. Power System Technology ， 2025 ， 49 （ 9 ）： 3667 - 3676 .

程雄，戴鹏，钟浩，等 . 考虑综合相似性度量的光伏典型出力场景聚类方法［J］. 中国电机工程学报， 2024 ， 44 （ 21 ）： 8462 - 8474 .

Cheng Xiong ， Dai Peng ， Zhong Hao ， et al . Photovoltaic typical output scenario clustering method considering comprehensive similarity measurement ［J］. Proceedings of the CSEE ， 2024 ， 44 （ 21 ）： 8462 - 8474 .

武艺，姚良忠，廖思阳，等 . 一种基于改进 K -means++算法的分布式光储聚合调峰方法［J］. 电网技术， 2022 ， 46 （ 10 ）： 3923 - 3931 .

Wu Yi ， Yao Liangzhong ， Liao Siyang ， et al . A peak shaving method of aggregating the distributed photovoltaics and energy storages based on the improved K -means++ algorithm ［J］. Power System Technology ， 2022 ， 46 （ 10 ）： 3923 - 3931 .

Liang E ， Liaw R ， Moritz P ， et al . RLlib： abstractions for distributed reinforcement learning ［C］// Proceedings of the 35th International Conference on Machine Learning ， 2018 ： 3059 - 3068 .

浏览量

下载量

CSCD

文章被引用时，请邮件提醒。

提交

工具集

关联资源

分布式孤岛电网构网型储能控制与运行研究综述

电氢双向转换热电联供系统配置优化及稳定性分析

基于强化学习的虚拟电厂动态聚合及多时间尺度竞价策略

含多静止无功发生器的新能源多馈入系统静态电压稳定性分析

绿电直连数据中心：耦合逻辑、关键技术与应用模式