Voltage control method of distribution network based on graph deep reinforcement learning

Zhu Zhenshan; Chen Weilong; Zhang Xinbing

doi:10.16081/j.epae.202601012

English Version Journal Login

您当前的位置：

首页 >

文章列表页 >

Voltage control method of distribution network based on graph deep reinforcement learning

SPECIAL COLUMN：SMART DISTRIBUTION SYSTEM | 更新时间：2026-04-30

- Voltage control method of distribution network based on graph deep reinforcement learning
- Electric Power Automation Equipment Vol. 46, Issue 5, Pages: 137-145(2026)
- 作者机构：
  
  1.福州大学电气工程与自动化学院，福建福州 350108
  2.智能配电网装备福建省高校工程研究中心，福建福州 350108
  3.国网福建省电力有限公司闽侯县供电公司，福建闽侯 350100
- 作者简介：
- 基金信息：
  
  the Joint Research Project of Fujian Provincial Science and Technology Innovation Strategy(2023R0153)
- DOI：10.16081/j.epae.202601012
  CLC： TM73
- Received：26 March 2025，
  
  Revised：2025-09-29，
  
  Online First：29 January 2026，
  
  Published：10 May 2026
- 稿件说明：
移动端阅览
朱振山,陈炜龙,张新炳.基于图深度强化学习的配电网电压控制方法[J].电力自动化设备,2026,46(05):137-145.

Zhu Zhenshan,Chen Weilong,Zhang Xinbing.Voltage control method of distribution network based on graph deep reinforcement learning[J].Electric Power Automation Equipment,2026,46(05):137-145.
朱振山,陈炜龙,张新炳.基于图深度强化学习的配电网电压控制方法[J].电力自动化设备,2026,46(05):137-145. DOI： 10.16081/j.epae.202601012.

Zhu Zhenshan,Chen Weilong,Zhang Xinbing.Voltage control method of distribution network based on graph deep reinforcement learning[J].Electric Power Automation Equipment,2026,46(05):137-145. DOI： 10.16081/j.epae.202601012.

摘要

配电网传统电压控制方法计算时间长且高度依赖源荷预测数据和配电网精确模型参数，难以实现实时动态调节，且在应对拓扑变化时存在显著局限。为此，将配电网电压控制问题建模为马尔可夫决策过程，通过高斯过程回归潮流替代模型降低对配电网精确参数的依赖，并将图卷积网络引入柔性演员-评论家算法，提出基于图深度强化学习的电压控制方法。该方法借助图卷积网络增强智能体对配电网拓扑特征的学习能力，显著提高电压控制性能。为解决拓扑结构变动时需重新学习控制策略的难题，提出迁移图强化学习方法，加速算法收敛进程。仿真验证表明，该方法在数据含噪、部分缺失的复杂工况下仍保持稳定调控效果，且在电压控制精度与拓扑适应性上表现良好。

Abstract

The traditional voltage control method of distribution network has long calculation time and is highly dependent on the source-load prediction data and accurate model parameters of distribution network. It is difficult to achieve real-time dynamic adjustment，and has significant limitation in dealing with topology change. Therefore，the voltage control problem of distribution network is modeled as a Markov decision process. The Gaussian process regression power flow substitution model is used to reduce the dependence on accurate parameters of distribution network. The graph convolution network is introduced into the flexible actor-critic algorithm，and a voltage control method based on graph deep reinforcement learning is proposed，which uses the graph convolution network to enhance the agent’s learning ability of distribution network topological characteristics，and significantly improves the voltage control performance. In order to solve the problem of relearning the control strategy when the topological structure changes，a transfer graph reinforcement learning method is proposed to accelerate the convergence process of the algorithm. The simulation verification shows that the method still maintains stable control effect under the complex working conditions of data containing noisy and partially missed，and performs well in voltage control accuracy and topology adaptability.

关键词

Keywords

references

易俊，赵明欣，秦晓辉，等 . 电碳协同理论技术探索与实践［J］. 中国电机工程学报， 2025 ， 45 （ 19 ）： 7427 - 7442 .

Yi Jun ， Zhao Mingxin ， Qin Xiaohui ， et al . Review of exploration and practice of electric-carbon coordination theory and technology ［J］. Proceedings of the CSEE ， 2025 ， 45 （ 19 ）： 7427 - 7442 .

朱振山，盛明鼎，陈哲盛 . 计及液态空气储能与综合需求响应的综合能源系统低碳经济调度［J］. 电力自动化设备， 2022 ， 42 （ 12 ）： 1 - 8 .

Zhu Zhenshan ， Sheng Mingding ， Chen Zhesheng . Low-carbon economic dispatching of integrated energy system considering liquid air energy storage and integrated demand response ［J］. Electric Power Automation Equipment ， 2022 ， 42 （ 12 ）： 1 - 8 .

杨宇，文福拴，周星龙，等 . 高光伏渗透率配电系统电压协同控制研究综述［J］. 电力自动化设备， 2023 ， 43 （ 10 ）： 48 - 58 .

Yang Yu ， Wen Fushuan ， Zhou Xinglong ， et al . Research review of voltage cooperative control in distribution system with high photovoltaic penetration ［J］. Electric Power Automation Equipment ， 2023 ， 43 （ 10 ）： 48 - 58 .

刘芳，廖锦涛，刘乾易，等 . 面向有源配电网的多分布式电源协同控制策略［J］. 电力自动化设备， 2025 ， 45 （ 6 ）： 50 - 56 .

Liu Fang ， Liao Jintao ， Liu Qianyi ， et al . Multi-distributed gene-ration cooperative control strategy for active distribution network ［J］. Electric Power Automation Equipment ， 2025 ， 45 （ 6 ）： 50 - 56 .

李晓利，高金峰 . 用于配电网多目标无功优化的改进粒子群优化算法［J］. 电力自动化设备， 2019 ， 39 （ 1 ）： 106 - 111 .

Li Xiaoli ， Gao Jinfeng . Improved particle swarm optimization algorithm for multi-objective reactive power optimization of dis-tribution network ［J］. Electric Power Automation Equipment ， 2019 ， 39 （ 1 ）： 106 - 111 .

Martín P ， Sierra A . Improving power system static security margins by means of a real coded genetic algorithm ［J］. IEEE Transactions on Power Systems ， 2016 ， 31 （ 3 ）： 1915 - 1924 .

董雷，田爱忠，于汀，等 . 基于混合整数半定规划的含分布式电源配电网无功优化［J］. 电力系统自动化， 2015 ， 39 （ 21 ）： 66 - 72，125 .

Dong Lei ， Tian Aizhong ， Yu Ting ， et al . Reactive power optimization for distribution network with distributed generators based on mixed integer semi-definite programming ［J］. Automation of Electric Power Systems ， 2015 ， 39 （ 21 ）： 66 - 72，125 .

张忠会，雷大勇，蒋昌辉，等 . 基于二阶锥规划和NNC法的交直流混合配电网双层规划模型及其求解方法［J］. 中国电机工程学报， 2023 ， 43 （ 1 ）： 70 - 84 .

Zhang Zhonghui ， Lei Dayong ， Jiang Changhui ， et al . A bi-level planning model and its solution method of AC／DC hybrid distribution network based on second-order cone programming and NNC method ［J］. Proceedings of the CSEE ， 2023 ， 43 （ 1 ）： 70 - 84 .

郑弘奇，江岳文，邹舒瑾，等 . 考虑抑制海上风电超短期预测偏差引发电压越限的无功调整降损优化决策［J］. 电力自动化设备， 2025 ， 45 （ 5 ）： 84 - 92，109 .

Zheng Hongqi ， Jiang Yuewen ， Zou Shujin ， et al . Optimization decision of reactive power adjustment for loss reduction consi-dering suppression of voltage over-limit caused by ultra-short-term forecast deviation of offshore wind power ［J］. Electric Power Automation Equipment ， 2025 ， 45 （ 5 ）： 84 - 92，109 .

张科鑫，窦晓波，李炜祺，等 . 基于量测数据补全的有源配电网电压优化技术［J］. 电力自动化设备， 2023 ， 43 （ 11 ）： 67 - 74 .

Zhang Kexin ， Dou Xiaobo ， Li Weiqi ， et al . Voltage optimization technology of active distribution network based on measurement data completion ［J］. Electric Power Automation Equipment ， 2023 ， 43 （ 11 ）： 67 - 74 .

祝泳琪，刘友波，唐志远，等 . 基于数据驱动预测控制的有源配电网电压控制策略［J］. 电力系统自动化， 2024 ， 48 （ 20 ）： 100 - 108 .

Zhu Yongqi ， Liu Youbo ， Tang Zhiyuan ， et al . Voltage control strategy for active distribution network based on data-enabled predictive control ［J］. Automation of Electric Power Systems ， 2024 ， 48 （ 20 ）： 100 - 108 .

朱振山，陈哲盛，盛明鼎 . 基于柔性行动器-评判器的园区综合能源系统运行优化［J］. 高电压技术， 2022 ， 48 （ 12 ）： 4949 - 4958 .

Zhu Zhenshan ， Chen Zhesheng ， Sheng Mingding . Operation opti-mization of park-level integrated energy system based on soft actor-critic ［J］. High Voltage Engineering ， 2022 ， 48 （ 12 ）： 4949 - 4958 .

祁向龙，陈健，赵浩然，等 . 多时间尺度协同的配电网分层深度强化学习电压控制策略［J］. 电力系统保护与控制， 2024 ， 52 （ 18 ）： 53 - 64 .

Qi Xianglong ， Chen Jian ， Zhao Haoran ， et al . Multi-time scale cooperative voltage control strategy of a distribution network based on hierarchical deep reinforcement learning ［J］. Power System Protection and Control ， 2024 ， 52 （ 18 ）： 53 - 64 .

李琦，乔颖，张宇精 . 配电网持续无功优化的深度强化学习方法［J］. 电网技术， 2020 ， 44 （ 4 ）： 1473 - 1480 .

Li Qi ， Qiao Ying ， Zhang Yujing . Continuous reactive power opti-mization of distribution network using deep reinforcement lear-ning ［J］. Power System Technology ， 2020 ， 44 （ 4 ）： 1473 - 1480 .

Zhang Y ， Wang X N ， Wang J H ， et al . Deep reinforcement learning based volt-VAR optimization in smart distribution systems ［J］. IEEE Transactions on Smart Grid ， 2021 ， 12 （ 1 ）： 361 - 371 .

张梓枭，崔明建，张程彬，等 . 基于反事实多智能体强化学习和有功无功协同控制的配电网电压优化［J］. 电力系统保护与控制， 2024 ， 52 （ 18 ）： 76 - 86 .

Zhang Zixiao ， Cui Mingjian ， Zhang Chengbin ， et al . Active and reactive power coordinated optimal voltage control of a distri-bution network based on counterfactual multi-agent reinforce-ment learning ［J］. Power System Protection and Control ， 2024 ， 52 （ 18 ）： 76 - 86 .

Cao D ， Zhao J B ， Hu W H ， et al . Data-driven multi-agent deep reinforcement learning for distribution system decentra-lized voltage control with high penetration of PVs ［J］. IEEE Transactions on Smart Grid ， 2021 ， 12 （ 5 ）： 4137 - 4150 .

Lee X Y ， Sarkar S ， Wang Y B . A graph policy network approach for volt-var control in power distribution systems ［J］. Applied Energy ， 2022 ， 323 ： 119530 .

江昌旭，卢玥君，邵振国，等 . 基于图神经网络多智能体强化学习的电力-交通融合网协同优化运行［J］. 高电压技术， 2023 ， 49 （ 11 ）： 4622 - 4631 .

Jiang Changxu ， Lu Yuejun ， Shao Zhenguo ， et al . Collaborative optimization operation of integrated electric power and traffic network based on graph neural network multi-agent reinforcement learning ［J］. High Voltage Engineering ， 2023 ， 49 （ 11 ）： 4622 - 4631 .

范邦稷，刘兴华，丁涛，等 . 基于图注意网络与深度确定性策略梯度的三相主动配电网供电恢复方法［J］. 中国电机工程学报， 2023 ， 43 （ 21 ）： 8193 - 8205 .

Fan Bangji ， Liu Xinghua ， Ding Tao ， et al . A GAT-DDPG based approach for three-phase active distribution system restoration ［J］. Proceedings of the CSEE ， 2023 ， 43 （ 21 ）： 8193 - 8205 .

Wu T ， Carreño I L ， Scaglione A ， et al . Spatio-temporal graph convolutional neural networks for physics-aware grid learning algorithms ［J］. IEEE Transactions on Smart Grid ， 2023 ， 14 （ 5 ）： 4086 - 4099 .

Pei Y S ， Zhao J B ， Yao Y Y ， et al . Multi-task reinforcement learning for distribution system voltage control with topology changes ［J］. IEEE Transactions on Smart Grid ， 2023 ， 14 （ 3 ）： 2481 - 2484 .

朱振山，张新炳，陈豪 . 基于深度强化学习的含智能软开关配电网电压控制方法［J］. 高电压技术， 2024 ， 50 （ 3 ）： 1214 - 1224 .

Zhu Zhenshan ， Zhang Xinbing ， Chen Hao . Voltage control me-thod of distribution network with soft open point based on deep reinforcement learning ［J］. High Voltage Engineering ， 2024 ， 50 （ 3 ）： 1214 - 1224 .

陆国超，王中冠，郭力，等 . 基于潮流元模型的有源配电网变拓扑自适应电压控制方法［J］. 电力自动化设备， 2025 ， 45 （ 8 ）： 217 - 224 .

Lu Guochao ， Wang Zhongguan ， Guo Li ， et al . Voltage control method for active distribution networks based on topology adaptive power flow meta-model ［J］. Electric Power Automation Equipment ， 2025 ， 45 （ 8 ）： 217 - 224 .

黄晟，潘丽君，屈尹鹏，等 . 基于改进深度Q网络的无预测风电场日前拓扑优化［J］. 电力系统自动化， 2025 ， 49 （ 2 ）： 122 - 132 .

Huang Sheng ， Pan Lijun ， Qu Yinpeng ， et al . Day-ahead topo-logy optimization for wind farm without forecasting based on improved deep Q network ［J］. Automation of Electric Power Systems ， 2025 ， 49 （ 2 ）： 122 - 132 .

张启阳，陈希亮，曹雷，等 . 深度强化学习中的知识迁移方法研究综述［J］. 计算机科学， 2023 ， 50 （ 5 ）： 201 - 216 .

Zhang Qiyang ， Chen Xiliang ， Cao Lei ， et al . Survey on know-ledge transfer method in deep reinforcement learning ［J］. Com-puter Science ， 2023 ， 50 （ 5 ）： 201 - 216 .

巨云涛，陈希 . 基于双层多智能体强化学习的微网群分布式有功无功协调优化调度［J］. 中国电机工程学报， 2022 ， 42 （ 23 ）： 8534 - 8547 .

Ju Yuntao ， Chen Xi . Distributed active and reactive power coor-dinated optimal scheduling of networked microgrids based on two-layer multi-agent reinforcement learning ［J］. Proceedings of the CSEE ， 2022 ， 42 （ 23 ）： 8534 - 8547 .

Views

下载量

CSCD

Alert me when the article has been cited

提交

Tools

Publicity Resources

Voltage control strategy for integrated photovoltaic and energy storage in distribution network based on improved MASAC algorithm

Maximum power supply capacity calculation of distribution network based on GraphSAGE model embedded with physical information

Voltage control strategy of distribution network based on continuous-time optimal scheduling of mobile energy storage

Reactive power coordination optimization scheduling of distribution network based on improved multi-agent deep deterministic policy gradient algorithm

Related Author

ZHOU Yong

ZHOU Yunhai

ZHAO Chang

LI Xin

LIN Keyi

JI Huaizhao

LUO Yanlin

Guanghua WANG

Related Institution

College of Electrical Engineering and New Energy，China Three Gorges University

State Grid Wuhan Power Supply Company

Baoding Power Supply Company，State Grid Hebei Electric Power Co.，Ltd.

Tianjin Xianghe Electric Co.，Ltd.

School of Electrical Engineering，Southeast University

AI问答

⁰