Expert Experience-Guided Hierarchical Reinforcement Learning for Coordinated Post-Disaster Restoration of Distribution Networks

XUE Zhang; LI Xiaolu; LIU Jinsong; LIN Shunfu

doi:10.12204/j.issn.1000-7229.2026.10.001

English Version Journal Login

您当前的位置：

首页 >

文章列表页 >

Expert Experience-Guided Hierarchical Reinforcement Learning for Coordinated Post-Disaster Restoration of Distribution Networks

Key Technologies of Global Security Defense and Disaster Resistance for High\-Proportion New Energy Power Grid\·Hosted by WANG Yuanyuan\，WANG Jinyu\，HUANG Can\，XIAO Hao\，BIAN Jing\· | 更新时间：2026-09-30

- Expert Experience-Guided Hierarchical Reinforcement Learning for Coordinated Post-Disaster Restoration of Distribution Networks
- Electric Power Construction Vol. 47, Issue 10, Pages: 1-14(2026)
- 作者机构：
  
  1.上海电力大学电气工程学部，上海市 200090
  2.国网上海市电力公司电力科学研究院，上海市 200437
- 作者简介：
- 基金信息：
  
  National Natural Science Foundation of China(52577119)
- DOI：10.12204/j.issn.1000-7229.2026.10.001
  CLC： TM732
- Received：20 April 2026，
  
  Revised：2026-05-19，
  
  Published：01 October 2026
- 稿件说明：
移动端阅览
薛章,李晓露,柳劲松等.专家经验引导分层强化学习的配电网灾后协同恢复策略[J].电力建设,2026,47(10):1-14.

XUE Zhang,LI Xiaolu,LIU Jinsong,et al.Expert Experience-Guided Hierarchical Reinforcement Learning for Coordinated Post-Disaster Restoration of Distribution Networks[J].Electric Power Construction,2026,47(10):1-14.
薛章,李晓露,柳劲松等.专家经验引导分层强化学习的配电网灾后协同恢复策略[J].电力建设,2026,47(10):1-14. DOI： 10.12204/j.issn.1000-7229.2026.10.001.

XUE Zhang,LI Xiaolu,LIU Jinsong,et al.Expert Experience-Guided Hierarchical Reinforcement Learning for Coordinated Post-Disaster Restoration of Distribution Networks[J].Electric Power Construction,2026,47(10):1-14. DOI： 10.12204/j.issn.1000-7229.2026.10.001.

摘要

目的

极端灾害易诱发配电网多点故障，网络重构与故障抢修缺乏协调将影响故障恢复的效率，本文提出一种专家经验引导的分层强化学习（hierarchical reinforcement learning， HRL）配电网灾后协同恢复策略。

方法

首先，构建配电网灾后协同恢复决策模型，以最小化负荷损失、开关动作成本和抢修移动成本为目标，综合考虑配电网运行约束、网络拓扑约束、故障修复约束及交通网时变通行约束。然后，面向灾后恢复的序贯决策特征，构建高层任务选择与低层动作执行的分层强化学习决策框架：高层根据系统状态选择网络重构或抢修调度任务，低层在相应约束下生成网络重构操作、抢修任务分配及路径调整方案。最后，引入专家轨迹对策略网络进行预训练，并结合在线交互训练持续更新分层策略参数。

结果

通过改进IEEE 33节点配电网与Sioux-Falls路网耦合系统的随机灾害场景测试表明，所提方法平均累计负荷损失为5.45 MWh，较混合整数二阶锥规划（mixed-integer second-order cone programming，MISOCP）和二元粒子群优化（binary particle swarm optimization，BPSO）算法分别降低22.43%和29.57%，平均在线求解时间为0.032 7 s，明显低于比较方法。

结论

所提方法实现了配电网灾后网络重构与抢修调度的协同优化，在降低累计负荷损失和提升在线决策效率方面表现出较好效果，可为极端灾害下配电网快速恢复提供辅助决策支持。

Abstract

Objective

Extreme disasters are prone to trigger multi-point faults in distribution networks， and the lack of coordination between network reconfiguration and fault emergency repair will degrade the efficiency of fault restoration. This paper proposes a coordinated post-disaster restoration strategy for distribution networks based on expert experience-guided hierarchical reinforcement learning （HRL）.

Methods

Firstly， a decision-making model for post-disaster coordinated restoration of distribution networks is constructed. Taking the minimization of load loss， switch operation cost and maintenance travel cost as the optimization objectives， the model comprehensively considers the operation constraints， network topology constraints and fault repair constraints of distribution networks， as well as the time-varying traffic accessibility constraints of transportation networks. Secondly， targeting the sequential decision-making characteristics of post-disaster restoration， a hierarchical reinforcement learning decision framework consisting of high-level task selection and low-level action execution is established. The high-level layer selects network reconfiguration or repair scheduling tasks according to real-time system states， while the low-level layer generates topology reconfiguration operations， repair task allocation schemes and route adjustment strategies under corresponding constraint conditions. Finally， expert trajectories are adopted to pre-train the policy network， and the parameters of the hierarchical policy are continuously updated through online interactive training.

Results

Random disaster scenario tests on a coupled system of the modified IEEE 33-bus distribution network and the Sioux-Falls traffic network demonstrate that the average cumulative load loss of the proposed method is 5.45 MWh， which is reduced by 22.43% and 29.57% compared with the mixed-integer second-order cone programming （MISOCP） and binary particle swarm optimization （BPSO） algorithms， respectively. The average online solution time of the proposed method is 0.032 7 s， which is significantly lower than that of the comparative methods.

Conclusions

The proposed method realizes the coordinated optimization of post-disaster network reconfiguration and repair scheduling for distribution networks. It exhibits superior performance in reducing cumulative load loss and improving online decision-making efficiency， and can provide auxiliary decision support for the rapid restoration of distribution networks under extreme disaster conditions.

关键词

Keywords

references

孙为民，孙华东，何剑，等 . 面向严重自然灾害的电力系统韧性评估技术综述［J］. 电网技术， 2024 ， 48 （ 1 ）： 129 - 139 .

Sun Weimin ， Sun Huadong ， He Jian ， et al . Review of power system resilience assessment techniques for severe natural disasters ［J］. Power System Technology ， 2024 ， 48 （ 1 ）： 129 - 139 .

Xu L ， Lin N ， Poor H V ， et al . Quantifying cascading power outages during climate extremes considering renewable energy integration ［J］. Nature Communications ， 2025 ， 16 ： 2582 .

王乐，唐捷，黄远飞，等 . 考虑微地形的配电系统雨涝淹没停电风险区划分方法［J］. 电力科学与技术学报， 2024 ， 39 （ 4 ）： 84 - 92 .

Wang Le ， Tang Jie ， Huang Yuanfei ， et al . Risk zone assessment of rainstorm induced waterlogging associated outage of distribution system with consideration of micro-topography ［J］. Journal of Electric Power Science and Technology ， 2024 ， 39 （ 4 ）： 84 - 92 .

宋梦，周佳妮，高赐威，等 . CPSS视角下城市建筑与配电网高韧性协调运行：研究述评与展望［J］. 电力系统自动化， 2023 ， 47 （ 23 ）： 105 - 121 .

Song Meng ， Zhou Jiani ， Gao Ciwei ， et al . High-resilience coordinated operation of urban buildings and distribution networks from cyber-physical-social system perspective： research review and prospect ［J］. Automation of Electric Power Systems ， 2023 ， 47 （ 23 ）： 105 - 121 .

侯慧，徐海峰，王少华，等 . 含降雨量修正的台风灾害下输电杆塔数据机理联合故障概率预测［J］. 高电压技术， 2025 ， 51 （ 4 ）： 1654 - 1662 .

Hou Hui ， Xu Haifeng ， Wang Shaohua ， et al . Data mechanism joint failure probability prediction of transmission tower with rainfall correction under typhoon disaster ［J］. High Voltage Engineering ， 2025 ， 51 （ 4 ）： 1654 - 1662 .

舒印彪，汤涌，张正陵，等 . 欧洲伊比利亚半岛电网“4·28”大停电事故分析及启示［J ］. 中国电机工程学报， 2025 ， 45 （ 17 ）： 6603 - 6612 .

Shu Yinbiao ， Tang Yong ， Zhang Zhengling ， et al . Analysis and lessons of the April 28， 2025 blackout in the Iberian Peninsula power system ［J］. Proceedings of the CSEE ， 2025 ， 45 （ 17 ）： 6603 - 6612 .

田书欣，苏鹏斌，赵昊星，等 . 冰灾场景下考虑无人机应用的综合能源系统韧性提升方法［J］. 浙江电力， 2025 ， 44 （ 11 ）： 1 - 13 .

Tian Shuxin ， Su Pengbin ， Zhao Haoxing ， et al . A resilience enhancement method for integrated energy systems considering UAV response in ice storm scenarios ［J］. Zhejiang Electric Power ， 2025 ， 44 （ 11 ）： 1 - 13 .

耿宁，覃智君，黄镇 . 台风灾害下含多元储能的电-气-热综合能源系统韧性提升策略［J］. 电网与清洁能源， 2025 ， 41 （ 9 ）： 64 - 73 .

Geng Ning ， Qin Zhijun ， Huang Zhen . A resilience enhancement strategy for electricity-gas-heat integrated energy systems with multi-energy storage under typhoon disaster ［J］. Power System and Clean Energy ， 2025 ， 41 （ 9 ）： 64 - 73 .

袁家海，张凯，张健，等 . 极端高温天气下电力系统韧性提升策略［J］. 发电技术， 2025 ， 46 （ 4 ）： 694 - 704 .

Yuan Jiahai ， Zhang Kai ， Zhang Jian ， et al . Resilience enhancement strategies for power systems under extreme high-temperature weather ［J］. Power Generation Technology ， 2025 ， 46 （ 4 ）： 694 - 704 .

谭静，王东，张英华，等 . 台风灾害下电网多维韧性评估研究［J］. 山东电力技术， 2024 ， 51 （ 3 ）： 27 - 35 .

Tan Jing ， Wang Dong ， Zhang Yinghua ， et al . Multidimensional resilience assessment of power grids under typhoon disasters ［J］. Shandong Electric Power ， 2024 ， 51 （ 3 ）： 27 - 35 .

陈磊，邓欣怡，陈红坤，等 . 电力系统韧性评估与提升研究综述［J］. 电力系统保护与控制， 2022 ， 50 （ 13 ）： 11 - 22 .

Chen Lei ， Deng Xinyi ， Chen Hongkun ， et al . Review of the assessment and improvement of power system resilience ［J］. Power System Protection and Control ， 2022 ， 50 （ 13 ）： 11 - 22 .

吴桂联，朱乃璇，陈浩，等 . 基于多尺度注意力机制与多资源协同优化的台风灾害下配电网韧性提升方法［J］. 电力科学与技术学报， 2025 ， 40 （ 6 ）： 90 - 100 .

Wu Guilian ， Zhu Naixuan ， Chen Hao ， et al . Method for enhancing distribution network resilience under typhoon disasters based on multi-scale attention mechanisms and multi-resource coordinated optimization ［J］. Journal of Electric Power Science and Technology ， 2025 ， 40 （ 6 ）： 90 - 100 .

刘自发，薛文博 . 考虑智能软开关及多种应急资源协同的配电网韧性提升策略［J］. 电力科学与技术学报， 2025 ， 40 （ 3 ）： 1 - 16 .

Liu Zifa ， Xue Wenbo . Resilience enhancement strategy for distribution network considering coordination of intelligent soft open points and multiple emergency resources ［J］. Journal of Electric Power Science and Technology ， 2025 ， 40 （ 3 ）： 1 - 16 .

麻灿皓，陈丽娟，吴志 . 考虑多元灵活性资源协同的配电网韧性提升策略［J］. 电力工程技术， 2025 ， 44 （ 1 ）： 115 - 125 .

Ma Canhao ， Chen Lijuan ， Wu Zhi . Resilience enhancement strategy for distribution networks considering multiple flexibility resources collaboration ［J］. Electric Power Engineering Technology ， 2025 ， 44 （ 1 ）： 115 - 125 .

许寅，王颖，和敬涵，等 . 多源协同的配电网多时段负荷恢复优化决策方法［J］. 电力系统自动化， 2020 ， 44 （ 2 ）： 123 - 131 .

Xu Yin ， Wang Ying ， He Jinghan ， et al . Optimal decision-making method for multi-period load restoration in distribution network with coordination of multiple sources ［J］. Automation of Electric Power Systems ， 2020 ， 44 （ 2 ）： 123 - 131 .

Shen Y C ， Gu C H ， Ma Z B ， et al . A two-stage resilience enhancement for distribution systems under hurricane attacks ［J］. IEEE Systems Journal ， 2021 ， 15 （ 1 ）： 653 - 661 .

高兆丽，胥明凯，丁素英，等 . 基于改进人工蜂群算法的配电网多点故障应急抢修优化调度［J］. 电力系统保护与控制， 2019 ， 47 （ 13 ）： 107 - 114 .

Gao Zhaoli ， Xu Mingkai ， Ding Suying ， et al . Optimization scheduling of multi-fault rush repair for distribution networks based on modified artificial bee colony algorithm ［J］. Power System Protection and Control ， 2019 ， 47 （ 13 ）： 107 - 114 .

郁琛，李尚轩，谢云云，等 . 考虑交通网与配电网信息融合的台风后配电网抢修策略优化［J］. 电力系统自动化， 2022 ， 46 （ 4 ）： 15 - 24 .

Yu Chen ， Li Shangxuan ， Xie Yunyun ， et al . Optimization of post-typhoon rush repair strategy for distribution network considering information integration of traffic network and distribution network ［J］. Automation of Electric Power Systems ， 2022 ， 46 （ 4 ）： 15 - 24 .

Yao S H ， Wang P ， Liu X C ， et al . Rolling optimization of mobile energy storage fleets for resilient service restoration ［J］. IEEE Transactions on Smart Grid ， 2020 ， 11 （ 2 ）： 1030 - 1043 .

黄婧杰，聂焕，张荐，等 . 主动配电网灾后韧性提升的孤岛划分与故障抢修协同方法［J］. 电力自动化设备， 2025 ， 45 （ 10 ）： 128 - 134 .

Huang Jingjie ， Nie Huan ， Zhang Jian ， et al . Collaborative method of island partition and fault repair for post-disaster resilience enhancement in active distribution network ［J］. Electric Power Automation Equipment ， 2025 ， 45 （ 10 ）： 128 - 134 .

王涵，孙磊，文福拴 . 考虑孤岛动态划分与融合的配电系统故障恢复策略［J］. 电力自动化设备， 2025 ， 45 （ 10 ）： 92 - 99 .

Wang Han ， Sun Lei ， Wen Fushuan . Service restoration strategy of distribution system considering dynamic islanding partition and merging ［J］. Electric Power Automation Equipment ， 2025 ， 45 （ 10 ）： 92 - 99 .

徐岩，郭佳睿，马天祥 . 考虑韧性提升的配电网故障恢复与抢修协调优化［J］. 高电压技术， 2024 ， 50 （ 12 ）： 5516 - 5528 .

Xu Yan ， Guo Jiarui ， Ma Tianxiang . Coordinated optimization of fault recovery and emergency repair for distribution network considering resilience improvement ［J］. High Voltage Engineering ， 2024 ， 50 （ 12 ）： 5516 - 5528 .

徐岩，张荟，孙易洲 . 基于变异粒子群算法的主动配电网故障恢复策略［J］. 电力自动化设备， 2021 ， 41 （ 12 ）： 45 - 53 .

Xu Yan ， Zhang Hui ， Sun Yizhou . Fault recovery strategy of active distribution network based on mutation particle swarm optimization algorithm ［J］. Electric Power Automation Equipment ， 2021 ， 41 （ 12 ）： 45 - 53 .

萧文聪，陈俊斌，余涛，等 . 基于专家知识嵌入强化学习的配电系统灾后恢复决策方法［J］. 电力系统自动化， 2025 ， 49 （ 12 ）： 91 - 100 .

Xiao Wencong ， Chen Junbin ， Yu Tao ， et al . Decision-making method for post-disaster distribution system restoration based on expert knowledge-embedded reinforcement learning ［J］. Automation of Electric Power Systems ， 2025 ， 49 （ 12 ）： 91 - 100 .

江昌旭，林骏驰，郭辰，等 . 图强化学习在配电网优化中的应用综述［J］. 电网技术， 2026 ， 50 （ 3 ）： 922 - 936 .

Jiang Changxu ， Lin Junchi ， Guo Chen ， et al . A review on application of graph reinforcement learning in power distribution network optimization ［J］. Power System Technology ， 2026 ， 50 （ 3 ）： 922 - 936 .

胡维昊，曹迪，黄琦，等 . 深度强化学习在配电网优化运行中的应用［J］. 电力系统自动化， 2023 ， 47 （ 14 ）： 174 - 191 .

Hu Weihao ， Cao Di ， Huang Qi ， et al . Application of deep reinforcement learning in optimal operation of distribution network ［J］. Automation of Electric Power Systems ， 2023 ， 47 （ 14 ）： 174 - 191 .

张沛，陈玉鑫，王光华，等 . 基于图强化学习的配电网故障恢复决策［J］. 电力系统自动化， 2024 ， 48 （ 2 ）： 151 - 158 .

Zhang Pei ， Chen Yuxin ， Wang Guanghua ， et al . Fault recovery decision of distribution network based on graph reinforcement learning ［J］. Automation of Electric Power Systems ， 2024 ， 48 （ 2 ）： 151 - 158 .

何小龙，高红均，王仁浚，等 . 基于图深度强化学习的有源配电网故障恢复方法［J］. 电网技术， 2025 ， 49 （ 10 ）： 4342 - 4352 .

He Xiaolong ， Gao Hongjun ， Wang Renjun ， et al . Fault recovery method of active distribution network based on graph deep reinforcement learning ［J］. Power System Technology ， 2025 ， 49 （ 10 ）： 4342 - 4352 .

江昌旭，周龙灿，庄鹏威，等 . 基于数据-模型混合驱动方法的多类型移动应急资源优化调度策略［J］. 电网技术， 2026 ， 50 （ 2 ）： 858 - 868 .

Jiang Changxu ， Zhou Longcan ， Zhuang Pengwei ， et al . Scheduling optimization strategy for multi-type mobile emergency resources based on a data-model hybrid driven approach ［J］. Power System Technology ， 2026 ， 50 （ 2 ）： 858 - 868 .

陈逸飞，郑子萱，肖先勇，等 . 数据-物理混合驱动的配电网运行韧性评估方法与提升策略［J］. 电力系统保护与控制， 2025 ， 53 （ 10 ）： 13 - 22 .

Chen Yifei ， Zheng Zixuan ， Xiao Xianyong ， et al . A data-physical hybrid-driven method for evaluating and enhancing the operational resilience of distribution networks ［J］. Power System Protection and Control ， 2025 ， 53 （ 10 ）： 13 - 22 .

田启东，张家琦，陈颖，等 . 基于强化学习的灾后配电网应急抢修决策方法［J］. 电工电能新技术， 2023 ， 42 （ 3 ）： 66 - 75 .

Tian Qidong ， Zhang Jiaqi ， Chen Ying ， et al . Post-disaster emergency repair and reconfiguration plan of faulty distribution system based on reinforcement learning ［J］. Advanced Technology of Electrical Engineering and Energy ， 2023 ， 42 （ 3 ）： 66 - 75 .

Zhang Y C ， Qiu F ， Hong T Q ， et al . Hybrid imitation learning for real-time service restoration in resilient distribution systems ［J］. IEEE Transactions on Industrial Informatics ， 2022 ， 18 （ 3 ）： 2089 - 2099 .

赖俊，魏竞毅，陈希亮 . 分层强化学习综述［J］. 计算机工程与应用， 2021 ， 57 （ 3 ）： 72 - 79 .

Lai Jun ， Wei Jingyi ， Chen Xiliang . Overview of hierarchical reinforcement learning ［J］. Computer Engineering and Applications ， 2021 ， 57 （ 3 ）： 72 - 79 .

彭佳盛，文云峰，梁晓锐，等 . 基于弹性系数的配电网重构与故障抢修协同优化方法［J］. 电力系统自动化， 2025 ， 49 （ 6 ）： 88 - 95 .

Peng Jiasheng ， Wen Yunfeng ， Liang Xiaorui ， et al . Resilience coefficient based collaborative optimization method of distribution network reconfiguration and fault repair ［J］. Automation of Electric Power Systems ， 2025 ， 49 （ 6 ）： 88 - 95 .

Huang Y X ， Li G F ， Chen C ， et al . Resilient distribution networks by microgrid formation using deep reinforcement learning ［J］. IEEE Transactions on Smart Grid ， 2022 ， 13 （ 6 ）： 4918 - 4930 .

陈潇瑞，李晓露，林顺富 . 考虑交通网延误的配电网灾后滚动抢修策略优化［J］. 现代电力， 2023 ， 40 （ 5 ）： 807 - 816 .

Chen Xiaorui ， Li Xiaolu ， Lin Shunfu . Optimization of post-disaster rolling emergency repair strategy for distribution network considering transportation network delay ［J］. Modern Electric Power ， 2023 ， 40 （ 5 ）： 807 - 816 .

Duan J L ， Li S B ， Guan Y ， et al . Hierarchical reinforcement learning for self-driving decision-making without reliance on labelled driving data ［J］. IET Intelligent Transport Systems ， 2020 ， 14 （ 5 ）： 297 - 305 .

王宏威，阮晓波，李雨龙，等 . 基于日变交通流量降雨损伤LSTM模型的城市路网韧性分析［J］. 中国安全科学学报， 2025 ， 35 （ 12 ）： 213 - 220 .

Wang Hongwei ， Ruan Xiaobo ， Li Yulong ， et al . Resilience analysis of urban road networks based on LSTM model for rainfall-induced day-to-day traffic flow degradation ［J］. China Safety Science Journal ， 2025 ， 35 （ 12 ）： 213 - 220 .

Views

下载量

CSCD

Alert me when the article has been cited

提交

Tools

Publicity Resources

Multi-Source Sequential Coordinated Power-Supply Recovery Method for Resilient Distribution Networks Considering Dynamic Networked Microgrids and Network Reconfiguration

Wind Power Consumption Strategy for Distribution Network Considering Joint Optimization of Electrothermal Hybrid Storage and Network Reconfiguration

Optimization Approach of Energy Storage System Locating and Sizing Considering Distribution System Resilience

Distribution Network Reconfiguration Considering Voltage Difference of Multiple Substations

Joint Prediction and Scheduling Optimization Strategy for Hybrid Pumped Storage Power Stations

Related Author

BIE Zhaohong

LI Minghao

TANG Yida

LI Gengfeng

HUANG Yuxiong

YANG Qiming

WANG Zhiran

Xiafei TANG

Related Institution

East Branch of State Grid Corporation of China

Pudong Power Supply Company of State Grid Shanghai Municipal Electric Power Company

State Key Laboratory of Electrical Insulation and Power Equipment （Xi’an Jiaotong University）

Power China Hubei Electric Engineering Co., Ltd.

Hubei Energy Group New Energy Development Co., Ltd.

AI问答

⁰