Optimal Operation Strategy for Source-Grid-Load-Storage in Rural Microgrids Based on Improved TD3

CHEN Guoqi; WEI Yinghao; LIU Yi; LI Mengrui; XIONG Machao; WANG Can

doi:10.13648/j.cnki.issn1674-0629.2026.08.008

English Version Journal Login

您当前的位置：

首页 >

文章列表页 >

Optimal Operation Strategy for Source-Grid-Load-Storage in Rural Microgrids Based on Improved TD3

Key Technologies and Applications of New Rural Energy Systems | 更新时间：2026-09-16

- Optimal Operation Strategy for Source-Grid-Load-Storage in Rural Microgrids Based on Improved TD3
- Southern Power System Technology Vol. 20, Issue 8, Pages: 89-103(2026)
- 作者机构：
  
  1.国网湖北省电力有限公司荆州供电公司，湖北荆州 431700
  2.三峡大学电气与新能源学院，湖北宜昌 443002
- 作者简介：
- 基金信息：
  
  the National Natural Science Foundation of China(5237791)
- DOI：10.13648/j.cnki.issn1674-0629.2026.08.008
  CLC： TM727
- Received：26 January 2026，
  
  Online First：24 June 2026，
  
  Published：20 August 2026
- 稿件说明：
移动端阅览
陈国齐,魏颖豪,刘毅等.基于改进TD3的农村微电网源网荷储优化运行策略[J].南方电网技术,2026,20(08):89-103.

CHEN Guoqi,WEI Yinghao,LIU Yi,et al.Optimal Operation Strategy for Source-Grid-Load-Storage in Rural Microgrids Based on Improved TD3[J].Southern Power System Technology,2026,20(08):89-103.
陈国齐,魏颖豪,刘毅等.基于改进TD3的农村微电网源网荷储优化运行策略[J].南方电网技术,2026,20(08):89-103. DOI： 10.13648/j.cnki.issn1674-0629.2026.08.008.

CHEN Guoqi,WEI Yinghao,LIU Yi,et al.Optimal Operation Strategy for Source-Grid-Load-Storage in Rural Microgrids Based on Improved TD3[J].Southern Power System Technology,2026,20(08):89-103. DOI： 10.13648/j.cnki.issn1674-0629.2026.08.008.

摘要

农村微电网作为支撑“双碳”目标落地、赋能乡村振兴战略实施的重要载体，通过整合分布式能源与传统发电资源，能够有效提升系统整体的运行效率。为此，提出了一种基于改进双延迟深度确定性策略梯度（twin delayed deep deterministic policy gradient，TD3）的农村微电网源网荷储优化运行策略。首先，综合考虑运行成本和可再生能源利用率，构建了含沼气的农村微电网源网荷储优化运行模型。其次，构建了基于复合评分机制的注意力加权评论家网络（CASA-Critic），动态提取并聚焦关键状态特征以提升价值网络的评估精度。然后，采用动态感知策略，基于训练阶段在时间进程与环境状态的不确定性特征动态调节动作探索强度，改善算法在探索与利用之间的平衡。最后，基于典型的农村微网源网荷储运行场景进行仿真分析，仿真结果表明，相较于其他基于深度强化学习的优化运行策略，所提方法具有更好的收敛性和寻优效果，在提升系统运行经济性、促进可再生能源消纳方面具有明显的优越性。

Abstract

As a crucial carrier for supporting the implementation of the "dual carbon" goals and empowering rural revitalization

rural microgrids can effectively enhance overall system operational efficiency by integrating distributed energy with traditional power generation resources. To this end

this paper proposes a optimal operation strategy for source-grid-load-storage in rural microgrids based on an improved twin delayed deep deterministic policy gradient (TD3) algorithm. Firstly

an optimal operation model for rural microgrids incorporating biogas is constructed by comprehensively considering operating costs and renewable energy utilization. Secondly

a compound assessment scored attention-weighted critic(CASA-Critic)is designed to dynamically extract and focus on key state features

thereby enhancing the evaluation accuracy of the value network. Then

a dynamic perception strategy is introduced to adaptively adjust the intensity of action exploration based on the temporal progression and environmental state uncertainties during training

improving the balance between exploration and exploitation. Finally

simulation analysis is conducted based on a typical rural microgrids source-grid-load-storage operation scenario. The results demonstrate that

compared to optimization strategies based on other deep reinforcement learning

the proposed method exhibits better convergence and optimization performance

while also showing significant superiority in improving system operational economy and promoting renewable energy accommodation.

关键词

Keywords

references

凌凯，王灿，张高瑞，等 . 考虑路径损耗的热电联供型微网三层能量优化策略［J］. 中国电力， 2023 ， 56 （ 2 ）： 102 - 113 .

LING Kai ， WANG Can ， ZHANG Gaorui ， et al . Three-layer energy optimization strategy for CHP microgrid ［J］. Electric Power ， 2023 ， 56 （ 2 ）： 102 - 113 .

张琳，谢洪途，赵路路，等 . 混合能源直流微电网能源优化管控策略研究［J］. 电力系统保护与控制， 2024 ， 52 （ 3 ）： 141 - 151 .

ZHANG Lin ， XIE Hongtu ， ZHAO Lulu ， et al . Energy optimization and control strategy for a hybrid energy DC microgrid ［J］. Power System Protection and Control ， 2024 ， 52 （ 3 ）： 141 - 151 .

王灿，张雪菲，凌凯，等 . 基于区间概率不确定集的微电网两阶段自适应鲁棒优化调度［J］. 中国电机工程学报， 2024 ， 44 （ 5 ）： 1750 - 1764 .

WANG Can ， ZHANG Xuefei ， LING Kai ， et al . Two-stage adaptive robust optimal scheduling based on the interval probability uncertainty set for microgrids ［J］. Proceedings of the CSEE ， 2024 ， 44 （ 5 ）： 1750 - 1764 .

张金良，程佳 . 含沼气能发电的农村多微网系统容量配置双层优化模型［J］. 电力建设， 2025 ， 46 （ 10 ）： 73 - 87 .

ZHANG Jinliang ， CHENG Jia . Dual layer optimization model for capacity configuration of rural multi-microgrid system with biogas energy generation ［J］. Electric Power Construction ， 2025 ， 46 （ 10 ）： 73 - 87 .

张程，匡宇，刘佳静，等 . 考虑需求侧管理的风光燃储微网两阶段优化调度［J］. 电力系统保护与控制， 2022 ， 50 （ 24 ）： 13 - 22 .

ZHANG Cheng ， KUANG Yu ， LIU Jiajing ， et al . Two-stage optimal scheduling of a wind， photovoltaic， gas turbine， fuel cell and storage energy microgrid considering demand-side management ［J］. Power System Protection and Control ， 2022 ， 50 （ 24 ）： 13 - 22 .

臧云帆，夏晟，李嘉文，等 . 含共享储能的微电网群分布鲁棒博弈优化调度方法［J］. 电力系统保护与控制， 2023 ， 51 （ 24 ）： 90 - 101 .

ZANG Yunfan ， XIA Sheng ， LI Jiawen ， et al . A robust game optimization scheduling method for shared energy storage micro electric network group distribution ［J］. Power System Protection and Control ， 2023 ， 51 （ 24 ）： 90 - 101 .

杨程峰 . 基于改进白鲸优化算法的微电网优化调度研究［D］. 吉林：东北电力大学， 2025 .

岳佳明，钟建伟，朱占春，等 . 数据中心参与风光抽蓄互补微电网优化调度［J］. 电工电气， 2025 （ 5 ）： 13 - 20，71 .

YUE Jiaming ， ZHONG Jianwei ， ZHU Zhanchun ， et al . Data center participates in optimal scheduling of a wind-solar-pumped-storage hybrid microgrid ［J］. Electrotechnics Electric ， 2025 （ 5 ）： 13 - 20，71 .

姚明明，张新，杨培宏，等 . 基于改进风光场景聚类联合虚拟储能的源网荷储低碳优化调度［J］. 电力系统保护与控制， 2024 ， 52 （ 15 ）： 115 - 130 .

YAO Mingming ， ZHANG Xin ， YANG Peihong ， et al . Low-carbon optimal scheduling of source-grid-load-storage based on improved wind-solar scene clustering combined with virtual energy storage ［J］. Power System Protection and Control ， 2024 ， 52 （ 15 ）： 115 - 130 .

GRONAUER S ， DIEPOLD K . Multi-agent deep reinforcement learning： a survey ［J］. Artificial Intelligence Review ， 2022 ， 55 （ 2 ）： 895 - 943 .

张帆，武东昊，陈玉萍，等 . 多智能体深度强化学习的分布式园区综合能源系统经济调度策略［J］. 电力系统及其自动化学报， 2022 ， 34 （ 12 ）： 18 - 26 .

ZHANG Fan ， WU Donghao ， CHEN Yuping ， et al . Economic scheduling strategy for integrated energy system in distributed parks based on multi-agent deep reinforcement learning ［J］. Proceedings of the CSU-EPSA ， 2022 ， 34 （ 12 ）： 18 - 26 .

马冲冲，王一铮，王坤，等 . 考虑源荷不确定性下微电网能量调度的深度强化学习策略［J］. 高技术通讯， 2023 ， 33 （ 1 ）： 79 - 87 .

MA Chongchong ， WANG Yizheng ， WANG Kun ， et al . Deep reinforcement learning based dispatch strategy for microgrid eenergy management considering uncertainty of source and load ［J］. Chinese High Technology Letters ， 2023 ， 33 （ 1 ）： 79 - 87 .

林文硕，李欣，周荣生，等 . 基于深度强化学习的微电网低碳优化运行方法［J］. 现代电力， 2025 ， 42 （ 6 ）： 1131 - 1142 .

LIN Wenshuo ， LI Xin ， ZHOU Rongsheng ， et al . A low-carbon optimal operation method for microgrids based on deep reinforcement learning ［J］. Modern Electric Power ， 2025 ， 42 （ 6 ）： 1131 - 1142 .

王齐 . 基于联邦强化学习的微电网储能调度方法的研究与应用［D］. 哈尔滨：黑龙江大学， 2025 .

王琳道，刘大明 . 基于改进PPO算法的微电网交易及调度研究［J］. 计算机仿真， 2025 ， 42 （ 5 ）： 84 - 91 .

WANG Lindao ， LIU Daming . Research on microgrid transaction and scheduling based on improved PPO algorithm ［J］. Computer Simulation ， 2025 ， 42 （ 5 ）： 84 - 91 .

曾磊，丁泉，陈孝煜，等 . 基于深度强化学习的微电网运行优化方法［J］. 浙江电力， 2025 ， 44 （ 6 ）： 31 - 40 .

ZENG Lei ， DING Quan ， CHEN Xiaoyu ， et al . A DRL-based optimization method for microgrid operation ［J］. Zhejiang Electric Power ， 2025 ， 44 （ 6 ）： 31 - 40 .

WANG C ， ZHANG J ， WANG A ， et al . Prioritized sum-tree experience replay TD3 DRL-based online energy management of a residential microgrid ［J］. Applied Energy ， 2024 （368）： 123471.1 - 123471.10.

罗永建，刘承锡，董旭柱 . 基于深度强化学习架构的多能互补微网日前经济调度研究［J］. 武汉大学学报（工学版）， 2023 ， 56 （ 11 ）： 1393 - 1404 .

LUO Yongjian ， LIU Chengxi ， DONG Xuzhu . Day ahead economic dispatching of multi energy complementary micro grid based on deep reinforcement learning architecture ［J］. Engineering Journal of Wuhan University ， 2023 ， 56 （ 11 ）： 1393 - 1404 .

雷强，武鹏荣，李振文 . 基于改进SAC算法的微电网优化调度［J］. 电气传动， 2026 ， 56 （ 3 ）： 81 - 87 .

LEI Qiang ， WU Pengrong ， LI Zhenwen . Optimal scheduling of microgrid based on improved SAC algorithm ［J］. Electric Drive ， 2026 ， 56 （ 3 ）： 81 - 87 .

张彤彤 . 改进的多目标粒子群算法在分布式光伏电源优化配置中的应用［J］. 电子技术， 2025 ， 54 （ 7 ）： 290 - 291 .

ZHANG Tongtong . Application of Improved multi-objective particle swarm optimization algorithm in distributed photovoltaic power optimization configuration ［J］. Electronic Technology ， 2025 ， 54 （ 7 ）： 290 - 291 .

杨迪，王辉，杨睿彤，等 . 基于自适应奖励函数-多智能体深度强化学习的移动储能时空调度策略［J/OL］. 中国电机工程学报， 1 - 13［ 2025 - 8 -22］. https：//doi.org/10.13334/j.0258 - 8013.pcsee.251329.

YANG Di ， WANG Hui ， YANG Ruitong ， et al . Spatio-temporal dispatch strategy of mobile energy storage based on multi-agent deep reinforcement learning with adaptive reward function ［J/OL］. Proceedings of the CSEE ， 1 - 13［ 2025 - 8 -23］. https：//doi.org/10.13334/j.0258 - 8013.pcsee.251329.

李嘉文，余涛，张孝顺，等 . 基于改进深度确定性梯度算法的AGC发电功率指令分配方法［J］. 中国电机工程学报， 2021 ， 41 （ 21 ）： 7198 - 7212 .

LI Jiawen ， YU Tao ， ZHANG Xiaoshun ， et al . AGC power generation command allocation method based on improved deep deterministic policy gradient algorithm ［J］. Proceedings of the CSEE ， 2021 ， 41 （ 21 ）： 7198 - 7212 .

梁涛，柴露露，谭建鑫，等 . 基于深度强化学习算法的氢耦合电-热综合能源系统优化调度［J］. 电力自动化设备， 2025 ， 45 （ 1 ）： 59 - 66 .

LIANG Tao ， CHAI Lulu ， TAN Jianxin ， et al . Optimal scheduling of hydrogen coupled electrothermal integrated energy system based on deep reinforcement learning algorithm ［J］. Electric Power Automation Equipment ， 2025 ， 45 （ 1 ）： 59 - 66 .

林成，吕俊兵，张裕，等 . 基于LSTM-GBRT模型的省级区域碳排放预测方法［J］. 南方电网技术， 2026 ， 20 （ 6 ）： 168 - 178 .

LIN Cheng ， LÜ Junbing ， ZHANG Yu ， ZHANG Zhong . Provincial-level area carbon emission forecasting method based on LSTM-GBRT model ［J］. Southern Power System Technology ， 2026 ， 20 （ 6 ）： 168 - 178 .

王宏，郭志涛，张森，等 . 融合Kalman滤波的双注意力LSTM剩余使用寿命预测网络［J］. 现代电子技术， 2025 ， 48 （ 22 ）： 160 - 166 .

WANG Hong ， GUO Zhitao ， ZHANG Sen ， et al . Dual-attention LSTM RUL prediction network with Kalman filter ［J］. Modern Electronic Technique ， 2025 ， 48 （ 22 ）： 160 - 166 .

罗林霖，王霄，何志琴，等 . 基于滚动模态分解和GCN-DABiLSTM的综合能源系统多元负荷预测模型［J］. 广东电力， 2025 ， 38 （ 9 ）： 130 - 138 .

LUO Linlin ， WANG Xiao ， HE Zhiqin ， et al . Multi-load forecasting model for integrated energy system based on rolling mode decomposition and GCN-DABiLSTM ［J］. Guangdong Electric Power ， 2025 ， 38 （ 9 ）： 130 - 138 .

崔星，李晋国，张照贝，等 . 基于改进粒子群算法优化LSTM 的短期电力负荷预测［J］. 电测与仪表， 2024 ， 61 （ 1 ）： 131 - 136 .

CUI Xing ， LI Jinguo ， ZHANG Zhaobei ， et al . The short-term power load forecasting based on NIWPSO-LSTM neural network ［J］. Electrical Measurement & Instrumentation ， 2024 ， 61 （ 1 ）： 131 - 136 .

崔志坤，王清亮，刘景青，等 . 基于模糊集理论和序关系分析法的电力市场指标体系研究［J］. 电测与仪表， 2024 ， 61 （ 5 ）： 31 - 37 .

CUI Zhikun ， WANG Qingliang ， LIU Jingqing ， et al . Evaluation of the electricity markets index system based on fuzzy set theory and order relationship analysis ［J］. Electrical Measurement & Instrumentation ， 2024 ， 61 （ 5 ）： 31 - 37 .

王斯琪，曹昉，姚力 . 计及多级市场代理购电成本传导风险的分时电价定价模型［J］. 中国电力， 2025 ， 58 （ 11 ）： 25 - 37 .

WANG Siqi 1 ， CAO Fang， YAO Li. Time-of-use pricing model considering the risk of cost transmission in multi-level market agent electricity purchase ［J］. Electric Power ， 2025， 58 （ 11 ）： 25 - 37 .

Views

下载量

CSCD

Alert me when the article has been cited

提交

Tools

Publicity Resources

Simulation of Multi-Agent Two-Stage Market Manipulation Behavior in the Electricity-Carbon Market Under Capacity Pricing

Stackelberg Game Optimization Scheduling in Building Integrated Energy Systems Based on Deep Reinforcement Learning

Active Distribution Network Operation Optimization Strategies Based on State-Response Framework

Optimization Strategy of Disaster Resistance and Electricity Restoration in Distribution Network Under Typhoon and Rainstorm Disasters

Optimization of Rural Multi-Energy System Based on Synergistic Pyrolysis-Biogas Generation and Carbon Green Coupling

Related Author

YU Haoyang

YANG Xuan

SU Jia

DU Xinhui

LIANG Gan

QIAN Shuaishuai

CHEN Xinghui

CHEN Wenyan

Related Institution

Key Laboratory of Clean and Intelligent Control of Coal-Fired Power Generation, Ministry of Education, Taiyuan University of Technology

School of Electrical and Power Engineering, Taiyuan University of Technology

Jiangsu Meteorological Energy Utilization and Control Engineering Technology Research Center

Jiangsu Key Laboratory of Big Data Analysis Technology, Nanjing University of Information Science and Technology

Jiangsu Collaborative Innovation Center of Atmospheric Environment and Equipment Technology, Nanjing University of Information Science and Technology

AI问答

⁰