基于改进TD3的农村微电网源网荷储优化运行策略

陈国齐; 魏颖豪; 刘毅; 李梦锐; 熊马超; 王灿

doi:10.13648/j.cnki.issn1674-0629.2026.08.008

欢迎来到能源电力期刊网！

English Version 期刊登录

您当前的位置：

首页 >

文章列表页 >

基于改进TD3的农村微电网源网荷储优化运行策略

“乡村新型能源系统关键技术与应用"专题 | 更新时间：2026-09-16

- 基于改进TD3的农村微电网源网荷储优化运行策略
- Optimal Operation Strategy for Source-Grid-Load-Storage in Rural Microgrids Based on Improved TD3
- 南方电网技术 2026年20卷第8期页码：89-103
- 作者机构：
  
  1.国网湖北省电力有限公司荆州供电公司，湖北荆州 431700
  2.三峡大学电气与新能源学院，湖北宜昌 443002
- 作者简介：
  
  陈国齐（1992），男，工程师，硕士，研究方向为微电网优化调度，516503824@qq.com；
  魏颖豪（1984），男，高级工程师，硕士，研究方向为微电网能量管理，yinghao2586@163.com；
  王灿（1987），通信作者，男，副教授，博士，研究方向为微电网优化运行与控制，xfcancan@163.com。
- 基金信息：
  
  国家自然科学基金资助项目(5237791)
- DOI：10.13648/j.cnki.issn1674-0629.2026.08.008
  中图分类号： TM727
- 收稿：2026-01-26，
  
  网络首发：2026-06-24，
  
  纸质出版：2026-08-20
- 稿件说明：
移动端阅览
陈国齐,魏颖豪,刘毅等.基于改进TD3的农村微电网源网荷储优化运行策略[J].南方电网技术,2026,20(08):89-103.

CHEN Guoqi,WEI Yinghao,LIU Yi,et al.Optimal Operation Strategy for Source-Grid-Load-Storage in Rural Microgrids Based on Improved TD3[J].Southern Power System Technology,2026,20(08):89-103.
陈国齐,魏颖豪,刘毅等.基于改进TD3的农村微电网源网荷储优化运行策略[J].南方电网技术,2026,20(08):89-103. DOI： 10.13648/j.cnki.issn1674-0629.2026.08.008.

CHEN Guoqi,WEI Yinghao,LIU Yi,et al.Optimal Operation Strategy for Source-Grid-Load-Storage in Rural Microgrids Based on Improved TD3[J].Southern Power System Technology,2026,20(08):89-103. DOI： 10.13648/j.cnki.issn1674-0629.2026.08.008.

摘要

农村微电网作为支撑“双碳”目标落地、赋能乡村振兴战略实施的重要载体，通过整合分布式能源与传统发电资源，能够有效提升系统整体的运行效率。为此，提出了一种基于改进双延迟深度确定性策略梯度（twin delayed deep deterministic policy gradient，TD3）的农村微电网源网荷储优化运行策略。首先，综合考虑运行成本和可再生能源利用率，构建了含沼气的农村微电网源网荷储优化运行模型。其次，构建了基于复合评分机制的注意力加权评论家网络（CASA-Critic），动态提取并聚焦关键状态特征以提升价值网络的评估精度。然后，采用动态感知策略，基于训练阶段在时间进程与环境状态的不确定性特征动态调节动作探索强度，改善算法在探索与利用之间的平衡。最后，基于典型的农村微网源网荷储运行场景进行仿真分析，仿真结果表明，相较于其他基于深度强化学习的优化运行策略，所提方法具有更好的收敛性和寻优效果，在提升系统运行经济性、促进可再生能源消纳方面具有明显的优越性。

Abstract

As a crucial carrier for supporting the implementation of the "dual carbon" goals and empowering rural revitalization

rural microgrids can effectively enhance overall system operational efficiency by integrating distributed energy with traditional power generation resources. To this end

this paper proposes a optimal operation strategy for source-grid-load-storage in rural microgrids based on an improved twin delayed deep deterministic policy gradient (TD3) algorithm. Firstly

an optimal operation model for rural microgrids incorporating biogas is constructed by comprehensively considering operating costs and renewable energy utilization. Secondly

a compound assessment scored attention-weighted critic(CASA-Critic)is designed to dynamically extract and focus on key state features

thereby enhancing the evaluation accuracy of the value network. Then

a dynamic perception strategy is introduced to adaptively adjust the intensity of action exploration based on the temporal progression and environmental state uncertainties during training

improving the balance between exploration and exploitation. Finally

simulation analysis is conducted based on a typical rural microgrids source-grid-load-storage operation scenario. The results demonstrate that

compared to optimization strategies based on other deep reinforcement learning

the proposed method exhibits better convergence and optimization performance

while also showing significant superiority in improving system operational economy and promoting renewable energy accommodation.

关键词

Keywords

references

凌凯，王灿，张高瑞，等 . 考虑路径损耗的热电联供型微网三层能量优化策略［J］. 中国电力， 2023 ， 56 （ 2 ）： 102 - 113 .

LING Kai ， WANG Can ， ZHANG Gaorui ， et al . Three-layer energy optimization strategy for CHP microgrid ［J］. Electric Power ， 2023 ， 56 （ 2 ）： 102 - 113 .

张琳，谢洪途，赵路路，等 . 混合能源直流微电网能源优化管控策略研究［J］. 电力系统保护与控制， 2024 ， 52 （ 3 ）： 141 - 151 .

ZHANG Lin ， XIE Hongtu ， ZHAO Lulu ， et al . Energy optimization and control strategy for a hybrid energy DC microgrid ［J］. Power System Protection and Control ， 2024 ， 52 （ 3 ）： 141 - 151 .

王灿，张雪菲，凌凯，等 . 基于区间概率不确定集的微电网两阶段自适应鲁棒优化调度［J］. 中国电机工程学报， 2024 ， 44 （ 5 ）： 1750 - 1764 .

WANG Can ， ZHANG Xuefei ， LING Kai ， et al . Two-stage adaptive robust optimal scheduling based on the interval probability uncertainty set for microgrids ［J］. Proceedings of the CSEE ， 2024 ， 44 （ 5 ）： 1750 - 1764 .

张金良，程佳 . 含沼气能发电的农村多微网系统容量配置双层优化模型［J］. 电力建设， 2025 ， 46 （ 10 ）： 73 - 87 .

ZHANG Jinliang ， CHENG Jia . Dual layer optimization model for capacity configuration of rural multi-microgrid system with biogas energy generation ［J］. Electric Power Construction ， 2025 ， 46 （ 10 ）： 73 - 87 .

张程，匡宇，刘佳静，等 . 考虑需求侧管理的风光燃储微网两阶段优化调度［J］. 电力系统保护与控制， 2022 ， 50 （ 24 ）： 13 - 22 .

ZHANG Cheng ， KUANG Yu ， LIU Jiajing ， et al . Two-stage optimal scheduling of a wind， photovoltaic， gas turbine， fuel cell and storage energy microgrid considering demand-side management ［J］. Power System Protection and Control ， 2022 ， 50 （ 24 ）： 13 - 22 .

臧云帆，夏晟，李嘉文，等 . 含共享储能的微电网群分布鲁棒博弈优化调度方法［J］. 电力系统保护与控制， 2023 ， 51 （ 24 ）： 90 - 101 .

ZANG Yunfan ， XIA Sheng ， LI Jiawen ， et al . A robust game optimization scheduling method for shared energy storage micro electric network group distribution ［J］. Power System Protection and Control ， 2023 ， 51 （ 24 ）： 90 - 101 .

杨程峰 . 基于改进白鲸优化算法的微电网优化调度研究［D］. 吉林：东北电力大学， 2025 .

岳佳明，钟建伟，朱占春，等 . 数据中心参与风光抽蓄互补微电网优化调度［J］. 电工电气， 2025 （ 5 ）： 13 - 20，71 .

YUE Jiaming ， ZHONG Jianwei ， ZHU Zhanchun ， et al . Data center participates in optimal scheduling of a wind-solar-pumped-storage hybrid microgrid ［J］. Electrotechnics Electric ， 2025 （ 5 ）： 13 - 20，71 .

姚明明，张新，杨培宏，等 . 基于改进风光场景聚类联合虚拟储能的源网荷储低碳优化调度［J］. 电力系统保护与控制， 2024 ， 52 （ 15 ）： 115 - 130 .

YAO Mingming ， ZHANG Xin ， YANG Peihong ， et al . Low-carbon optimal scheduling of source-grid-load-storage based on improved wind-solar scene clustering combined with virtual energy storage ［J］. Power System Protection and Control ， 2024 ， 52 （ 15 ）： 115 - 130 .

GRONAUER S ， DIEPOLD K . Multi-agent deep reinforcement learning： a survey ［J］. Artificial Intelligence Review ， 2022 ， 55 （ 2 ）： 895 - 943 .

张帆，武东昊，陈玉萍，等 . 多智能体深度强化学习的分布式园区综合能源系统经济调度策略［J］. 电力系统及其自动化学报， 2022 ， 34 （ 12 ）： 18 - 26 .

ZHANG Fan ， WU Donghao ， CHEN Yuping ， et al . Economic scheduling strategy for integrated energy system in distributed parks based on multi-agent deep reinforcement learning ［J］. Proceedings of the CSU-EPSA ， 2022 ， 34 （ 12 ）： 18 - 26 .

马冲冲，王一铮，王坤，等 . 考虑源荷不确定性下微电网能量调度的深度强化学习策略［J］. 高技术通讯， 2023 ， 33 （ 1 ）： 79 - 87 .

MA Chongchong ， WANG Yizheng ， WANG Kun ， et al . Deep reinforcement learning based dispatch strategy for microgrid eenergy management considering uncertainty of source and load ［J］. Chinese High Technology Letters ， 2023 ， 33 （ 1 ）： 79 - 87 .

林文硕，李欣，周荣生，等 . 基于深度强化学习的微电网低碳优化运行方法［J］. 现代电力， 2025 ， 42 （ 6 ）： 1131 - 1142 .

LIN Wenshuo ， LI Xin ， ZHOU Rongsheng ， et al . A low-carbon optimal operation method for microgrids based on deep reinforcement learning ［J］. Modern Electric Power ， 2025 ， 42 （ 6 ）： 1131 - 1142 .

王齐 . 基于联邦强化学习的微电网储能调度方法的研究与应用［D］. 哈尔滨：黑龙江大学， 2025 .

王琳道，刘大明 . 基于改进PPO算法的微电网交易及调度研究［J］. 计算机仿真， 2025 ， 42 （ 5 ）： 84 - 91 .

WANG Lindao ， LIU Daming . Research on microgrid transaction and scheduling based on improved PPO algorithm ［J］. Computer Simulation ， 2025 ， 42 （ 5 ）： 84 - 91 .

曾磊，丁泉，陈孝煜，等 . 基于深度强化学习的微电网运行优化方法［J］. 浙江电力， 2025 ， 44 （ 6 ）： 31 - 40 .

ZENG Lei ， DING Quan ， CHEN Xiaoyu ， et al . A DRL-based optimization method for microgrid operation ［J］. Zhejiang Electric Power ， 2025 ， 44 （ 6 ）： 31 - 40 .

WANG C ， ZHANG J ， WANG A ， et al . Prioritized sum-tree experience replay TD3 DRL-based online energy management of a residential microgrid ［J］. Applied Energy ， 2024 （368）： 123471.1 - 123471.10.

罗永建，刘承锡，董旭柱 . 基于深度强化学习架构的多能互补微网日前经济调度研究［J］. 武汉大学学报（工学版）， 2023 ， 56 （ 11 ）： 1393 - 1404 .

LUO Yongjian ， LIU Chengxi ， DONG Xuzhu . Day ahead economic dispatching of multi energy complementary micro grid based on deep reinforcement learning architecture ［J］. Engineering Journal of Wuhan University ， 2023 ， 56 （ 11 ）： 1393 - 1404 .

雷强，武鹏荣，李振文 . 基于改进SAC算法的微电网优化调度［J］. 电气传动， 2026 ， 56 （ 3 ）： 81 - 87 .

LEI Qiang ， WU Pengrong ， LI Zhenwen . Optimal scheduling of microgrid based on improved SAC algorithm ［J］. Electric Drive ， 2026 ， 56 （ 3 ）： 81 - 87 .

张彤彤 . 改进的多目标粒子群算法在分布式光伏电源优化配置中的应用［J］. 电子技术， 2025 ， 54 （ 7 ）： 290 - 291 .

ZHANG Tongtong . Application of Improved multi-objective particle swarm optimization algorithm in distributed photovoltaic power optimization configuration ［J］. Electronic Technology ， 2025 ， 54 （ 7 ）： 290 - 291 .

杨迪，王辉，杨睿彤，等 . 基于自适应奖励函数-多智能体深度强化学习的移动储能时空调度策略［J/OL］. 中国电机工程学报， 1 - 13［ 2025 - 8 -22］. https：//doi.org/10.13334/j.0258 - 8013.pcsee.251329.

YANG Di ， WANG Hui ， YANG Ruitong ， et al . Spatio-temporal dispatch strategy of mobile energy storage based on multi-agent deep reinforcement learning with adaptive reward function ［J/OL］. Proceedings of the CSEE ， 1 - 13［ 2025 - 8 -23］. https：//doi.org/10.13334/j.0258 - 8013.pcsee.251329.

李嘉文，余涛，张孝顺，等 . 基于改进深度确定性梯度算法的AGC发电功率指令分配方法［J］. 中国电机工程学报， 2021 ， 41 （ 21 ）： 7198 - 7212 .

LI Jiawen ， YU Tao ， ZHANG Xiaoshun ， et al . AGC power generation command allocation method based on improved deep deterministic policy gradient algorithm ［J］. Proceedings of the CSEE ， 2021 ， 41 （ 21 ）： 7198 - 7212 .

梁涛，柴露露，谭建鑫，等 . 基于深度强化学习算法的氢耦合电-热综合能源系统优化调度［J］. 电力自动化设备， 2025 ， 45 （ 1 ）： 59 - 66 .

LIANG Tao ， CHAI Lulu ， TAN Jianxin ， et al . Optimal scheduling of hydrogen coupled electrothermal integrated energy system based on deep reinforcement learning algorithm ［J］. Electric Power Automation Equipment ， 2025 ， 45 （ 1 ）： 59 - 66 .

林成，吕俊兵，张裕，等 . 基于LSTM-GBRT模型的省级区域碳排放预测方法［J］. 南方电网技术， 2026 ， 20 （ 6 ）： 168 - 178 .

LIN Cheng ， LÜ Junbing ， ZHANG Yu ， ZHANG Zhong . Provincial-level area carbon emission forecasting method based on LSTM-GBRT model ［J］. Southern Power System Technology ， 2026 ， 20 （ 6 ）： 168 - 178 .

王宏，郭志涛，张森，等 . 融合Kalman滤波的双注意力LSTM剩余使用寿命预测网络［J］. 现代电子技术， 2025 ， 48 （ 22 ）： 160 - 166 .

WANG Hong ， GUO Zhitao ， ZHANG Sen ， et al . Dual-attention LSTM RUL prediction network with Kalman filter ［J］. Modern Electronic Technique ， 2025 ， 48 （ 22 ）： 160 - 166 .

罗林霖，王霄，何志琴，等 . 基于滚动模态分解和GCN-DABiLSTM的综合能源系统多元负荷预测模型［J］. 广东电力， 2025 ， 38 （ 9 ）： 130 - 138 .

LUO Linlin ， WANG Xiao ， HE Zhiqin ， et al . Multi-load forecasting model for integrated energy system based on rolling mode decomposition and GCN-DABiLSTM ［J］. Guangdong Electric Power ， 2025 ， 38 （ 9 ）： 130 - 138 .

崔星，李晋国，张照贝，等 . 基于改进粒子群算法优化LSTM 的短期电力负荷预测［J］. 电测与仪表， 2024 ， 61 （ 1 ）： 131 - 136 .

CUI Xing ， LI Jinguo ， ZHANG Zhaobei ， et al . The short-term power load forecasting based on NIWPSO-LSTM neural network ［J］. Electrical Measurement & Instrumentation ， 2024 ， 61 （ 1 ）： 131 - 136 .

崔志坤，王清亮，刘景青，等 . 基于模糊集理论和序关系分析法的电力市场指标体系研究［J］. 电测与仪表， 2024 ， 61 （ 5 ）： 31 - 37 .

CUI Zhikun ， WANG Qingliang ， LIU Jingqing ， et al . Evaluation of the electricity markets index system based on fuzzy set theory and order relationship analysis ［J］. Electrical Measurement & Instrumentation ， 2024 ， 61 （ 5 ）： 31 - 37 .

王斯琪，曹昉，姚力 . 计及多级市场代理购电成本传导风险的分时电价定价模型［J］. 中国电力， 2025 ， 58 （ 11 ）： 25 - 37 .

WANG Siqi 1 ， CAO Fang， YAO Li. Time-of-use pricing model considering the risk of cost transmission in multi-level market agent electricity purchase ［J］. Electric Power ， 2025， 58 （ 11 ）： 25 - 37 .

浏览量

下载量

CSCD

文章被引用时，请邮件提醒。

提交

工具集

关联资源

容量电价下电-碳市场多智能体两阶段市场操纵行为仿真

基于深度强化学习的建筑综合能源系统主从博弈优化调度

基于状态-响应框架的有源配电网运行优化策略

渔光氢热储互补的乡村能源系统时序生产模拟方法

多微电网共享储能优化配置与成本分配方法