基于深度强化学习的相位补偿型自抗扰控制策略

李苏扬; 邵宝福; 周雪松; 马幼捷; 陶珑; 问虎龙

doi:doi:10.19912/j.0254-0096.tynxb.2024-1572

English Version Journal Login

您当前的位置：

首页 >

文章列表页 >

基于深度强化学习的相位补偿型自抗扰控制策略

更新时间：2026-02-06

- 基于深度强化学习的相位补偿型自抗扰控制策略
- Vol. 47, Issue 1, Pages: 288-300(2026)
- 作者机构：
- 作者简介：
- 基金信息：
- DOI：doi:10.19912/j.0254-0096.tynxb.2024-1572
  CLC： TM615
- Online First：05 February 2026，
  
  Published：05 February 2026
- 稿件说明：
移动端阅览
李苏扬, 邵宝福, 周雪松, et al. 基于深度强化学习的相位补偿型自抗扰控制策略[J]. 2026, 47(1): 288-300.
DOI：

李苏扬, 邵宝福, 周雪松, et al. 基于深度强化学习的相位补偿型自抗扰控制策略[J]. 2026, 47(1): 288-300. DOI： doi:10.19912/j.0254-0096.tynxb.2024-1572.

摘要

针对光储直流微电网母线电压控制过程存在的相位滞后问题

以储能双向DC-DC变换器为研究对象

提出一种含相位补偿网络的深度强化学习自抗扰控制策略。在该策略中

首先

将线性扩张状态观测器降阶处理

在其总和扰动作用通道串联相位补偿网络

以提供扰动估计所需的超前相角;其次

分析补偿环节改善扰动抑制性能的机理

配置补偿参数取值区间

评估改进后观测器对于典型时变扰动信号的跟踪特性;然后

基于深度强化学习算法建立控制变量优化模型

通过训练智能体与环境不断交互

探索变换器最优策略参数空间

实现观测器带宽和校正系数的自适应调整;最后

仿真对比典型工况下不同控制方式对于母线电压扰动的跟踪能力和控制精度。结果表明

所提控制策略有效可行。

Abstract

To address the phase lag issue in bus voltage control of DC microgrids

a deep reinforcement learning-based active disturbance rejection control strategy incorporating a phase compensation network is developed for bidirectional DC-DC converters in energy storage systems. In this strategy

the order of the linear extended state observer is reduced

and a phase compensation network is connected in series with its total disturbance channel to provide the required lead phase angle. Subsequently

the mechanism by which the compensation link enhances disturbance suppression performance is analyzed

and the compensation parameter ranges are configured. Besides

a control parameter optimization model is established based on deep reinforcement learning algorithms. By training an intelligent agent to interact with the DC microgrid environment

the optimal combination of policy parameters is explored to achieve adaptive adjustment of observer bandwidth and correction parameters. Finally

simulations are conducted to compare the tracking ability and control accuracy of different control methods for bus voltage disturbances under typical operating conditions

and the results confirm the effectiveness of the proposed control strategy.

关键词

Keywords

references

张伟亮, 张辉, 支娜, 等. 基于节点源荷电流差分的直流微电网储能变换器控制策略[J]. 电工技术学报, 2022, 37(9): 2199-2210.

薛花, 胡英俊, 董丙伟, 等. 基于分层控制的光-储-燃直流供电系统能量管理方法[J]. 电力系统自动化, 2018, 42(21): 53-62.

代丽, 王君瑞, 谭露, 等. 基于自适应下垂控制的光储直流微网控制策略研究[J]. 太阳能学报, 2024, 45(8): 154-163.

曾国辉, 朱相臣, 曾志伟, 等. 具有公共低压直流母线电压支撑功能的储能单元SOC自动均衡控制策略[J]. 中国电机工程学报, 2022, 42(19): 7160-7170.

THOMAS T, MISHRA M K, KUMAR C, et al.Control of a PV-wind based DC microgrid with hybrid energy storage system using Lyapunov approach and sliding mode control[J]. IEEE transactions on industry applications, 2024, 60(2): 3746-3758.

马幼捷, 杨清, 周雪松, 等. 基于模糊神经网络的储能侧双向DC-DC变换器自抗扰控制策略[J]. 太阳能学报, 2023, 44(10): 488-495.

张世欣, 皇金锋, 杨艺. 基于平坦理论的直流微电网双向DC-DC变换器改进滑模自抗扰控制[J]. 电力系统保护与控制, 2023, 51(5): 107-116.

GAO Z Q.Scaling and bandwidth-parameterization based controller tuning[C]//Proceedings of the 2003 American Control Conference, 2003. Denver, CO, USA, 2003: 4989-4996.

高钦和, 董家臣. 扩张状态观测器的观测误差前馈补偿设计[J]. 国防科技大学学报, 2019, 41(5): 93-102.

ZHENG M H, CHEN X, TOMIZUKA M.Extended state observer with phase compensation to estimate and suppress high-frequency disturbances[C]//2016 American Control Conference (ACC). Boston, MA, USA, 2016: 3521-3526.

杨林, 曾江, 马文杰, 等. 基于改进二阶线性自抗扰技术的微网逆变器电压控制[J]. 电力系统自动化, 2019, 43(4): 146-153.

马幼捷, 袁业沧, 周雪松, 等. 模型信息联合校正型自抗扰控制策略[J]. 太阳能学报, 2024, 45(3): 389-398.

王海强, 黄海. 扩张状态观测器的性能与应用[J]. 控制与决策, 2013, 28(7): 1078-1082.

刘玉燕, 刘吉臻, 周世梁. 基于降阶状态观测器的压水堆功率自抗扰控制[J]. 中国电机工程学报, 2017, 37(22): 6666-6674.

王军晓, 戎佳艺, 俞立. 直流降压变换器的降阶扩张状态观测器与滑模控制设计与实现[J]. 控制理论与应用, 2019, 36(9): 1486-1492.

周兰, 姜福喜, 潘昌忠, 等. 基于降阶扩张状态观测器的重复控制系统设计[J]. 控制与决策, 2022, 37(4): 933-943.

卜飞飞, 郭子韬, 顾毅君, 等. 基于改进型降阶观测器的永磁直驱伺服电动机转矩扰动抑制策略[J]. 电工技术学报, 2022, 37(16): 4104-4115.

WEI W, ZHANG Z Y, ZUO M.Phase leading active disturbance rejection control for a nanopositioning stage[J]. ISA transactions, 2021, 116: 218-231.

GHEISARNEJAD M, FARSIZADEH H, KHOOBAN M H.A novel nonlinear deep reinforcement learning controller for DC-DC power buck converters[J]. IEEE transactions on industrial electronics, 2021, 68(8): 6849-6858.

周雪松, 张心茹, 赵浛宇, 等. 基于DDPG算法的微网负载端接口变换器自抗扰控制[J]. 电力系统保护与控制, 2023, 51(21): 66-75.

袁东, 马晓军, 曾庆含, 等. 二阶系统线性自抗扰控制器频带特性与参数配置研究[J]. 控制理论与应用, 2013, 30(12): 1630-1640.

Views

下载量

CSCD

Alert me when the article has been cited

提交

Tools

Publicity Resources

基于层级嵌套博弈的微电网独立储能与供需双响应协同优化策略

基于改进SAC算法的多微电网经济优化调度研究

考虑共享储能的多微电网低碳经济优化研究

基于混合储能的绿色拖轮直流微网优化控制

TWO-LAYER DISTRIBUTED COOPERATIVE CONTROL OF FLYWHEEL ENERGY STORAGE GROUPS BASED ON CONSENSUS ALGORITHM

Related Author

邹阳

姚雨佳

石松浩

黄煜

方梦泓

金涛

赵志华

倪欢

Related Institution

School of Control and Computer Engineering, North China Electric Power University

Tianjin University of Technology, Tianjin Key Laboratory of New Energy Power Conversion, Transmission and Intelligent Control

Chengde Dianzhishang Energy Saving Technology Co., Ltd.

School of Energy Science and Engineering, Nanjing Tech University

Electric Power Research Institute, State Grid HuBei Electric Power Co., Ltd.

AI问答

⁰