Multi-agent Deep Reinforcement Learning-driven Economic Optimal Scheduling Strategy for Data Centers

ZHANG Ziquan; YANG Lingfang; CHEN Yu; ZHAO Hanshu; YANG Qiang

doi:10.7500/AEPS20251115006

English Version Journal Login

您当前的位置：

首页 >

文章列表页 >

Multi-agent Deep Reinforcement Learning-driven Economic Optimal Scheduling Strategy for Data Centers

Computing Power-Electric Power Coordination | 更新时间：2026-10-10

- Multi-agent Deep Reinforcement Learning-driven Economic Optimal Scheduling Strategy for Data Centers
- Automation of Electric Power Systems Vol. 50, Issue 19, Pages: 66-76(2026)
- 作者机构：
  
  浙江大学电气工程学院，浙江省杭州市 310027
- 作者简介：
- 基金信息：
  
  National Natural Science Foundation of China(52177119)
- DOI：10.7500/AEPS20251115006
  CLC：
- Received：15 November 2025，
  
  Revised：2026-02-24，
  
  Online First：11 June 2026，
  
  Published：10 October 2026
- 稿件说明：
移动端阅览
张子泉,杨灵方,陈宇等.多智能体深度强化学习驱动的数据中心经济优化调度策略[J].电力系统自动化,2026,50(19):66-76.

ZHANG Ziquan,YANG Lingfang,CHEN Yu,et al.Multi-agent Deep Reinforcement Learning-driven Economic Optimal Scheduling Strategy for Data Centers[J].Automation of Electric Power Systems,2026,50(19):66-76.
张子泉,杨灵方,陈宇等.多智能体深度强化学习驱动的数据中心经济优化调度策略[J].电力系统自动化,2026,50(19):66-76. DOI： 10.7500/AEPS20251115006.

ZHANG Ziquan,YANG Lingfang,CHEN Yu,et al.Multi-agent Deep Reinforcement Learning-driven Economic Optimal Scheduling Strategy for Data Centers[J].Automation of Electric Power Systems,2026,50(19):66-76. DOI： 10.7500/AEPS20251115006.

摘要

为实现数据中心的经济运行，文中提出一种基于多智能体深度强化学习的数据中心经济优化调度方法。首先，建立涵盖芯片、机架与数据中心3个层次的统一模型，刻画计算系统、冷却系统及供能系统之间的电-热-算耦合关系，并对优化问题进行建模。其次，设计多智能体优化运行框架，明确负载调度、数据中心温度调节与电池能量管理3类智能体的观测空间、动作空间与奖励函数。然后，将上述优化问题转化为马尔可夫决策过程，将经济运行目标映射为多智能体间的协同调度任务，并基于Actor-Critic框架构建智能体间的协作机制。最后，通过随机选取7月某日的调度结果，对多智能体协作的有效性进行分析，并通过与多智能体近端策略优化、近端策略优化、模型预测控制的对比实验以及不同季节典型日场景测试，充分验证了所提方法的有效性和优越性。

Abstract

To realize the economic operation of data centers

this paper proposes an economic optimal scheduling method for data centers based on multi-agent deep reinforcement learning. First

a unified model covering three layers

namely chips

racks and the data centers

is established to characterize the electric power-thermal power-computing power coupling relationship among the computing system

cooling system and energy supply system

and formulate the optimization problem. Second

a multi-agent optimal operation framework is designed to define the observation space

action space and reward function for three types of agents

i.e.

load scheduling agent

data center temperature regulation agent and battery energy management agent. Third

the above optimization problem is transformed into a Markov decision process

the economic operation objective is mapped into a collaborative scheduling task among multiple agents

and a cooperation mechanism among agents is constructed based on the Actor-Critic framework. Finally

the effectiveness of multi-agent cooperation is analyzed using scheduling results randomly selected from some day in July. Comparative experiments with multi-agent proximal policy optimization

proximal policy optimization and model predictive control

as well as tests under typical daily scenarios in different seasons

fully verify the effectiveness and superiority of the proposed method.

关键词

Keywords

references

Zhao D M ， Zhou J T ， Li K Q . CFWS： DRL-based framework for energy cost and carbon footprint optimization in cloud data centers ［J］. IEEE Transactions on Sustainable Computing ， 2025 ， 10 （ 1 ）： 95 - 107 .

Kahil H ， Sharma S ， VäLisuo P ， et al . Reinforcement learning for data center energy efficiency optimization： a systematic literature review and research roadmap ［J］. Applied Energy ， 2025 ， 389 ： 125734 .

崔杨，程禹烽，赵钰婷，等 . 考虑特性分类批处理负荷可调节能力的数据中心微网灵活性设备分布鲁棒容量配置方法［J］. 电力自动化设备， 2024 ， 44 （ 7 ）： 180 - 188 .

Cui Yang ， Cheng Yufeng ， Zhao Yuting ， et al . Distributionally robust capacity configuration method for flexible devices of data center microgrid considering adjustable capability of batch processing loads with characteristic classification ［J］. Electric Power Automation Equipment ， 2024 ， 44 （ 7 ）： 180 - 188 .

Yang L F ， Chen X Q ， Fang X L ， et al . Optimal coordinated management of integrated electricity-heat-computation systems in geographically distributed data centers ［J］. Energy ， 2025 ， 332 ： 137232 .

Hao X B ， Liu P C ， Deng Y H . Joint optimization of operational cost and carbon emission in multiple data center micro-grids ［J］. Frontiers in Energy Research ， 2024 ， 12 ： 1344837 .

Li X P ， Yu W ， Ruiz R ， et al . Energy-aware cloud workflow applications scheduling with geo-distributed data ［J］. IEEE Transactions on Services Computing ， 2022 ， 15 （ 2 ）： 891 - 903 .

Ammari A C ， Labidi W ， Al-Hmouz R . Adaptive multi-objective firefly optimization for energy-efficient and QoS-aware scheduling in distributed green data centers ［J］. Energies ， 2025 ， 18 （ 11 ）： 2940 .

Tsiligkaridis A ， Andrianesis P ， Coskun A K ， et al . Distributed economic dispatch in power networks incorporating data center flexibility ［J］. IEEE Transactions on Sustainable Computing ， 2025 ， 10 （ 4 ）： 768 - 783 .

Wang P ， Cao Y J ， Ding Z H ， et al . Stochastic programming for cost optimization in geographically distributed Internet data centers ［J］. CSEE Journal of Power and Energy Systems ， 2022 ， 8 （ 4 ）： 1215 - 1232 .

文淅宇，朱继忠，李盛林，等 . 基于时空协同的多数据中心虚拟电厂低碳经济调度策略［J］. 电力系统自动化， 2024 ， 48 （ 18 ）： 56 - 65 .

Wen Xiyu ， Zhu Jizhong ， Li Shenglin ， et al . Low-carbon economic dispatch for multiple data center virtual power plant based on spatio-temporal collaboration ［J］. Automation of Electric Power Systems ， 2024 ， 48 （ 18 ）： 56 - 65 .

张虹，郑广宇，娄娟，等 . 计及热电负荷不匹配的数据中心余热补偿系统调控策略［J］. 电力系统自动化， 2025 ， 49 （ 13 ）： 156 - 165 .

Zhang Hong ， Zheng Guangyu ， Lou Juan ， et al . Regulation strategy of waste heat compensation system for data center considering thermo-electric load mismatch ［J］. Automation of Electric Power Systems ， 2025 ， 49 （ 13 ）： 156 - 165 .

朱一昕，王靖芸，毕恺韬，等 . 基于随机模型预测控制的数据中心微电网能量优化调度研究［J］. 智慧电力， 2022 ， 50 （ 8 ）： 102 - 108 .

Zhu Yixin ， Wang Jingyun ， Bi Kaitao ， et al . Energy optimization dispatch of data center microgrid based on stochastic model predictive control ［J］. Smart Power ， 2022 ， 50 （ 8 ）： 102 - 108 .

Zhu Y X ， Wang J Y ， Bi K T ， et al . Energy optimal dispatch of the data center microgrid based on stochastic model predictive control ［J］. Frontiers in Energy Research ， 2022 ， 10 ： 863292 .

Xiang K ， Tian Z Y ， Ma L ， et al . Optimization of a free cooling system integrated with cold thermal energy storage in data center based on model predictive control ［J］. Energy ， 2025 ， 336 ： 138389 .

Zhao J ， Xu D Y ， Yuan X L ， et al . Cooling supply allocation model predictive control strategy of data center computer room air conditioning systems considering multi-zone thermal coupling effects ［J］. Applied Thermal Engineering ， 2025 ， 277 ： 127103 .

Nassef A M ， Ali Abdelkareem M ， Maghrabie H M ， et al . Review of metaheuristic optimization algorithms for power systems problems ［J］. Sustainability ， 2023 ， 15 （ 12 ）： 9434 .

Hu Y C ， Huang T ， Yu Y ， et al . An energy-aware service placement strategy using hybrid meta-heuristic algorithm in iot environments ［J］. Cluster Computing ， 2023 ， 26 （ 5 ）： 2913 - 2919 .

Dayarathna M ， Wen Y G ， Fan R . Data center energy consumption modeling： a survey ［J］. IEEE Communications Surveys & Tutorials ， 2016 ， 18 （ 1 ）： 732 - 794 .

曾博，孟自帅，董嘉路，等 . 考虑电-水耦合灵活性的数据中心与城市配电-水网协同规划研究［J］. 电工技术学报， 2025 ， 40 （ 23 ）： 7554 - 7569 .

Zeng Bo ， Meng Zishuai ， Dong Jialu ， et al . Research on collaborative planning of data center and urban power distribution-water network considering electricity-water coupling flexibility ［J］. Transactions of China Electrotechnical Society ， 2025 ， 40 （ 23 ）： 7554 - 7569 .

Mao J Z ， Peng X P ， Cao T ， et al . A frequency-aware management strategy for virtual machines in DVFS-enabled clouds ［J］. Sustainable Computing： Informatics and Systems ， 2022 ， 33 ： 100643 .

Yang W B ， Zhao M Q ， Li J B ， et al . Energy-efficient DAG scheduling with DVFS for cloud data centers ［J］. The Journal of Supercomputing ， 2024 ， 80 （ 10 ）： 14799 - 14823 .

Lin J P ， Lin W W ， Huang H K ， et al . Thermal modeling and thermal-aware energy saving methods for cloud data centers： a review ［J］. IEEE Transactions on Sustainable Computing ， 2024 ， 9 （ 3 ）： 571 - 590 .

Wang L G ， Wang Y T ， Bai X L ， et al . An efficient assessment method for the thermal environment of a row-based cooling data center ［J］. Applied Thermal Engineering ， 2025 ， 269 ： 126020 .

Wang L G ， Wang Y T ， Bai X L ， et al . Optimization of thermal environment and airflow distribution in data center with row-based cooling using the Taguchi/TOPSIS method ［J］. Journal of Building Engineering ， 2024 ， 98 ： 111415 .

舒展，孙旻，吴越，等 . 基于行为克隆TD3强化学习的低碳园区柔性资源优化策略［J］. 电力系统保护与控制， 2025 ， 53 （ 3 ）： 95 - 107 .

Shu Zhan ， Sun Min ， Wu Yue ， et al . Optimization strategy of flexible resources in low-carbon park based on behavior cloning TD3 reinforcement learning ［J］. Power System Protection and Control ， 2025 ， 53 （ 3 ）： 95 - 107 .

Liu W Y ， Yan Y J ， Sun Y M ， et al . Online job scheduling scheme for low-carbon data center operation： an information and energy nexus perspective ［J］. Applied Energy ， 2023 ， 338 ： 120918 .

Bin Mahbod M H ， Chng C B ， Lee P S ， et al . Energy saving evaluation of an energy efficient data center using a model-free reinforcement learning approach ［J］. Applied Energy ， 2022 ， 322 ： 119392 .

Zhou G Y ， Tian W H ， Buyya R ， et al . Deep reinforcement learning-based methods for resource scheduling in cloud computing： a review and future directions ［J］. Artificial Intelligence Review ， 2024 ， 57 （ 5 ）： 124 .

Miao C Y ， Cui Y D ， Li H Y ， et al . Efficient multi-agent reinforcement learning HVAC power consumption optimization ［J］. Energy Reports ， 2024 ， 12 ： 5420 - 5431 .

Yu L ， Sun Y ， Xu Z B ， et al . Multi-agent deep reinforcement learning for HVAC control in commercial buildings ［J］. IEEE Transactions on Smart Grid ， 2021 ， 12 （ 1 ）： 407 - 419 .

Zhong Y ， Kuba J G ， Feng X ， et al . Heterogeneous-agent reinforcement learning ［J］. Journal of Machine Learning Research ， 2024 ， 25 （ 32 ）： 1 - 67 .

U.S. Department of Energy . EnergyPlus™ Version 22.1.0 documentation： engineering reference ［R］. 2022 .

Jeong J ， Ku T Y ， Park W K . Exploring the preference for discrete over continuous reinforcement learning in energy storage arbitrage ［J］. Energies ， 2024 ， 17 （ 23 ）： 5876 .

Views

下载量

CSCD

Alert me when the article has been cited

提交

Tools

Publicity Resources

Multi-timescale Collaborative Regulation of Heterogeneous Reactive Power in Offshore Wind Power Collection Area

Coordinated Optimization Method for Computing Power and Electric Power in Data Centers Considering Sequential Flexibility of Tasks

Voltage Regulation Strategy for Active Distribution Network Based on Multi-agent Deep Reinforcement Learning

Suppression Strategy of High-frequency Oscillation for DFIG Grid-connected System Based on Stator Voltage Feedforward Compensation

Sequential Clearing Based Ancillary Service Market Mechanism for Inertia and Primary Frequency Regulation

Related Author

ZHONG Kanghua

YI Yingqi

ZHANG Yongjun

FAN Wei

YI Yang

XIAO Hongyan

PANG Aokang

SHAO Zhenguo

Related Institution

School of Electric Power, South China University of Technology

Electric Power Dispatching Control Center of Guangdong Power Grid Co., Ltd.

College of Electrical Engineering and Automation, Fuzhou University

Key Laboratory of Energy Digitalization (Fuzhou University)

Institute of Advanced Technology for Carbon Neutrality, Nanjing University of Posts and Telecommunications

AI问答

⁰