大量分布式新能源的接入，导致配电网面临电压越限、网损增加等严峻挑战。针对无功电压控制问题，深度强化学习能够有效解决传统优化方法在模型依赖和求解速度方面的不足。然而现有深度强化学习方法在面对大规模配网复杂场景时，特征提取能力有限，控制效果欠佳，因此该文提出一种考虑自注意力和时序记忆的多智能体深度强化学习控制策略。首先，将无功电压控制问题建模为分布式部分可观测马尔可夫决策过程；其次，基于自注意力编码器和时序记忆神经元，设计了特征提取网络、辅助训练网络、改进策略网络和改进价值网络4种神经网络结构；然后，引入自监督学习，介绍所提算法的中心式训练和分布式执行过程；最后，在改进的IEEE 141节点配网系统上进行了算例测试。实验结果表明，所提控制策略能够有效提取状态特征、记忆时序信息、辨识关键元件，表现出更加优异的稳压减损控制效果，同时具有较好的鲁棒性、可解释性和训练稳定性。