基于改进BERT的多头自注意力非侵入式负荷分解方法

孙晓晴; 李元诚; 王庆乐

doi:10.16543/j.2095-641x.electric.power.ict.2026.01.05

English Version Journal Login

您当前的位置：

首页 >

文章列表页 >

基于改进BERT的多头自注意力非侵入式负荷分解方法

更新时间：2026-09-26

- 基于改进BERT的多头自注意力非侵入式负荷分解方法
- Vol. 24, Issue 1, Pages: 45-54(2026)
- 作者机构：
  
  华北电力大学控制与计算机工程学院
- 作者简介：
- 基金信息：
- DOI：10.16543/j.2095-641x.electric.power.ict.2026.01.05
  CLC： TM714
- Published：2026
- 稿件说明：
移动端阅览
孙晓晴, 李元诚, 王庆乐. 基于改进BERT的多头自注意力非侵入式负荷分解方法[J]. 2026, 24(1): 45-54.
DOI：

孙晓晴, 李元诚, 王庆乐. 基于改进BERT的多头自注意力非侵入式负荷分解方法[J]. 2026, 24(1): 45-54. DOI： 10.16543/j.2095-641x.electric.power.ict.2026.01.05.

摘要

针对非侵入式负荷分解方法负荷特征捕捉不足、负荷分解精度不够等问题，文章提出一种基于改进BERT(bidirectional encoder representations from transformers)模型的多头自注意力非侵入式负荷分解方法(frequency and temporal attention-BERT

FAT-BERT)。首先通过傅里叶变换将时域数据转换为频域数据，采用多尺度卷积全面捕捉负荷信号的时域和频域特征，从而增强模型对多样化负荷信号的表达能力；其次，在多头自注意力机制中引入频率注意力机制，从而增强模型对时序数据中频率成分的感知能力，进一步改善复杂负荷模式的表示，改进BERT模型中增加局部自注意力从而减少不必要的全局计算，提升模型的运行速度；接着将残差连接和正则化技术结合使模型在训练过程中更加稳定，并且能够更好地避免过拟合，最后在REDD和UK-DALE数据集上对提出的方法进行实验，实验结果验证了所提方法的有效性。

Abstract

关键词

Keywords

references

田波,张越,蒙飞,单连飞,高海洋,田坤,乔咏田.电网故障处置信息自适应理解框架及关键技术[J].中国电力,2024(07).

徐瑞琪,刘丹丹.基于多尺度特征融合和多头自注意力机制的非侵入式负荷监测[J].科学技术与工程,2024(06).

马佳成,王晓霞,杨迪.基于Attention机制的TCN-LSTM非侵入式负荷分解[J].电力信息与通信技术,2023(08).

钱玉军,包永强,姜丹琪,张旭旭,雷家浩.基于通道注意力机制和BIGRU的非侵入式负荷分解方法[J].电力信息与通信技术,2023(07).

陈鑫沛,余涛,杨家俊,余盛灿.基于设备行为关联图的非侵入式多标签负荷分解改进方法[J].中国电机工程学报,2024(01).

王轲,钟海旺,余南鹏,夏清.基于seq2seq和Attention机制的居民用户非侵入式负荷分解[J].中国电机工程学报,2019(01).

刘世成,刘沅昆,武昕,郑英刚,韩笑.基于大数据的非侵入式负荷分解技术研究[J].电力信息与通信技术,2016(12).

Sykiotis Stavros,Kaselimi Maria,Doulamis Anastasios,Doulamis Nikolaos.ELECTRIcity: An Efficient Transformer for Non-Intrusive Load Monitoring[J].Sensors,2022.

Changho Shin,Sunghwan Joo,Jaeryun Yim,Hyoseop Lee,Taesup Moon,Wonjong Rhee.Subtask Gated Networks for Non-Intrusive Load Monitoring[J].Proceedings of the AAAI Conference on Artificial Intelligence,2019.

Kunjin Chen,Qin Wang,Ziyu He,Kunlong Chen,Jun Hu,Jinliang He.Convolutional sequence to sequence non-intrusive load monitoring[J].The Journal of Engineering,2018.

Dengchao HE,Hongjun ZHANG,Wenning HAO,Rui ZHANG,Huan HAO.An Attention-Based Hybrid Neural Network for Document Modeling[J].IEICE Transactions on Information and Systems,2017.

Simin Ahmadi-Karvigh,Burcin Becerik-Gerber,Lucio Soibelman.A framework for allocating personalized appliance-level disaggregated electricity consumption to daily activities[J].Energy & Buildings,2016.

Wichakool, Warit,Remscrim, Zachary,Orji, Uzoma A.,Leeb, Steven B..Smart Metering of Variable Power Loads[J].IEEE transactions on smart grid,2015.

Jack Kelly,William J. Knottenbelt.Neural NILM: Deep Neural Networks Applied to Energy Disaggregation.[J].CoRR,2015.

Yu-Hsiu Lin,Men-Shen Tsai.Non-Intrusive Load Monitoring by Novel Neuro-Fuzzy Classification Considering Uncertainties.[J].IEEE Trans. Smart Grid,2014.

Hart G.W..Nonintrusive appliance load monitoring[J].Proceedings of the IEEE,1992.

Views

565

下载量

CSCD

Alert me when the article has been cited

提交

Tools

Publicity Resources

基于多尺度特征自适应提取的多任务非侵入式负荷监测方法

面向复杂用电场景负荷监测的高鲁棒性事件检测方法

基于大数据的非侵入式负荷分解技术研究

基于粒子群聚类算法的居民负荷辨识方法

非侵入式负荷监测技术在客户服务中的应用研究

Related Author

胡小磊

李钊涛

梁敏航

余涛

罗庆全

邝培伟

王克英

梁敏航

Related Institution

华南理工大学电力学院

中国电力科学研究院2. 华北电力大学3. 中能瑞通(北京)科技有限公司

国网北京市电力公司物资供应分公司2. 国网物资有限公司3. 华北电力大学电气与电子工程学院

国网湖北省电力有限公司信息通信公司

南京工程学院电力工程学院

AI问答

⁰