王赟　葛泉波　姚剛　王夢夢　姜淏予

摘要 針對輸入負荷特征對分解結果的重要程度不同，以及長短時記憶網絡（LSTM）在捕捉長時間用電信息的時間依賴性方面受限導致分解誤差高等問題，提出一種基于多注意力機制集成的非侵入式負荷分解算法．首先，利用概率自注意力機制對一維空洞卷積提取到的負荷特征進行優(yōu)化處理，實現重要負荷特征的遴選;其次，采用時間模式注意力機制對LSTM的隱狀態(tài)賦予權重，從而增強網絡對長時間用電信息之間的時間依賴性的學習能力;最后，利用公開數據集UKDALE和REDD對所提分解模型的有效性和創(chuàng)新性進行驗證．實驗結果表明，與其他多種現有分解算法相比，基于多注意力機制集成的分解算法不僅具備更好的負荷特征遴選能力，而且能更加精確地建立特征之間的時間依賴關系，有效降低了分解誤差．關鍵詞 負荷分解;注意力機制;卷積神經網絡;長短時記憶網絡

中圖分類號TP18

文獻標志碼A

0 引言

非侵入式負荷分解又稱為非侵入式負荷監(jiān)測（Non-Intrusive appliance Load Monitoring，NILM），它具有經濟性、實用性與安全性，更符合當下智能電網的發(fā)展，具有前瞻性［1-2］．NILM可向電力用戶反饋電器精細化用電信息，使用戶更清晰、更準確地了解用電設備的使用情況，從而引導用戶改善自身的用電行為，實現用能的高效化和經濟化［3］;同時，電力公司可對分解結果加以分析與利用，加強電力需求側的能源管理和負荷優(yōu)化;從用戶側入手，還可以挖掘更大的節(jié)能潛力，實現電網和電力用戶之間的雙向互動［4-5］．非侵入式負荷分解技術已然成為需求側能源管理的有效技術手段［6-8］，因此研究非侵入式負荷分解具有重要的實際意義．

目前，非侵入式負荷分解算法可以分為三大類：基于數學優(yōu)化的、基于模式識別的和基于深度學習的［9-10］．Hart等［11-12］首先提出非侵入式負荷監(jiān)測的基本概念和處理框架，將非侵入式負荷分解問題轉化為數學優(yōu)化問題．其主要思想是找到目標用電設備及其相應運行狀態(tài)的一個最佳組合，使該組合的用電信息與總用電信息之間的差距最?。?2-14］．但是這種分解算法只適用于有限運行狀態(tài)的用電設備，對于具有連續(xù)運行狀態(tài)或負荷特征相似的用電設備，卻無法正確分解出單個電器的用電信息．為解決這一問題，研究人員開始探索將機器學習應用到分解問題中，并提出一類新的分解算法，即基于模式識別的分解算法．其主要思想是利用機器學習算法學習總用電信息的負荷特征與單個用電信息之間的關聯模式，實現負荷分解．這類算法解決了數學優(yōu)化方法所存在的問題，但是基于數學優(yōu)化和基于模式識別的分解算法均需要手動提取負荷特征，存在較大的主觀性［9］．

深度學習在處理大數據問題［15-16］時具有強大的學習能力、非線性映射能力以及適應能力，因此研究人員開始將深度學習引入到非侵入式負荷分解領域，實現了負荷特征的自動提取，增加了分解算法的實用性．2015年，Kelly等［17］提出使用深度神經網絡進行負荷特征的自動提取并實現負荷分解，建立3個基于深度神經網絡架構的負荷分解算法，并在公開數據集上選用7個評估指標對模型進行評估，結果表明深度神經網絡的分解結果在大多數情況下要優(yōu)于組合優(yōu)化和FHMM算法．文獻［18］提出一種帶有滑動窗口的網絡架構，實現了總用電信息的實時分解．文獻［19］提出一種基于全卷積去噪自編碼器結構的負荷分解模型，與文獻［17］中所提出的自動編碼器相比，該方法具有更好的分解性能和更穩(wěn)定的分解能力．雖然深度學習能自動提取負荷特征，但是實際情況下負荷特征的重要程度存在一定的差異性．為解決這一問題，文獻［20］通過采用自注意力機制增強了模型對重要負荷特征的自動提取能力;文獻［21］將傳統(tǒng)注意力機制與GRNN相結合，實現了關鍵負荷特征的提取;文獻［22］將Bahdabau注意力與自注意力同時引入分解模型中，有效降低了分解誤差．然而自注意力機制在實際場景下的計算復雜度與數據長度的二次方成正比［23］，傳統(tǒng)注意力機制也只能評估時間步的重要性，表明這兩種注意力機制并不適用于評估負荷特征重要性．同時，用電信息時間關聯性強、時間跨度大的特點，導致負荷分解算法在學習用電信息之間的時間依賴性時具有一定的局限性．

本文使用概率自注意力機制（ProbSparse Self-Attention Mechanism）在降低計算復雜度的同時保證算法具備選擇重要負荷特征的能力，采用時間模式注意力機制（Temporal Pattern Attention，TPA）增強算法對時間依賴性的學習能力，并將兩種注意力機制進行集成融合，提出了一種基于多注意力機制集成的非侵入式負荷分解算法．該算法的主要改進性工作包括：

1）利用空洞卷積來改善特征提取效果.

針對模型無法提取遠距離負荷特征的問題，采用空洞卷積代替普通卷積來改善模型的初步特征提取部分，在不過多增加模型超參數的前提下提取到時間跨度更長、更豐富的負荷特征［24］．

2）應用概率自注意力機制遴選重要特征.

現有的大多數負荷分解算法并未進一步對初步提取到的負荷特征的重要性進行評估，導致冗余特征過多．因此，在空洞卷積后引入概率自注意力機制［23］來衡量負荷特征對分解結果的重要性，實現對重要特征的篩選［25］．

3）引入時間模式注意力機制增強算法對時間特征的處理能力．

針對部分負荷分解算法對負荷特征之間的時間依賴性建模能力較弱的問題，采用時間模式注意力機制［26］提升整個負荷分解算法處理時間特征的能力，增強對時間依賴性的建模水平．

4）采用殘差結構改善局部信息丟失問題.

考慮到空洞卷積在提取負荷特征時，因卷積核的不連續(xù)性常造成局部信息丟失問題，通過引入殘差結構并將淺層特征與深層特征相結合，以此來保證了負荷特征的完整性［27］，同時采用批歸一化加速模型訓練過程［28］．

1 基于多注意力機制集成的非侵入式負荷分解算法

1.1 概率自注意力機制

基于深度學習的負荷模型雖然能實現負荷特征的自動提取，但負荷特征對分解結果的重要程度存在一定的差異性［28］，文獻［20］使用標準自注意力機制來解決這一問題．然而標準自注意力機制的計算復雜度使其在處理非常長的時間序列問題時（如電器用電信息）受到限制［29］．

為解決該問題，本文采用概率自注意力機制代替標準自注意力機制降低計算復雜度．通過概率自注意力機制實現負荷特征的自主選擇優(yōu)化輸入特征，提高模型處理負荷特征的能力．概率自注意力機制的工作原理[29-30]如圖1所示．

1.2 時間模式注意力機制

1.3 兩種機制集成的可行性分析

負荷特征作為負荷分解的輸入，是決定算法性能好壞的重要因素．不同時間點的負荷特征對分解結果的重要程度也具有差異性．基于深度學習的非侵入式負荷分解算法雖然可以實現負荷特征的自動提取，但是特征冗余度較高，訓練出的分解模型性能也會受到影響［29］．因此，本文引入概率自注意力機制對負荷特征重要性進行評估．依據每個負荷特征對分解結果的重要程度，對重要負荷特征賦予較高的權值，實現負荷特征的篩選，加強一維空洞卷積特征提取能力的同時優(yōu)化了LSTM的輸入．

用電信息屬于一種時間跨度長的序列數據，因此對負荷特征之間的時間依賴關系進行有效建模能夠提升算法的分解性能，而深度學習中的LSTM網絡雖然能有效學習負荷特征之間的依賴關系，但隨著輸入數據的長度增加，其對歷史信息的記憶能力和對時間依賴性建模的能力會受到限制［30-32］．因此引入時間模式注意力機制來學習相關時間點特征之間的關聯性，從而加強分解模型捕捉用電信息時間依賴性的能力，改善LSTM對長時序數據中歷史信息的記憶時長．

兩種注意力機制在分解模型的構建中具有先后關系，具體集成架構［29］如圖3所示．首先，將一維空洞卷積層提取到的初步負荷特征輸入到概率注意力機制中，對負荷特征賦予相應權值，實現負荷特征的二次提取，降低冗余負荷特征對分解模型的影響．其次，將篩選過的負荷特征直接輸入LSTM中進行時序性的學習，同時引入時間模式注意力機制加強模型對時間依賴性的建模能力．將兩種注意力機制分別與卷積神經網絡（CNN）和LSTM集成后便可得到一種新的分解算法．

1.4 基于多注意機制集成的非侵入式負荷分解算法

為有效解決負荷特征對分解結果的重要程度存在差異性，以及模型對長時間序列的時間依賴性學習能力不足導致分解誤差高的問題，本文提出一種基于多注意力機制集成的非侵入式負荷分解算法，具體算法架構如圖4所示．

1.5 簡要小結

2 實驗與分析

2.1 數據集與目標設備的選取

2.2 數據預處理

2.3 評價指標

2.4 實驗結果分析

3 結論

本文提出一種基于多注意力機制集成的非侵入式負荷分解模型，并采用公開數據集UKDALE和REDD驗證算法的有效性．首先采用空洞卷積層對低頻有功功率數據進行初步特征提取，擴大網絡對負荷特征的提取范圍，豐富負荷特征;其次，使用概率注意力機制實現重要負荷特征的權重賦值;最后，在LSTM層后引入時間模式注意力機制，進一步增強模型對負荷特征中時間依賴性的學習能力;同時在模型中引入殘差連接，將淺層特征和深層特征相結合，豐富負荷特征，并引入批歸一化加速模型訓練．相較于其他模型，本文所提模型在所選電器的評價指標上都表現良好，這表明多注意力機制的引入使得分解模型具有更好的分解性能．本文所提模型的分解性能雖然具備一定優(yōu)勢，但目前工作只選取了2種數據集中常見的4種電器進行分解實現，后續(xù)將探究本文模型在其他數據集、其他用電設備上的分解性能．同時在未來的工作中，將以減少訓練時間、提高模型泛化能力為目標，對模型進一步改進與優(yōu)化．

參考文獻 References

［1］余貽鑫，劉博，欒文鵬.非侵入式居民電力負荷監(jiān)測與分解技術［J］.南方電網技術，2013，7（4）：1-5YU Yixin，LIU Bo，LUAN Wenpeng.Nonintrusive residential load monitoring and decomposition technology［J］.Southern Power System Technology，2013，7（4）：1-5

［2］ Nalmpantis C，Vrakas D.Machine learning approaches for non-intrusive load monitoring：from qualitative to quantitative comparation［J］.Artificial Intelligence Review，2019，52（1）：217-243

［3］ 鄧曉平，張桂青，魏慶來，等.非侵入式負荷監(jiān)測綜述［J］.自動化學報，2022，48（3）：644-663

DENG Xiaoping，ZHANG Guiqing，WEI Qinglai，et al.A survey on the non-intrusive load monitoring［J］.Acta Automatica Sinica，2022，48（3）：644-663

［4］ Gopinath R，Kumar M，Joshua C，et al.Energy management using non-intrusive load monitoring techniques state-of-the-art and future research directions［J］.Sustainable Cities and Society，2018，52（2）：1-7

［5］ 張曉東.基于深度學習算法的非侵入式負荷分解研究［D］.南京：南京信息工程大學，2021ZHANG Xiaodong.Research on non-intrusive load decomposition based on deep learning algorithm［D］.Nanjing：Nanjing University of Information Science ＆ Technology，2021

［6］ 代業(yè)明，高紅偉，高巖，等.具有電力需求預測更新的智能電網實時定價機制［J］.電力系統(tǒng)自動化，2018，42（12）：58-63DAI Yeming，GAO Hongwei，GAO Yan，et al.Advances and perspectives on applications of deep learning in visual object detection［J］.Acta Automatica Sinica，2018，42（12）：58-63

［7］ Donato P G，Hernndez ，Funes M A，et al.Review of NILM applications in smart grids：power quality assessment and assisted independent living［C］／／2020 Argentine Conference on Automatic Control （AADECA）.October 28-30，2020，Buenos Aires，Argentina.IEEE，2020：1-6

［8］ Armel K C，Gupta A，Shrimali G，et al.Is disaggregation the holy grail of energy efficiency？ The case of electricity［J］.Energy Policy，2013，52：213-234

［9］ 程祥，李林芝，吳浩，等.非侵入式負荷監(jiān)測與分解研究綜述［J］.電網技術，2016，40（10）：3108-3117CHENG Xiang，LI Linzhi，WU Hao，et al.A survey of the research on non-intrusive load monitoring and disaggregation［J］.Power System Technology，2016，40（10）：3108-3117

［10］ Liang J，Ng S K K，Kendall G，et al.Load signature study.part I：basic concept，structure，and methodology［J］.IEEE Transactions on Power Delivery，2010，25（2）：551-560

［11］ Hart G W.Nonintrusive appliance load monitoring［J］.Proceedings of the IEEE，1992，80（12）：1870-1891

［12］ Hart G W，Kern E C，Schweppe F C.Non-intrusive appliance monitor apparatus：US4858141［P］.1989-08-15

［13］ 孫毅，崔燦，陸俊，等.基于遺傳優(yōu)化的非侵入式家居負荷分解方法［J］.電網技術，2016，40（12）：3912-3917SUN Yi，CUI Can，LU Jun，et al.A non-intrusive household load monitoring method based on genetic optimization［J］.Power System Technology，2016，40（12）：3912-3917

［14］ Ding G F，Wu C H，Wang Y，et al.A novel non-intrusive load monitoring method based on quantum particle swarm optimization algorithm［C］／／2019 11th International Conference on Measuring Technology and Mechatronics Automation （ICMTMA）.April 28-29，2019，Qiqihar，China.IEEE，2019：230-234

［15］ 吳香華，華亞婕，官元紅，等.基于CNN-Attention-BP的降水發(fā)生預測研究［J］.南京信息工程大學學報（自然科學版），2022，14（2）：148-155WU Xianghua，HUA Yajie，GUAN Yuanhong，et al.Application of CNN-Attention-BP to precipitation forecast［J］.Journal of Nanjing University of Information Science ＆ Technology （Natural Science Edition），2022，14（2）：148-155

［16］ 郭佳麗，邢雙云，欒昊，等.基于改進的LSTM算法的時間序列流量預測［J］.南京信息工程大學學報（自然科學版），2021，13（5）：571-575GUO Jiali，XING Shuangyun，LUAN Hao，et al.Prediction of time series traffic based on improved LSTM algorithm［J］.Journal of Nanjing University of Information Science ＆ Technology （Natural Science Edition），2021，13（5）：571-575

［17］ Kelly J，Knottenbelt W.Neural NILM：deep neural networks applied to energy disaggregation［C］／／Proceedings of the 2nd ACM International Conference on Embedded Systems for Energy-Efficient Built Environments.November 4-5，Seoul，South Korea.New York，NY，USA：ACM，2015.DOI：10.1145／2821650.2821672

［18］ Krystalakos O，Nalmpantis C，Vrakas D.Sliding window approach for online energy disaggregation using artificial neural networks［C］／／Proceedings of the 10th Hellenic Conference on Artificial Intelligence，2018：1-6

［19］ García-Pérez D，Pérez-López D，Díaz-Blanco I，et al.Fully-convolutional denoising auto-encoders for NILM in large non-residential buildings［J］.IEEE Transactions on Smart Grid，2021，12（3）：2722-2731

［20］ 蒙亮，于超，張希翔，等.基于一維卷積神經網絡和自注意力機制的非侵入式負荷分解［J］.電力大數據，2020，23（10）：1-8MENG Liang，YU Chao，ZHANG Xixiang，et al.Non-intrusive load disaggregation based on 1D convolutional neural network and self-attention mechanism［J］.Power Systems and Big Data，2020，23（10）：1-8

［21］ 余登武，劉敏，汪元芹.基于GRNN與注意力機制模型的非侵入式家用負荷分解［J］.智慧電力，2021，49（3）：74-79YU Dengwu，LIU Min，WANG Yuanqin.Non-invasive household load decomposition based on GRNN and attention mechanism model［J］.Smart Power，2021，49（3）：74-79

［22］ Yang M Z，Li X C，Liu Y.Sequence to point learning based on an attention neural network for nonintrusive load decomposition［J］.Electronics，2021，10（14）：1657

［23］ Zhou H Y，Zhang S H，Peng J Q，et al.Informer：beyond efficient transformer for long sequence time-series forecasting［J］.arXiv e-print，2020，arXiv：2012.07436

［24］ Zhu R J，Liao W L，Wang Y S.Short-term prediction for wind power based on temporal convolutional network［J］.Energy Reports，2020，6：424-429

［25］ 李梅，寧德軍，郭佳程.基于注意力機制的CNN-LSTM模型及其應用［J］.計算機工程與應用，2019，55（13）：20-27LI Mei，NING Dejun，GUO Jiacheng.Attention mechanism-based CNN-LSTM model and its application［J］.Computer Engineering and Applications，2019，55（13）：20-27

［26］ Shih S Y，Sun F K，Lee H Y.Temporal pattern attention for multivariate time series forecasting［J］.Machine Learning，2019，108（8／9）：1421-1441

［27］ 趙敬嬌，趙志宏，楊紹普.基于殘差連接和1D-CNN的滾動軸承故障診斷研究［J］.振動與沖擊，2021，40（10）：1-6ZHAO Jingjiao，ZHAO Zhihong，YANG Shaopu.Rolling bearing fault diagnosis based on residual connection and 1D-CNN［J］.Journal of Vibration and Shock，2021，40（10）：1-6

［28］ 劉建偉，趙會丹，羅雄麟，等.深度學習批歸一化及其相關算法研究進展［J］.自動化學報，2020，46（6）：1090-1120LIU Jianwei，ZHAO Huidan，LUO Xionglin，et al.Research progress on batch normalization of deep learning and its related algorithms［J］.Acta Automatica Sinica，2020，46（6）：1090-1120

［29］ 李曉，盧先領.基于雙重注意力機制和GRU網絡的短期負荷預測模型［J］.計算機工程，2022，48（2）：291-296，305LI Xiao，LU Xianling.Method for forecasting short-term power load based on dual-stage attention mechanism and gated recurrent unit network［J］.Computer Engineering，2022，48（2）：291-296，305

［30］ 劉建偉，劉俊文，羅雄麟.深度學習中注意力機制研究進展［J］.工程科學學報，2021，43（11）：1499-1511LIU Jianwei，LIU Junwen，LUO Xionglin.Research progress in attention mechanism in deep learning［J］.Chinese Journal of Engineering，2021，43（11）：1499-1511

［31］ Niu Z Y，Zhong G Q，Yu H.A review on the attention mechanism of deep learning［J］.Neurocomputing，2021，452：48-62

［32］ Vaswani A，Shazeer N，Parmar N，et al.Attention is all you need［J］.arXiv e-print，2017，arXiv：1706.03762

［33］ Yu F，Koltun V，Funkhouser T.Dilated residual networks［C］／／2017 IEEE Conference on Computer Vision and Pattern Recognition.July 21-26，2017，Honolulu，HI，USA.IEEE，2017：636-644

［34］ He K M，Zhang X Y，Ren S Q，et al.Deep residual learning for image recognition［C］／／2016 IEEE Conference on Computer Vision and Pattern Recognition.June 27-30，2016，Las Vegas，NV，USA.IEEE，2016：770-778

［35］ Ioffe S，Szegedy C.Batch normalization：accelerating deep network training by reducing internal covariate shift［C］//Proceedings of the 32nd International Conference on Machine Learning，2015，37：448-456

［36］ Zhang C Y，Zhong M J，Wang Z Z，et al.Sequence-to-point learning with neural networks for non-intrusive load monitoring［C］／／Proceedings of the 32nd AAAI Conference on Artificial Intelligence，2018：2604-2611

［37］ Tongta A，Chooruang K.Long short-term memory （LSTM） neural networks applied to energy disaggregation［C］／／2020 8th International Electrical Engineering Congress （iEECON）.March 4-6，2020，Chiang Mai，Thailand.IEEE，2020：1-4

［38］ Wang K，Zhong H W，Yu N O.Nonintrusive load monitoring based on sequence-to-sequence model with attention mechanism［J］.Proceeding of the CSEE，2019，39（1）：75-83

［39］ Babaei T，Abdi H，Lim C P，et al.A study and a directory of energy consumption data sets of buildings［J］.Energy and Buildings，2015，94：91-99

［40］ Kelly J，Knottenbelt W.The UK-DALE dataset，domestic appliance-level electricity demand and whole-house demand from five UK homes［J］.Scientific Data，2015，2：150007

［41］ Kolter J Z，Johnson M J.REDD：a public data set for energy disaggregation research［C］／／Workshop on Data Mining Applications in Sustainability （SIGKDD），2011，25：59-62

［42］ 劉仲民，侯坤福，高敬更，等.基于時間卷積神經網絡的非侵入式居民用電負荷分解方法［J］.電力建設，2021，42（3）：97-106LIU Zhongmin，HOU Kunfu，GAO Jinggeng，et al.Non-intrusive residential electricity load disaggregation based on temporal convolutional neural network［J］.Electric Power Construction，2021，42（3）：97-106

［43］ Kaselimi M，Doulamis N，Voulodimos A，et al.Context aware energy disaggregation using adaptive bidirectional LSTM models［J］.IEEE Transactions on Smart Grid，2020，11（4）：3054-3067

Non-intrusive load decomposition model based onmulti-attention mechanism integration

WANG Yun GE Quanbo YAO Gang WANG Mengmeng JIANG Haoyu

1Logistics Engineering College，Shanghai Maritime University，Shanghai 201306

2School of Automation，Nanjing University of Information Science ＆ Technology，Nanjing 210044

3College of Electronic and Information Engineering，Tongji University，Shanghai 201804

4College of Electronic and Information Engineering，Guangdong Ocean University，Zhanjiang 524088

AbstractIn view of the different importance of input load characteristics to the decomposition results and the high decomposition error caused by the limited time dependence of LSTM in capturing long-term power consumption information，a non-intrusive load decomposition model based on multi-attention mechanism integration is proposed.First，the probsparse self-attention mechanism is used to optimize the load characteristics extracted by one-dimensional dilated convolution.Then，the temporal pattern attention mechanism is used to give weight to the hidden state of LSTM，so as to enhance the learning ability of the network on the time dependence of long-term power consumption information.Finally，the validity of the proposed decomposition model is verified using the publicly available dataset UKDALE and REDD.Experimental results show that，compared with other decomposition algorithms，the proposed decomposition model based on multi-attention mechanism integration not only has the ability to select important load features，but also can correctly establish the time-dependent relationship between features and effectively reduce the decomposition error.

Key words load decomposition;attention mechanism;convolutional neural network （CNN）;long short-term memory （LSTM） network