摘 要：針對現(xiàn)行方法在直流配電線路短路故障測距中應用存在測距誤差較大和置信度較低的問題，本文提出基于深度強化學習的直流配電線路短路故障測距方法。采用過濾法對短路故障距離特征進行推導，利用深度強化學習算法對直流配電線路短路故障距離進行分析，實現(xiàn)基于深度強化學習的直流配電線路短路故障測距。經試驗證明，設計方法測距誤差不超過0.1m，置信度在0.9以上，在直流配電線路短路故障測距方面具有良好的應用前景。

關鍵詞：深度強化學習；直流配電線路；短路故障測距；過濾法；置信度

中圖分類號：TM 773" " 文獻標志碼：A

直流配電線路的短路故障問題一直是制約其進一步發(fā)展的關鍵因素之一。短路故障不僅會導致線路中斷，還可能對電力設備造成損害，甚至引發(fā)連鎖故障，對整個電力系統(tǒng)造成嚴重影響。因此，研究有效的直流配電線路短路故障測距方法具有重要的理論意義和實際應用價值。文獻[1]提出了基于主動探測原理的故障測距方法，主動探測故障電流信息，確定故障距離；文獻[2]提出了基于雙端同步響應的故障測距方法，根據故障后的線路雙端響應特性，確定故障位置和距離。但這些方法存在測距精度不穩(wěn)定、難以應對多重故障或隱蔽性故障的問題，為此提出基于深度強化學習的直流配電線路短路故障測距方法。

1 短路故障距離特征選擇推導

本文采用深度強化學習技術對故障進行測距，通過計算每個特征的可變指數，剔除那些指數較低的特征，僅保留那些滿足設定閾值的特征，以提高學習網絡模型的預測性能和可解釋性。假設2個配電線路短路故障距離特征集分別為X、Y，通過計算特征集X、Y的協(xié)方差和標準差，了解特征之間的離散程度以及線性關系。根據特征集的波動性，可得短路故障距離特征集X、Y的可變指數，如公式（1）所示。

R=cov（X，Y）/（εX*εY） （1）

式中：R為特征集X、Y的可變指數；cov（X，Y）為2個短路故障距離特征協(xié)方差；（εX*εY）為2個短路故障距離特征標準差。

一般來說，可變指數取值范圍為-1～1[3]。當Rgt;0時，表示2個特征成正相關；當Rlt;0時，表示2個特征成負相關；當R=0時，表示2個特征無相關關系[4]。本文根據實際情況設定一個閾值，當R值大于閾值時，僅保留一個特征，自動去除另一個特征，按照該方法對收集的故障距離特征集中所有特征進行推導。通過該特征數據，建立深度強化學習網絡模型，以完成后續(xù)的線路故障測距任務。

2 深度強化學習網絡模型建立

深度強化學習算法是一種將深度學習的感知能力與強化學習的決策能力相結合的人工智能方法，可以直接根據輸入數據特征進行控制。具體建立步驟如下。1）收集推導后的直流配電線路故障距離特征樣本數據，將其作為深度強化學習網絡模型的輸入。2）對短路故障線路的環(huán)境進行建模，定義智能體的狀態(tài)空間。在短路故障檢測中，狀態(tài)空間參數包括電流、電壓、溫度等物理量以及故障線路的運行狀態(tài)、歷史數據等。3）通過定義獎勵函數，準確反映智能體行為是否滿足短路故障特征學習的要求。根據深度強化學習網絡模型的實時反饋，得到實現(xiàn)環(huán)境狀態(tài)轉移，以確定識別故障線路特征的最佳環(huán)境狀態(tài)。4）設計環(huán)境接口，提供網絡模型學習過程中獲取的當前狀態(tài)、執(zhí)行情況、接收獎勵和觀察狀態(tài)轉移等功能，使智能體能夠與環(huán)境進行交互。5）通過多次特征數據的迭代，得出獎勵值最高的短路故障距離特征，并以此調整模型的超參數、學習率、批次大小、最大迭代次數、強化系數等，從而優(yōu)化學習網絡模型的性能。

通過上述步驟，完成深度強化學習網絡模型的建立任務。該模型的建立主要通過加強環(huán)境建模的質量和準確性，提高智能體的學習效果和性能，從而精準反映實際短路故障問題的動態(tài)和復雜性，為進一步實現(xiàn)直流配電線路短路故障測距提供技術支持。

3 基于深度強化學習的故障測距

在上述基礎上，利用深度強化學習算法對推導的短路故障距離特征集進行學習，首先由智能體、環(huán)境和記憶池組建深度強化學習網絡模型，將推導得到的故障距離特征數據樣本作為模型的輸入，智能體通過與環(huán)境持續(xù)交互，不斷學習和適應，以尋找最優(yōu)的決策策略[5]，具體如圖1所示。

將短路故障距離特征作為深度強化學習網絡模型決策參照，將當前直流配電線路運行數據輸入智能體中，參照特征對故障測距進行決策，在不斷決策中獲得報酬。根據公式（1）選擇推導出的短路故障距離特征，計算深度強化學習的獎勵，如公式（2）所示。

s=（xR-x）[（1-α）×δ+α×μ] （2）

式中：s為智能體強化學習中得到的獎勵；xR為環(huán)境中存在的故障距離特征；x為智能體輸入線路短路故障樣本；α為學習率；δ為估計獎勵；μ為現(xiàn)實獎勵[6]。

利用公式（2）對深度強化學習智能體進行訓練，將輸入故障樣本與環(huán)境中的故障距離特征進行比對，當滿足迭代要求后，輸出獎勵值最高的短路故障距離特征，該特征意味在故障測距中具有最高的重要性，可以提高測距的準確性和效率。因此，將該特征對應的故障距離作為當前直流配電線路短路故障距離，以此實現(xiàn)基于深度強化學習的直流配電線路短路故障測距。

4 試驗論證

4.1 試驗設計與參數

出于對本文所提基于深度強化學習的直流配電線路短路故障測距方法性能進行檢驗的目的，設計對比試驗，選擇2種傳統(tǒng)方法與本文方法進行對比，以某直流配電網為試驗環(huán)境，該配電系統(tǒng)線路長度為4500m，試驗收集直流配電線路短路故障數據2.62GB，將其作為深度強化學習網絡訓練樣本，采集該配電線路信號樣本1000個，將其作為試驗樣本。同時，使用萬用表、數字電表來測量直流配電線路故障附近的電流值和電壓值，其測量范圍為±1000kA和±50kV，測量精度為±1%。利用本文方法對該直流配電線路短路故障進行測距，試驗中深度強化學習網絡參數設定見表1。

該設定為試驗測試中的最優(yōu)參數設定。因此，根據本文設定的深度強化學習網絡的最優(yōu)參數完成試驗，利用本文設計方法來反映短路故障線路中電流和電壓的變化情況，并通過與文獻[1]方法和文獻[2]方法進行對比，測試直流配電線路短路故障測距結果以及響應時間，從而驗證本文設計方法在故障測距的精準度以及實時性。

4.2 試驗結果與討論

為驗證本文設計方法在識別故障電流和故障電壓特征的有效性，測試設計方法反應故障直流配電線路中電流和電壓的變化情況，具體結果如圖2所示。

由圖2可知，本文設計方法能夠準確反應直流配電短路故障線路中電流和電壓的變化特征，這是由于設計方法在試驗初期通過多次迭代，得到了獎勵值最高的短路故障距離特征，它能夠準確反應故障電流和電壓變化，證明了設計方法能夠實現(xiàn)對故障電流和故障電壓的精準描述，為進一步測量短路故障距離提供可靠保障。

試驗統(tǒng)計本文設計方法、文獻[1]方法和文獻[2]方法對直流配電線路短路故障測距預測結果和實際故障距離進行對比，從而證明故障測距效果，具體數據見表2。為了更直觀地體現(xiàn)3種方法故障測距精度，本次試驗設置10條故障線路，對3種方法測距結果的置信度進行測評，置信度可以衡量故障測距結果的可靠程度和可信程度，其取值范圍為0～1，數值越接近1，說明測距精度越高，3種方法測距置信度見表3。

其中，表3中3種方法測距結果的置信度數值為每100個配電線路信號樣本取得的平均數值。根據表2可以看出，設計方法故障距離預測值與實際值基本一致，測距誤差不超過1m，而2種傳統(tǒng)方法的誤差值約為15m～45m，可以明顯看出其測距誤差遠遠高于設計方法。這是由于本文方法在設計過程中能夠選擇推導出的短路故障距離特征，篩選出設定閾值內相似度較高的有效數據，并通過深度強化學習的不斷迭代，輸出獎勵值最高的短路故障距離特征，提高了設計方法在實際故障測距應用中的準確性和效率。

根據表3可以看出，設計方法故障測距置信度在0.9以上，且波動幅度為0.91～0.95；傳統(tǒng)方法1最高置信度為0.85，并在0.75～0.85波動；傳統(tǒng)方法2置信度最高為0.75，波動范圍高于傳統(tǒng)方法1?？梢悦黠@看出，2種傳統(tǒng)方法得到的置信度結果比設計方法低且波動幅度較大，這是由于深度強化學習需要大量的訓練數據來學習和優(yōu)化模型性能，以覆蓋更廣泛的故障場景和條件。通過獎勵機制來優(yōu)化決策過程，本文的強化學習模型可以通過反復嘗試不同的測距策略，并根據實際測距結果的準確性進行實時調整。因此試驗證明在精度方面設計方法具有絕對的優(yōu)勢，可以實現(xiàn)對直流配電線路短路故障精準測距的目的。

在此基礎上，本文對比3種方法在檢測故障直流配電線路的響應時間，具體結果如圖3所示。

由圖3可知，在檢測故障直流配電線路中，設計方法的響應時間為1.5ms左右，且時間波動幅度不大。而文獻[1]方法和文獻[2]方法的響應時間明顯比設計方法長，說明上述2種方法在線路故障檢測中，不能及時應對短路電線中電流和電壓的突發(fā)變化，導致響應時間變長且波動幅度較大，進而影響故障測距的精度，側面證明了本文設計方法能夠及時記錄線路中電流和電壓數據，并能夠迅速反應，縮短直流配電線路短路故障的測距時間。

5 結語

對基于深度強化學習的直流配電線路短路故障測距方法進行深入研究發(fā)現(xiàn)，這一方法不僅拓寬了傳統(tǒng)故障測距技術的邊界，而且為直流配電系統(tǒng)的安全穩(wěn)定運行提供了一種全新的技術支撐。在當前電力系統(tǒng)智能化、網絡化的大趨勢下，該方法的應用前景十分廣闊。然而，基于深度強化學習的直流配電線路短路故障測距方法仍然面臨許多挑戰(zhàn)和問題。例如，故障數據的獲取和標注是一個重要且困難的環(huán)節(jié)；同時，深度強化學習算法的計算復雜度較高，對計算資源的需求較大。此外，如何將該方法與實際的電力系統(tǒng)相結合，實現(xiàn)其在實際場景中的有效應用，也是一個需要深入研究的問題。

參考文獻

[1]湯耀景，陳水耀，裘愉濤，等.基于主動探測原理的直流配電線路短路故障測距[J].電工電能新技術，2024，43（1）：53-60.

[2]劉沐辰，安景革，程定一，等.基于雙端同步響應的高壓輸電線路故障定位方法[J].智慧電力，2023，51（12）：15-22.

[3]陳曉龍，孫麗蓉，李永麗，等.基于人工神經網絡和網絡遷移的雙端輸電線路非同步故障測距算法[J].電網技術，2023，47（12）：5169-5181.

[4]任俊諭，李本瑜，趙明，等.基于計算電阻指標和雙端測量信息的高壓直流輸電線路故障測距方法[J].電氣應用，2021，40（6）：24-31.

[5]陳新崗，朱瑩月，馬志鵬，等.考慮瞬時功率特性的直流配電網線路故障定位及保護[J].重慶理工大學學報（自然科學），2022，36（1）：179-186.

[6]王振浩，董人銘，成龍，等.基于迭代軟閾值壓縮感知理論的直流輸電雙極短路故障測距方法[J].現(xiàn)代電力，2021，38（6）：645-655.