韓冰，尚方

（黑龍江省電力科學研究院，哈爾濱150030）

面向無人機輸電線路巡檢的電力桿塔檢測框架模型

韓冰，尚方

（黑龍江省電力科學研究院，哈爾濱150030）

高壓輸電線路定期的巡邏檢修是保障其安全可靠運行的重要手段。相比于傳統(tǒng)的人工巡檢，利用無人駕駛飛機搭載攝像機航拍的巡檢方式具有速度快、人力成本低、人員風險小等優(yōu)勢。為了從海量的巡檢圖像中自動篩選出桿塔可能存在故障的圖像，提出了一種融合多源信息的電力桿塔檢測框架模型，主要包括攝像機標定、桿塔模型投影變換、桿塔模型聚類分析以及特征提取和匹配4個部分，并在實際的桿塔圖像上進行了測試。結果表明，應用檢測框架模型處理能夠自動檢測出圖像中桿塔的精確位置，并判斷桿塔是否存在桿件丟失等異常狀態(tài)，驗證了模型的有效性。

電力桿塔；無人機；輸電線路；巡檢；圖像

安全可靠的高壓輸電線路對于電力系統(tǒng)具有十分重要的意義。由于高壓線和桿塔等長期暴露在外，易受到自然界的侵蝕及人為破壞，導致電線斷開、桿塔歪斜、金件脫落或丟失等一系列問題，對整個電力系統(tǒng)帶來不可估量的損失。如何對高壓輸電線路進行高效的巡邏檢修，保障其安全可靠的運行，成為了電力部門所關注的重點[1]。

1 高壓輸電線路的巡檢方式

1.1 主要巡檢方式

高壓輸電線路巡檢目前主要可分為人工巡檢、機器人巡檢、載人直升機巡檢和無人機巡檢4種方式。由于高壓輸電線路具有分布點多面廣、所處地形復雜、自然環(huán)境惡劣等特點，傳統(tǒng)的人工巡檢方法不僅工作量大而且條件艱苦，特別是對山區(qū)以及跨越大江大河的輸電線路的巡檢，所花時間長、人力成本高、困難大、風險高。巡線機器人是針對架空高壓輸電線路的一種自動化巡線裝置，主要巡檢輸電導線故障、絕緣子破損，防震錘松動等[2]。由于巡線機器人能帶電工作，不僅可以替代人工巡檢，而且可以極大提高巡檢精度。然而機器人行進速度慢、巡線距離短、跨越障礙困難等不足限制了應用范圍。

直升機巡檢方式通過直升機搭載可見光和紅外成像設備對輸電線路拍攝圖像，相比人工巡檢和機器人巡檢，提高了電力維護和檢修的效率[3]。美國、法國、澳大利亞等國家都建立了用于巡檢的直升機機隊，國內的南方電網、華中電網、福建省電力公司等也陸續(xù)開展了直升機載人巡檢。但建立直升機機隊投入大，開發(fā)專項技術也需要投入大量的人力資源，管理及技術準備都十分復雜，限制了直升機巡檢在國內的推廣應用。

近些年來，利用無人駕駛飛機進行輸電線路巡檢的方式漸漸興起。相比于載人直升機巡檢，無人機巡檢不需要搭載拍攝人員，因此飛機體積小、載重輕、成本低，操作也較為簡單[4，5]。目前貴州、青海等省份已嘗試開展針對高海拔、復雜地形的無人機巡檢。

1.2 無人機巡檢的圖像處理

無人機巡檢過程中會拍攝大量的架空輸電線路的圖像，其中可能僅有極少量圖像包含線路故障，因此用人眼來檢測全部圖像不僅效率低下，而且會因疲勞以及桿塔的復雜結構易于出錯。為了解決這個問題，研究人員提出智能化的檢測方案，從全部圖像中自動篩選出少量可能存在故障的圖像，再由人眼做進一步判斷。

電力桿塔作為高壓輸電線路的重要組成部分，是巡檢圖像自動檢測的關鍵目標[6]。在圖像中準確定位桿塔不僅是判定桿塔是否存在故障的首要步驟，也為桿塔上其它部件如絕緣子和金具等的檢測和故障判定提供重要信息。然而高壓輸電線路中的桿塔大都由桿件搭建而成，形態(tài)各異且結構復雜。其鋼架結構導致巡檢圖像中缺少穩(wěn)定的特征點和紋理特征，而且在成像過程中桿件之間遮擋非常嚴重，因此，在圖像中自動檢測出所有類型的桿塔是非常困難的。

目前，國內外僅有少量關于桿塔自動檢測的研究。文獻[7]提出了一種從航空圖像中檢測多個相似桿塔的方法。該方法利用桿塔在陽光照射下會產生陰影的特點，根據給定的模板提取陰影部分的邊緣特征，進而在圖像中構造滑動窗口，判斷某個位置是否存在桿塔。由于該方法僅用于在航空圖像中標注桿塔的地理位置，精度較低，因此并不適用于電力線巡檢。文獻[6]提出一種基于快速高效啟發(fā)式聚類算法的電力桿塔檢測方法，對桿塔的灰度值和Lab空間顏色信息進行聚類分析，可用于檢測簡單背景中的電力桿塔。該方法屬于像素級的低層視覺方法，無法獲取上層的桿件信息及桿塔的結構信息。

此外，文獻[8，9]分別提出利用全局自相似描述子和可變形部分模型進行桿塔檢測，然而這兩種方法最終只能用矩形框標識出桿塔的大致位置，也無法滿足電力線巡檢的需要。

2 電力桿塔檢測框架模型

2.1 框架的主要部分

針對無人機輸電線路巡檢問題，提出了一種融合多源信息的電力桿塔檢測框架模型。該框架主要包括4個部分。

（1）無人機載攝像機標定，獲取攝像機內參數矩陣。

（2）構造參數相同的虛擬攝像機，根據虛擬攝像機的不同位姿對桿塔三維模型進行投影變換，并計算投影后的直線段特征。

（3）計算不同位姿下桿塔投影的相似度并進行聚類分析，獲取該模型的金字塔式的層級表示。

（4）在巡檢圖像中提取直線段特征，與桿塔三維模型的投影進行匹配，并利用無人機GPS等信息縮小搜索范圍。

該方法可以在包含桿塔的巡檢圖像中自動檢測出桿塔的精確位置，同時可以確定機載攝像機相對于桿塔的位姿，為判定桿塔的異常狀態(tài)以及自動檢測桿塔上的其它部件提供重要信息。提出的電力桿塔檢測框架模型如圖1所示。

圖1 電力桿塔檢測框架模型

2.2 攝像機標定

式中：s表示尺度因子；[R，t]表示物體相對于攝像機的旋轉和平移；A表示攝像機的內參數矩陣。在矩陣A中，u0，v0表示主點坐標；α和β表示圖像中u軸和v軸的尺度因子；γ表示2個軸的傾斜度。

攝像機標定就是由已知特征點的圖像坐標和世界坐標求解矩陣A的過程，目前常用的是攝像機自標定方法見文獻[10]，即在未知攝像機外參數的情況下，利用多幅圖像間點或線的對應關系求解攝像機內參數，例如利用一維標定物[11]、二維標定物[12]和三維標定物[13]的方法。

2.3 桿塔模型投影變換

桿塔是一種結構復雜的三維物體。為了實現(xiàn)巡檢圖像中桿塔的自動檢測，需要已知桿塔的三維結構信息。常見的數據來源包括桿塔設計的CAD數據，施工圖紙，國家標準或通用設計規(guī)范[14]等，也可通過3D掃描儀或計算機三維重建的方法獲得桿塔的三維信息。

若已知桿塔三維數據及攝像機內參數，那么桿塔在不同的攝像機位姿下所成的像就可以通過（1）式計算得到。以桿塔為中心建立世界坐標系，并用Tx，Ty，Tz，α，β，γ表示攝像機位姿，其中Tx，Ty，Tz分別表示攝像機相對于桿塔在x，y，z軸上的平移，即：

α，β，γ分別表示攝像機繞x軸、y軸和z軸旋轉的角度，旋轉矩陣Rx，Ry，Rz可以表示為：

滿足：

通過設定不同的攝像機位姿，就可以計算桿塔在圖像上的投影，如圖2所示。

圖2 不同的攝像機位姿下桿塔的投影

2.4 桿塔投影的聚類分析

為了保證桿塔檢測的精度，在合理的位姿參數范圍內，通常需要設定大量的采樣點，每個采樣點對應于一個特定的位姿。然而，采樣點過多會帶來檢測速度慢的問題，較多的參數個數（Tx，Ty，Tz，α，β，γ共6個）導致這個問題變得非常嚴重。考慮到隨著位姿參數的變化，桿塔投影也是一個逐漸變化的過程，也就是說，位姿參數差異小的對應的桿塔投影差別也較小。因此，可以采用聚類分析的方法，將大量的桿塔投影表示為層次結構，如圖3所示。這樣，在檢測階段就可以實現(xiàn)由粗到精的快速匹配。

圖3 桿塔投影的層次表示

2.5 特征提取和匹配

選擇直線段特征作為巡檢圖像和桿塔投影的特征，用于圖像和桿塔模型間的匹配。選擇直線段特征有以下優(yōu)勢。

（1）鑒于大多數高壓輸電線路中的桿塔都是由桿件搭建而成，而桿件大多為細長的鋼管或角鋼，用直線段表示桿塔模型自然直觀。

（2）直線段是巡檢圖像中非常明顯的特征，可以通過有效的圖像處理算法提取得到。

（3）直線段特征的表示和相似度量非常簡單，僅需要2個端點的坐標就可以完整的描述1條直線段，2條直線段間的相似度也可以通過簡單的公式計算得到。

（4）構成桿塔模型的直線段經投影變換后仍舊為直線段，可由式（1）方便的計算出投影后直線段的端點坐標。

在匹配階段，需要將圖像中提取的直線段特征，與桿塔模型的所有投影比對，并從中選出相似度最大的投影作為匹配的結果，其對應的位姿即為拍攝巡檢圖像時的攝像機位姿。聚類分析的結果，可以用來構造決策樹分類器，在匹配階段大幅提高速度。若已知桿塔和無人機的GPS信息以及攝像機的安裝角度、無人機的行進方向等信息，位姿參數可以大致確定，在合理的參數范圍內僅需要少量采樣點，此時為了提高檢測的精度可以采用逐一比對的方式。

3 框架模型的實現(xiàn)

3.1 攝像機標定方法

攝像機自標定方法有多個開源的標定工具箱，這里選擇Jean-Yves Bouguet的工具箱[15]。該工具箱是采用Matlab實現(xiàn)的Janne Heikkil?等[16]提出的4步標定法，僅需要一個棋盤格作為標定物。將棋盤格置于攝像機前，變換角度和位置拍攝十幅左右圖像，就可以自動計算出攝像機的內參數。

3.2 建立桿塔三維模型

根據桿塔的施工圖紙建立了2種桿塔的三維模型。首先以桿塔底面中心點為坐標系原點，水平向右為X軸正向，水平向正前方為Y軸正向，豎直向上為Z軸正向，建立滿足右手法則的世界坐標系。其次采用1條直線段來表示1根桿件，根據施工圖紙標注的桿件數量和每根桿件的位置，在以桿塔為中心的世界坐標系中確定每根桿件的三維坐標，從而建立起完整的桿塔三維模型。建成的桿塔模型如圖4所示。

圖4 2種桿塔的三維模型

3.3 桿塔投影的相似度量

對桿塔投影進行聚類分析之前，首先需要定義投影間的相似度。由于桿塔由桿件組成，而桿件又是由直線段表示的，因此首先定義直線段的相似度量。設直線段a（p1，p2）的長度為la，它的2個端點p1和p2到直線段b所在直線的距離分別為v1和v2，那么直線段a到直線段b的距離定義為：

若模型中共有N條直線段，每條直線段的端點到對應的直線段所在直線的距離為vi1和vi2，那么模型A到模型B的距離定義為：

式中：LA表示模型A中所有直線段的長度之和，有。

式（8）中的距離定義是非對稱的。為此，定義任意2個模型間的距離為：

3.4 直線段特征提取

直線段是圖像中最基本且非常重要的初級特征之一，大量存在于實際圖像中，尤其是包含人造目標（如道路、橋梁、建筑等）的圖像。因此，直線段檢測在數字圖像處理和計算機視覺領域中都具有十分重要的意義[17]。LSD[18]是近來提出的一種基于局部特征的方法，相比于Hough變換等基于整體的方法，具有速度快、精度高的特點。該方法主要包括計算梯度、區(qū)域生長、區(qū)域矩形化、直線段有效性驗證、有效點密度判斷等幾個步驟。在文獻[19]中有該方法的C語言實現(xiàn)。

LSD方法可以準確地檢測出直線段的位置、長度、寬度、方向等信息。然而，由于LSD是一種局部方法，易受到噪聲的干擾，無法處理桿件交叉導致的直線段斷開。因此，需要在后處理步驟中合并方向相同、間隔較短的直線段，以利于后續(xù)的特征匹配。

4 實際桿塔圖像的檢測試驗

為了測試提出的框架模型的有效性，拍攝了實際的高壓輸電線路的桿塔圖像，并在圖像中檢測桿塔的準確位置。采用佳能5D Mark II相機和佳能EF 85mm f/1.8鏡頭，并對其進行了標定。由于用于輸電線路檢測的無人機價格非常昂貴，因此這里采用手持相機拍攝的方式，來測試本文方法的有效性。一幅典型的桿塔圖像如圖5（a）所示。經直線段提取和直線段合并之后，得到的圖像如圖5（b）所示。

圖5 已知攝像機大概位姿對桿塔進行檢測

由于缺少桿塔和無人機的GPS信息以及無人機的行進方向等信息，采用位姿估計[20]的方法，計算攝像機相對于桿塔的位姿。隨后以該位姿為中心，在一定范圍內，對桿塔的三維模型進行了投影。最后在圖5（b）中進行桿塔的檢測，檢測結果如圖5（c）所示?？梢钥闯?，本文方法可以在巡檢圖像中自動檢測出桿塔的精確位置。同時，根據圖像對應的桿塔投影，也可以判斷出攝像機相對于桿塔的準確位姿。

桿塔的異常狀態(tài)檢測是輸電線路巡檢的重要組成部分。桿塔的異常狀態(tài)主要包括絕緣子破損、桿件丟失、樹枝干擾、鳥巢搭建等。為了仿真桿塔的異常狀態(tài)，在桿塔圖像5（a）中，添加了1個鳥巢，并擦除了1根桿件，如圖6（a）所示。在檢測過程中，確定桿塔的精確位置之后，可以通過判斷桿件投影與對應的直線段之間的長短關系來判斷桿件是否被遮擋或丟失，結果如圖6（b）所示?？梢钥闯?，桿件中丟失以及被鳥巢遮擋的部分都被準確的檢測出來，極大地便利了進一步的人工判斷。

圖6 桿塔異常狀態(tài)檢測

5 結論

作為無人機輸電線路巡檢的關鍵技術，桿塔的自動檢測具有十分重要的意義。本文提出了一種融合多源信息的電力桿塔檢測框架模型，可有效應用于無人機輸電線路巡檢及桿塔異常狀態(tài)檢測，可以在巡檢圖像中自動檢測出已知類型桿塔的精確位置，并給出攝像機相對于桿塔的位姿。通過判斷桿件是否被遮擋，還可以檢測出桿塔是否存在某些異常狀態(tài)，如桿件丟失和存在鳥巢等，提高人工檢測圖像的效率。在實際拍攝的高壓輸電線路的桿塔圖像上，試驗結果驗證了該方法的有效性。由于缺少實際有效的測試平臺，目前僅在仿真數據上初步驗證了該框架模型的有效性，接下來還需在實際的無人機航拍環(huán)境下做進一步的測試驗證。

[1]DL/T 1006－2006架空輸電線路巡檢系統(tǒng)[S].北京：中國電力出版社，2007.

[2]李賀.基于ARM的電力線巡檢機器人運動控制器的研究[D].北京：華北電力大學，2008.

[3]張吳明，楊又華，閻廣建，等.機載多角度多光譜成像技術在電力系統(tǒng)中的應用[J].華中電力，2006，19（6）∶1－3.[4]趙利坡，范慧杰，朱琳琳，等.面向巡線無人機高壓線實時檢測與識別算法[J].小型微型計算機系統(tǒng)，2012，33（4）∶882－886.

[5]Z R LI，Y LIU，A W RODNEY，F(xiàn) H ROSS，J L ZHANG.Towards Automatic Power Line Detection for a UAV Surveillance System Using Pulse Coupled Neural Filter and An Improved Hough Transform[J].Machine Vision and Applications，2009，21（5）∶677－686.

[6]郭貞.基于快速高效啟發(fā)式聚類算法的電力桿塔檢測研究[D].北京：華北電力大學，2012.

[7]B CETIN，M BIKDASH，M MCINERNEY.Automated Electric Utility Pole Detection from Aerial Images[J].Southeastcon，2009∶44－49.

[8]吳華，郭貞，楊國田，等.基于全局自相似描述子的電塔檢測[J].華中科技大學學報（自然科學版），2011（39）∶437－440.

[9]柳長安，葉文，吳華，等.融合地理位置信息的電力桿塔檢測[J].華中科技大學學報（自然科學版），2013（39）∶208－211.

[10]邱茂林，馬頌德，李毅.計算機視覺中攝像機定標綜述[J].自動化學報，2000，26（1）∶43－55.

[11]王亮，吳福朝.基于一維標定物的多攝像機標定[J].自動化學報，2007，33（3）∶225－231.

[12]Z ZHANG.A Flexible New Technique for Camera Calibration[J].IEEE Trans.Pattern Analysis and Machine Intelligence，2000，22（11）∶1330－1334.

[13]J HEIKKIL?.Geometric Camera Calibration Using Circular Control Points[J].IEEE Trans.Pattern Analysis and Machine Intelligence，2000，22（10）∶1066－1077.

[14]劉振亞主編.國家電網公司輸變電工程通用設計―輸電線路鋼管塔分冊[M].北京：中國電力出版社，2010.

[15]J BOUGUET.Camera Calibration Toolbox for Matlab[OL].http∶//www.vision.caltech.edu/bouguetj/calib doc/，2015.

[16]J Heikkil?，O SILV′EN.A Four－step Camera Calibration Procedure with Implicit Image Correction[C].Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition，1997∶1106－1112.

[17]J R BEVERIDGE，E M RISEMAN.How Easy is Matching 2D Line Models Using Local Search[J].IEEE Trans.Pattern Analysis and Machine Intelligence，1997，19（6）∶564－579.

[18]R G GIOI，J JAKUBOWICZ，J M MOREL，G RANDALL.LSD∶A Fast Line Segment Detector with a False Detection Control[J].IEEE Trans.Pattern Analysis and Machine Intelligence，2010，32（4）∶722－732.

[19]R G GIOI，J JAKUBOWICZ，J M MOREL，G RANDALL.LSD∶a Line Segment Detector[OL].Image Processing On Line，2012，2∶35－55.

[20]L L ZHANG，C XU，K M LEE，R KOCH.Robust and Efficient Pose Estimation from Line Correspondences[C].Proceedings of the 11th Asian Conference on Computer Vision，2012，217－230.

（本文編輯：楊勇）

A Frame Model of Power Pylon Detection for UAV-based Power Transmission Line Inspection

HAN Bing，SHANG Fang
（Heilongjiang Electric Power Research Institute，Harbin 150030，China）

Regular inspection is key to operation safety and reliability of high-voltage transmission lines. Compared with the conventional manual inspection，inspection of UAV（unmanned aerial vehicle）with a camera for aerial photography is characterized by its fast speed，low labor cost，small personnel risk and so forth. In order to automatically select the images that may contain faulty power pylons from mass inspection images，the paper introduces a power pylon detection frame model that integrates multi-source information，including camera calibration，power pylon model projection transformation and cluster analysis as well as feature extraction and matching.Furthermore，the frame model is tested on actual pylon images.The results show that the frame model is able to automatically detect the precise power pylon location and determine abnormal status of power pylon such as member lost，which indicates the validity of the model.

power pylon；unmanned aerial vehicle（UAV）；transmission line；inspection；image

TM755

：A

：1007-1881（2016）04-0006-06

2015-10-08

韓冰（1973），男，高級工程師，主要從事計算機信息處理與模式識別工作。