金明磊 王鵬程 雷建勝

摘? ?要：傳統(tǒng)的有人直升機(jī)對架空輸電線路進(jìn)行巡檢時(shí)，對搭載檢測設(shè)備的吊艙或者云臺(tái)必須手動(dòng)進(jìn)行控制以使待檢測目標(biāo)一直處于視角范圍內(nèi)，這需要巡視人員對視頻進(jìn)行高度集中的觀察。為了減輕巡線員的負(fù)擔(dān)，提出了一種光電吊艙自動(dòng)跟蹤方法。該方法選取Struck算法并利用Haar特征描述運(yùn)動(dòng)目標(biāo)，跟蹤過程中，搜索上一幀目標(biāo)區(qū)域的鄰近位置，利用Structured Output SVM對待選區(qū)域進(jìn)行二元分類，取得分最高的候選區(qū)域作為當(dāng)前運(yùn)動(dòng)目標(biāo)跟蹤的結(jié)果。實(shí)驗(yàn)結(jié)果表明，算法的平均偏移率（視場角）為1.6%，目標(biāo)丟失率為14%，能夠?qū)U塔、絕緣子、均壓環(huán)等輸電線路關(guān)鍵部位進(jìn)行實(shí)時(shí)跟蹤。

關(guān)鍵詞：直升機(jī);輸電線路;巡視光電吊艙;自動(dòng)跟蹤;Struck;SVM;

中圖分類號(hào)：TP273+.5? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?文獻(xiàn)標(biāo)識(shí)碼：A

Automatic Tracking Technology of Helicopter Patrol Photoelectric

Pod in Inspection of Overhead Transmission Line

JIN Ming-lei1?，WANG Peng-cheng2，LEI Jian-sheng1

（1. Tianjin Aerospace Zhongwei Data System Technology Co.，Ltd.，Tianjin 300301，China;

2. School of Electronic and Information Engineering，Tianjin University，Tianjin 300072，China）

Abstract：When a traditional helicopter is used to inspect an overhead transmission line，the pod or cradle head equipped with testing equipment must be manually controlled so that the target to be tested is always within the range of vision，which requires highly concentrated observation of video by the inspectors. In order to reduce the burden on the lineman，an automatic tracking method for the photoelectric pod is proposed. It selects Struck algorithm and uses Haar features to describe moving targets. In the tracking process，it searches the adjacent location of the target region of the previous frame，and uses structured output SVM to deal with the selected regions for binary classification，the candidate region with the highest score is obtained as the result of tracking the current moving target. The experimental results show that the average deviation rate （field Angle） of the algorithm is 1.6%，and the target loss rate is 14%，which can track the key parts of transmission line，such as tower，insulator and equalizing ring，in real time.

Key words：helicopter;transmission line;patrol photoelectric pod;automatic tracking;Struck;SVM;

傳統(tǒng)的有人直升機(jī)在對架空輸電線路進(jìn)行巡檢的過程中，都需要手動(dòng)控制搭載檢測設(shè)備的云臺(tái)或者吊艙使待檢目標(biāo)始終處于視角范圍內(nèi)，因此，巡線員必須高度集中觀察視頻[1-2]。光電吊艙自動(dòng)跟蹤技術(shù)能夠減輕巡線員的負(fù)擔(dān)，通過跟蹤結(jié)果的位置反饋，自動(dòng)調(diào)整吊艙姿態(tài)，使被關(guān)注的目標(biāo)始終處于視野中央。

2013年BenchMark通過大量實(shí)驗(yàn)比較了SCM、TLD、ALSA、LSK、SCM、STC、CT、Struck等算法[3]，當(dāng)物體運(yùn)動(dòng)過快時(shí)，Struck、TLD等大密度采樣的算法效果更好，而隨機(jī)搜索的算法SCM、ASLA等由于粒子數(shù)的限制跟蹤不穩(wěn)定;在遮擋情況下，結(jié)構(gòu)學(xué)習(xí)和稀疏表示的方法使得Struck，TLD，LSK，ALSA等算法更有效[4];在尺度縮放情況下，Struck和采用仿射運(yùn)動(dòng)模型的ALSA、SCM算法的適應(yīng)性更好。Struck算法在綜合性能上比其他算法更為優(yōu)越，因此，選取Struck算法進(jìn)行運(yùn)動(dòng)目標(biāo)跟蹤[5]。

1? ?算法思路或研究路徑

Struck算法主要包括運(yùn)動(dòng)模型、特征提取、觀測模型和模型更新四部分[6]，具體研究思路如圖1所示：根據(jù)上一幀或初始運(yùn)動(dòng)目標(biāo)的位置，在當(dāng)前圖像幀中通過運(yùn)動(dòng)模型估計(jì)目標(biāo)的候選區(qū)域，提取候選區(qū)域的Raw、Haar、直方圖等特征，輸入觀測模型Structured Output SVM，判斷候選區(qū)域是否屬于運(yùn)動(dòng)目標(biāo)[7]。

2? ?研究方法

2.1? ?運(yùn)動(dòng)模型

假設(shè)上一幀目標(biāo)所在區(qū)域中心為（x0，y0），候選區(qū)域中心點(diǎn)的獲取方法如下圖所示，以（x0，y0）為圓心，R為半徑，所有處于該圓內(nèi)的整數(shù)坐標(biāo)點(diǎn)都可以作為候選區(qū)域的中心點(diǎn)。候選區(qū)域的大小始終與初始目標(biāo)相同。

該運(yùn)動(dòng)模型在上一幀目標(biāo)周圍的360度范圍內(nèi)進(jìn)行候選區(qū)域的提取，更好地適應(yīng)目標(biāo)在各個(gè)方向的運(yùn)動(dòng)。候選區(qū)域獲取示例圖如圖2所示。

2.2? ?特征提取

特征提取是將原始目標(biāo)區(qū)域圖像轉(zhuǎn)換為一組具有明顯物理意義、統(tǒng)計(jì)意義或核的特征[8]。一般，桿塔在巡線視頻幀中占據(jù)較大面積，且與周圍環(huán)境灰度差異較大，可以直接對桿塔區(qū)域進(jìn)行縮小提取Raw特征或者采用直方圖特征進(jìn)行跟蹤[9]。絕緣子的傘裙是均勻間隔分布，具有規(guī)律矩形特點(diǎn)，且與周圍環(huán)境灰度差異較大，可以采用Haar特征或直方圖特征進(jìn)行跟蹤[10]。

因此，本算法提取Raw、Haar、直方圖等三個(gè)特征，特征可以單獨(dú)被使用，或者聯(lián)合使用。

（1）Raw特征。將圖像轉(zhuǎn)換到灰度空間中，并縮放固定的大小（如16*16），直接采用原始的像素值作為特征。

（2）Haar特征。如圖3所示，a、b、c、d、e、f每個(gè)特征都是由白色填充區(qū)域像素值之和與黑色填充區(qū)域像素之和的差值計(jì)算得到。其中a、b屬于邊緣特征，c、d屬于線特征，e屬于對角特征，f屬于點(diǎn)特征。

（3）直方圖特征。如圖4所示，分別統(tǒng)計(jì)a、b、c、d幾個(gè)圖形中各個(gè)區(qū)域的直方圖，并將所有區(qū)域的直方圖聯(lián)合起來作為該目標(biāo)的直方圖特征。普通PC機(jī)上，采用直方圖特征或者聯(lián)合兩個(gè)特征，幀率都處于10幀以下，無法滿足實(shí)時(shí)性要求，因此，選擇的特征應(yīng)當(dāng)為Haar特征或者Raw特征，而Raw特征在目標(biāo)描述上不如Haar特征，因此，在實(shí)際操作過程中，可以只選取Haar特征作為特征提取的方法。

2.3? ?觀測模型

觀測模型即判定候選區(qū)域是否屬于運(yùn)動(dòng)目標(biāo)。本算法采用structured output SVM對每個(gè)候選區(qū)域進(jìn)行分類，輸出每個(gè)候選區(qū)域?qū)儆谶\(yùn)動(dòng)目標(biāo)的概率（得分），取概率（得分）最大者作為當(dāng)前幀的跟蹤結(jié)果。假設(shè)pt-1表示上一幀的目標(biāo)位置，一個(gè)樣本對可以表示為（x，y），其中y表示的是目標(biāo)的變換，學(xué)習(xí)預(yù)測函數(shù)f：X→Y可以直接估計(jì)幀間的變換。即

其中F表示的是分類函數(shù)F：X×Y→R，度量的是（x，y）的匹配性，匹配度高，得分越高。將F（x，y）的格式限制為

其中，?（x，y）表示的是聯(lián)合映射，可以通過一系列的訓(xùn)練樣本對采用最小化凸目標(biāo)函數(shù)進(jìn)行學(xué)習(xí)。

2.4? ?模型更新

2.4.1? ?樣本獲取

在極坐標(biāo)平面內(nèi)選取樣本，如圖5所示。樣本坐標(biāo)即樣本區(qū)域的中心點(diǎn)與當(dāng)前目標(biāo)中心點(diǎn)（x0，y0）的偏移量（dx，dy），通過（r sin θ，r cos θ）來獲取。其中r的取值范圍為（0，R），θ的取值范圍為[π/16，31π/16]或者[0，30π/16]。

2.4.2? ?在線更新

函數(shù)的最優(yōu)化采用標(biāo)準(zhǔn)的對偶拉格朗日法，可以轉(zhuǎn)化為：

i > 0時(shí)，y+ = yi，y-可以根據(jù)y- = arg gi（y）得到。跟蹤過程中，增加yi作為正的支持向量，進(jìn)而根據(jù)當(dāng)前學(xué)習(xí)器的狀態(tài)結(jié)合損失函數(shù)尋找最重要的樣本稱為負(fù)的支持向量。當(dāng)然，如果SMO步驟并未調(diào)整β yi

i，也就不會(huì)增加支持向量。

（2）Process Old

對于一個(gè)已經(jīng)存在的隨機(jī)選擇的支持模式xi，y+ = arg gi（y），但是固定的搜索路徑需要滿足β y

i≤δ（y，yi）C，意味著最大化只會(huì)包含已經(jīng)存在的支持向量。對于Process New，y- = arg gi（y）。在跟蹤過程中，這種相關(guān)性會(huì)重新訪問已經(jīng)得到的支持向量，并且可能會(huì)加入新的負(fù)的支持向量。同時(shí)調(diào)整相關(guān)的置信度。當(dāng)然，新樣本的選擇也要考慮當(dāng)前學(xué)習(xí)器的狀態(tài)和損失函數(shù)。

（3）Optimize

處理隨機(jī)選擇的已經(jīng)存在的支持模式xi，但是只調(diào)整已經(jīng)存在支持向量的置信度。

具體的執(zhí)行流程是：給定一個(gè)訓(xùn)練樣本對（xi，yi），采用一個(gè)Process New過程，和nR個(gè)ReProcess過程（1個(gè)Process Old過程和nO個(gè)最優(yōu)化過程的集合）在實(shí)際的跟蹤過程中，維持一個(gè)支持向量集S，對于每一個(gè)（xi，y）∈S，存儲(chǔ)其置信度β y

i和梯度gi（y），兩者都在SMO步驟進(jìn)行調(diào)整，如果調(diào)整后的β y

i變?yōu)?，那么相關(guān)的支持向量將會(huì)被移除。

上述的步驟可能會(huì)使得支持向量無限制地增長，所需的存儲(chǔ)空間和計(jì)算時(shí)間也會(huì)隨著支持向量的數(shù)量線性增加，因此必須控制支持向量的個(gè)數(shù)在一定范圍內(nèi)，即引入一個(gè)budget。維護(hù)budget的過程中，通常選擇對權(quán)重w影響最小的支持向量進(jìn)行移除，可以用‖w‖2進(jìn)行衡量。由于最優(yōu)化過程中的SMO步驟，必須確保β y

i = 0。一般在一個(gè)支持向量模式里面，只有一個(gè)正的支持向量，因此只考慮移除負(fù)的支持向量。如果一個(gè)支持模式只有兩個(gè)支持向量，那么他們兩個(gè)就必須都被移除。

移除一個(gè)負(fù)的支持向量（xr，y），支持向量的權(quán)重變化為

因此，每次通過最小化?||？w||?^2來移除支持向量。

3? ?試驗(yàn)分析

本算法在Visual Studio 2010平臺(tái)基于OpenCV2.4.6的C++語言進(jìn)行開發(fā)，實(shí)驗(yàn)平臺(tái)為Inter（R） Core（TM） i7-4790CPU @3.60GHz，RAM4GB。選取了運(yùn)動(dòng)目標(biāo)跟蹤的標(biāo)準(zhǔn)數(shù)據(jù)集中的44個(gè)圖像序列測試了運(yùn)動(dòng)目標(biāo)跟蹤算法。這些數(shù)據(jù)包括位置突變、抖動(dòng)、光照變化、遮擋、形狀變化、焦距變化等多種在運(yùn)動(dòng)目標(biāo)跟蹤過程中容易對跟蹤效果產(chǎn)生較大影響的情況。同時(shí)測試了該算法對絕緣子、桿塔等線路目標(biāo)的跟蹤效果。

在測試過程中，如果跟蹤得到的目標(biāo)框與實(shí)際的運(yùn)動(dòng)目標(biāo)框的重疊度大于50%，或者兩者的中心的距離小于25個(gè)像素時(shí)，則認(rèn)為該幀跟蹤正確，測試集中基于Struck的運(yùn)動(dòng)目標(biāo)跟蹤結(jié)果如表1所示。

，上述數(shù)據(jù)集為攝像機(jī)在定焦鏡頭下拍攝的視頻/圖像序列，即視場角不變，則平均偏移率指標(biāo)可等同于視場角指標(biāo)。

下面各圖展示了利用Struck算法在位置突變、抖動(dòng)、光照變化、遮擋、形狀變化、焦距變化等多種情況下的跟蹤結(jié)果，綠色的框表示跟蹤得到的目標(biāo)邊界框，而紅色的框表示實(shí)際的運(yùn)動(dòng)目標(biāo)邊界框，可以看出該算法能夠較好的適應(yīng)光照變化、部分遮擋、目標(biāo)的形變及抖動(dòng)等多種情況，如圖6至圖9所示。平均的跟蹤幀速是25幀，即目標(biāo)跟蹤時(shí)平均單幀處理時(shí)間為40 ms，跟蹤到的幀數(shù)占總測試幀數(shù)的86%，即丟失率為14%，而跟蹤結(jié)果的中心位置與實(shí)際目標(biāo)中心位置的像素差平均值是9個(gè)像素，平均偏移率（視場角）為1.6%，滿足跟蹤要求。

在相同樣本集的情況下，試驗(yàn)同時(shí)測試了STC，CT，ACA算法，并與stuck算法進(jìn)行比較。試驗(yàn)測試結(jié)果如表2所示。

STC算法能夠適應(yīng)光照變化和簡單尺度變化，但在劇烈抖動(dòng)和部分遮擋情況下，目標(biāo)容易丟失[11];CT算法計(jì)算簡單，速度快，但由于提取的特征和觀測模型簡單，正確跟蹤率較低[12];ACA算法適用于目標(biāo)與背景顏色相似的情況，但無法克服目標(biāo)遮擋、角度變化等情況。Struck算法正確跟蹤率較高，跟蹤偏移率小，更適用于線路目標(biāo)的跟蹤[13]。

基于Struck算法的架空輸電線路原件目標(biāo)的跟蹤結(jié)果如圖10至圖12所示，可以看出對桿塔、絕緣子、金具等線路元件，該算法都取得了較好的效果，滿足基本的跟蹤要求。

使用該算法，存在的不足主要有：當(dāng)目標(biāo)消失在視野內(nèi)一段時(shí)間重新出現(xiàn)時(shí)，目標(biāo)容易丟失，如圖13所示。對于焦距變化來說，對平緩的變焦使用效果較好，但是由于目標(biāo)跟蹤的結(jié)果框是固定的，并不能隨著大小變化而進(jìn)行縮放，如圖14所示。

可以選取本地視頻、圖像序列或者當(dāng)前攝像頭采集的實(shí)時(shí)視頻進(jìn)行運(yùn)動(dòng)目標(biāo)跟蹤[14]，初始跟蹤框可以手動(dòng)選取或從本地文件讀入。在跟蹤過程中可以通過鍵盤按鍵暫?；蛘咧匦逻x取運(yùn)動(dòng)目標(biāo)[15]。

5? ?結(jié) 論

直升機(jī)巡視光電吊艙自動(dòng)跟蹤算法主要選取Struck算法，并開發(fā)了其原型軟件。該算法采用Haar特征來描述運(yùn)動(dòng)目標(biāo)，在跟蹤過程中，搜索上一幀目標(biāo)區(qū)域的鄰近位置，利用Structured Output SVM對待選區(qū)域進(jìn)行二元分類，取得分最高的候選區(qū)域作為當(dāng)前運(yùn)動(dòng)目標(biāo)跟蹤的結(jié)果。在支持向量的更新過程中，樣本的標(biāo)記依據(jù)樣本區(qū)域與目標(biāo)區(qū)域的重疊度來進(jìn)行。為了保持算法的高效性，在跟蹤過程中始終維持一個(gè)支持向量budget防止支持向量的無限制增長。

實(shí)驗(yàn)測試結(jié)果表明Struck運(yùn)動(dòng)目標(biāo)跟蹤算法的平均偏移率（視場角）為1.6%，標(biāo)清視頻的單幀處理時(shí)間為40 ms，目標(biāo)丟失率為14%，能夠?qū)U塔、絕緣子、均壓環(huán)等輸電線路關(guān)鍵部位進(jìn)行實(shí)時(shí)跟蹤，適用于目標(biāo)形變（視角變換）、光照變化、部分遮擋、抖動(dòng)等多種復(fù)雜情況。

參考文獻(xiàn)

[1]? ? 李文魁，王俊璞，金志華，等. 直升機(jī)機(jī)載光電吊艙的發(fā)展現(xiàn)狀及對策[J]. 中國慣性技術(shù)學(xué)報(bào)，2004，12（5）：75-80.

[2]? ? 吉書鵬，丁曉青. 機(jī)載光電吊艙傳感器圖像融合技術(shù)研究[J].北京：清華大學(xué)電子工程，2002.

[3]? ? 周克虎，周進(jìn)，雷濤，等. 基于Struck算法的遮擋目標(biāo)跟蹤[J].半導(dǎo)體充電，2017，38（4）：585-591.

[4]? ? SAM H，AMIR S，PHILIP H S T. Struck：structured output

tracking with kernels[C]// MA USA：Proceeding of the 28th International Conference on Machine Learning，2011.

[5]? ? SMEULDERSA W M，CHU D M，CUCCHIARA R，et al. Visual tracking：an experimental survey[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence，2014，7（7）：1442-1468.

[6]? ? NAIMA A，ALI K，DAOUD B.Multiple target tracking using track before defect algorithm[C]// International Conference on Electrical Engineering and Automation，2017：692-695.

[7]? ?SUPSUKBAWORN T，LIN C E. Attitude stabilization in unmanned vertical takingoff/landing aircraft[C]// Industrial Electronics Society，IECON，2014-40th Annual Conference of the IEEE，2017：71-76.

[8]? ? CAO J，ZHAO T，WANG J，et al. Excavation equipment classification based on improved MFCC features and ELM[J]. Neurocomputing，2017，261：231-251.

[9]? ? MAHYARL M Y，CHANBARI M. Robust estimation of camera motion parameters[C]// Eletrical Engineering（ICEE），2014 22nd Iranian Conference，2014：850-855.

[10]? 李俊. 基于FPGA電子穩(wěn)像技術(shù)的研究[D]. 武漢：武漢理工大學(xué)，2012.

[11]? 謝月飛，蔡曉東，林景亮，等. 基于曲線擬合的視頻穩(wěn)像方法[J]. 計(jì)算機(jī)工程，2014，40（4）：151-153.

[12]? 秦曉敏. 智能視頻監(jiān)控中目標(biāo)跟蹤的研究與實(shí)現(xiàn)[J]. 電子設(shè)計(jì)工程. 2011，19（5）：40-42.

[13]? KALAL Z，MIKOLAJCZYK K，MATAS J. Tracking-learning-dection[J]. IEEE Transaction on Pattern Analysis and Machine Intelligence，2012，34（7）：1409-1422.

[14]? 吉淑嬌，朱明，雷艷敏，等. 基于改進(jìn)運(yùn)動(dòng)矢量估計(jì)法的視頻穩(wěn)像[J]. 光學(xué)精密工程，2015，5（23）：1458-1465.

[15]? 朱志玲. 智能視頻監(jiān)控中行人跟蹤技術(shù)研究[D]. 北京：北京交通大學(xué)，2014.