華 漫，辛 瑜，李燕玲，張先浩

1.中國民航飛行學院 計算機學院，四川 廣漢 618307

2.中國民航飛行學院 科研處，四川 廣漢 618307

隨著無人飛機等低空平臺技術的迅猛發(fā)展，高分辨率影像能夠以更低的代價獲得，視頻監(jiān)控擴展到室外已經成為可能，如在荒蕪人煙的區(qū)域對特定人物的監(jiān)控。但是，從頂視角度所獲取的行人圖像像素面積小，特征不明顯，不足以提供足夠有效的識別特征。然而，在某些特定情況下，人的陰影面積更大，反映細節(jié)更多，能夠提供更多的信息，成為行人分析和鑒別的新生物特征。Stoica等[1]提出了從太空或者航空平臺上鑒別人及對人行為進行分析的概念，Iwashita等[2]通過實驗證實了在固定攝像頭下可根據人的陰影步態(tài)來鑒別人，但在實驗中，她采取的是手工提取陰影的方法，效率不高。隨后，Iwashita 等[3]提出根據固定攝像頭下的行人和陰影的共同輪廓來鑒別人，小樣本數(shù)據的結果表明該方法的鑒定識別率不高。因而，無論對固定攝像頭還是低空平臺，行人動態(tài)運動陰影檢測的效率和精度問題是陰影生物特征步態(tài)檢測的基本問題，陰影提取的好壞和效率直接關系到后繼研究工作的成果。

目前，人物陰影檢測技術基本僅局限于視頻監(jiān)控領域。文獻[4]則利用多特征來進行陰影檢測；文獻[5]利用陰影的局部彩色連續(xù)特性和梯度閾值分割來檢測陰影，并用量化方法估計閾值，取得了很好的效果。文獻[6]采用協(xié)同訓練的方法進行陰影檢測，在取得了好效果的同時還能夠克服光照的影響。文獻[7]則采用半監(jiān)督學習中的自訓練方法對自適應檢測陰影進行了嘗試。這些方法都要求攝像頭靜止固定，場景固定，利用混合高斯模型構建背景，根據當前幀與背景幀在顏色、亮度及能量上的某種穩(wěn)定差分值作為特征來進行陰影檢測，總體來看，陰影檢測由單純地利用特征檢測（特征包括顏色差、邊緣梯度差、當前幀與背景幀像素比、梯度方向差等）逐漸發(fā)展到機器學習的方法，取得了較佳的效果。

但是對于低空無人飛行器平臺，由于受自然外力（風、氣流等）以及自身振動的影響，平臺不斷處于運動之中，背景時刻變化，無法構建統(tǒng)一背景，因而傳統(tǒng)的視頻監(jiān)控方法已經不能適用于新情況。低空無人飛行器平臺的出現(xiàn)將視頻監(jiān)控從室內背景拓展到了室外場景，可利用檢測特征的不穩(wěn)定性給陰影檢測帶來了新的問題。

此外，低空無人飛行器平臺是新型的遙感平臺，遙感影像陰影的像素光譜特征也同樣適用于低空無人飛行器平臺，因瑞利散射而形成的遙感影像像素特征在遙感影像陰影檢測中得到廣泛運用。文獻[8]采用OTSU連續(xù)閾值法檢測陰影；文獻[9]則總結了遙感影像陰影的三個典型像素光譜特征，運用D-S 證據理論進行綜合判斷檢測陰影。上述方法側重于在單張影像上檢測陰影，效率較低，也不適合于低空無人飛行器平臺的動態(tài)人影多幀序列影像連續(xù)檢測。文獻[10]則使用了魯棒的圖像增強技術，提高圖像序列對比度，通過幾何方法去除陰影區(qū)域，最后利用形態(tài)學重建來填充間隙，以生成清晰的目標從而消耗更少的時間得到更好結果。

到目前為止，針對低空無人飛行器平臺的人物陰影檢測研究尚處于起步階段。文獻[11]采用文獻[6]提出的協(xié)同訓練方法，在微型無人機上通過機器學習方法對陰影檢測進行了探索，取得了初步的成果，但該方法所采用特征過于簡單，較難適用于復雜背景場景下的陰影檢測，且沒有對動態(tài)人物陰影檢測精度進行定量評估。運用機器學習進行陰影檢測的方法本質上屬于標記分割圖像的方法，而另一種利用圖切割理論對圖像進行標記分割的方法獲得越來越廣泛的運用[12-14]，它借助能量方程通過全局整體最優(yōu)化的方法來有效提高區(qū)域分割準確率，該方法的關鍵是構建能量方程的數(shù)據項和約束項，尤以數(shù)據項的構建為重點，現(xiàn)有的方法多以像素到聚類中心的距離概略估計來構建，而采用協(xié)同訓練方法的陰影檢測可通過分類器準確評估圖像像素屬于陰影的概率，這兩種方法的結合能夠進一步優(yōu)化陰影檢測結果。

針對低空無人飛行器平臺下的人物鑒別與人物行為分析需求，本文運用協(xié)同訓練和圖切割理論，提出了一種針對復雜場景的低空無人飛行器平臺動態(tài)人物陰影檢測方法。該方法首先根據人物陰影的像素特征與區(qū)域特性兩類屬性特征構成協(xié)同訓練算法的兩個獨立視圖，運用機器學習中的半監(jiān)督協(xié)同訓練方法進行陰影檢測；然后依據圖切割理論，利用協(xié)同訓練的初步分割結果來構建數(shù)據項，同時根據低空無人飛行器平臺的陰影像素特性構建約束項，對采用機器學習方法獲得的陰影檢測結果進行整體優(yōu)化，進一步提高陰影檢測效果。實驗結果表明，相對于單純的協(xié)同訓練算法，本文方法具有更高的綜合效果，能夠滿足復雜場景下的高質量人物陰影生物特征檢測需求。

1 協(xié)同訓練和圖切割理論

協(xié)同訓練理論和圖切割算法有共同之處，兩者都是將陰影檢測問題轉化為標記問題，通過標記圖像來進行圖像分割，前者側重于訓練-學習框架，后者側重于動態(tài)規(guī)劃優(yōu)化方法，本章簡要介紹這兩種方法。

1.1 協(xié)同訓練

協(xié)同訓練屬于半監(jiān)督學習的一種方式，而半監(jiān)督學習是指介于無監(jiān)督學習和有監(jiān)督學習之間的一種機器學習方法，和傳統(tǒng)的兩種學習理論不同，半監(jiān)督學習利用自然界中大量廣泛存在的未標記樣本進行學習，用以提高學習的準確性，是近年來模式識別和機器學習中非常活躍的一個研究方向，而協(xié)同訓練則是半監(jiān)督學習中諸多分支中最具有代表型的一種方法。

1998 年，Blum 和Mitchell在文獻[15]中首次提出了協(xié)同訓練算法，并給出了嚴密的理論推導公式，證明了相互獨立雙視圖分類器下該算法的有效性。他們假設數(shù)據集有兩個充分冗余視圖，每個視圖具有以下屬性：（1）每個屬性都足以描述該問題。（2）在給定標記時，每個屬性集都條件獨立于另一個屬性集。算法基本流程如下：

輸入：標記的訓練集L，未標記訓練集U。

過程：從未標記集U中隨機取出u個樣本構造樣本池U′。

K次迭代：

（1）用標記的訓練集L訓練第一視圖的分類器h1；

（2）用標記的訓練集L訓練第二視圖的分類器h2；

（3）用分類器h1 標記樣本池U′中n個正樣本和p個負樣本；

（4）用分類器h2 標記樣本池U′中n個正樣本和p個負樣本；

（5）把自訓練得到的標記樣本加入到訓練集L中；

（6）從未標記集U中隨機選取2p+2n個樣本來更新樣本池U′。

滿足這兩個條件的視圖可以保證協(xié)同訓練算法的有效運行，其標準算法如上所示。但是在現(xiàn)實世界中，完全獨立的視圖并不存在，為解決這一問題。Goldman和Zhou采用統(tǒng)計學習和交叉驗證的方式來控制進入訓練集的噪音[16]。文獻[17]進一步證明了即使雙視圖分類器不相互獨立，只要初始學習效果有差異，協(xié)同訓練算法也同樣有效，促進了協(xié)同訓練方法的廣泛運用。

低空無人飛行器平臺視頻流具有幀間時間間隔短的特點，因此當連續(xù)幀間光照條件相似，內容相近時，未標記的大量樣本可以用來改進訓練分類器，促進陰影檢測結果的提高。因而基于低空無人飛行器平臺視頻流下的運動人物陰影檢測符合協(xié)同訓練的理論模型架，只需選擇合理的雙視圖，手工標注第一幀樣本中的陰影像素為訓練樣本集，通過后繼幀的大量未標記樣本對分類器進行修正以提高分類器性能，減小噪聲引入，就能逐一將視頻流中的運動陰影檢測出來。解志剛等在改進現(xiàn)有3種像素特征基礎上，設計了與之相適應的半監(jiān)督協(xié)同訓練策略，為有效解決運動攝像頭下的動態(tài)人物陰影檢測問題提供了一種新思路[18]。

1.2 圖切割理論

假設無向圖G=＜V,E＞，其中V是一系列頂點，E是連接頂點的邊，V由兩種頂點構成。一種是實際的圖像像素點。另一種是實際不存在的點，稱為終端節(jié)點，包括“源”s和“匯”t，稱之為源點和匯點，通常源點代表著目標點，匯點代表著背景點。源點和匯點的連接稱之s-t圖，該圖也有兩種邊，一種稱之為n-連接，另一種稱之為t-連接，如圖1 所示。無向圖的每一條邊都賦予一個權值，割是所有邊的子集，最小割是指連接所有邊的權值總和最小的割。1956 年，F(xiàn)ord 等證明了最大流最小割定理，即最大流和最小割是等價的，基于此，文獻[19]提出了計算s-t圖最小割的快速方法，得到了廣泛應用。文獻[20]提出了以邊緣信息的圖割提取框架為基礎，通過構造函數(shù)與s-t網絡并在提取后期輔以手自結合，獲得一種準確快速人機交互的算法。

圖1 圖切割示意圖Fig.1 Sketch map of graph cuts

運用Graph cuts 理論進行圖像分割是近年來圖像分割領域基于能量最小化公式興起的一個研究熱點，圖像領域的能量最小化公式為：

式中，E代表能量；p和q表示像素；N代表像素的連通領域點集合；P代表圖像像素點的集合；Lp={Lp|p∈P}代表圖像P的標號的集合；Dp(Lp)代表數(shù)據項懲罰函數(shù)，表示數(shù)據約束，用于保證每個像素盡可能地找到其對應關系；Vp,q是一近鄰交互函數(shù)，表示光滑約束，用于約束相鄰像素的一致性。

Graph cuts 圖像分割理論因其既考慮了區(qū)域特征（數(shù)據項），又考慮了邊緣信息（光滑項），因而能取得全局最優(yōu)求解[21]，取得較好的分割效果，其基本過程為：將圖像映射成一個格網網絡，其中像素對應圖中的節(jié)點，相鄰像素之間的相似性對應相鄰節(jié)點之間邊的權值，求割的容量對應能量函數(shù)，最小割即為所求解的目標。采用協(xié)同訓練算法對低空無人飛行器平臺動態(tài)陰影進行檢測問題實際上是個二類標記問題，即將圖像像素點標記為陰影像素和非陰影像素兩類，這與Graph cuts的最終目標相同，在協(xié)同訓練得到初始標記后，可以通過Graph cuts 理論對初始標記依據圖像的內在約束進行全局最優(yōu)優(yōu)化。問題的關鍵是如何根據低空無人飛行器平臺的特點建立數(shù)據項和光滑約束項，使它們能夠準確表達陰影像素的內在聯(lián)系，以獲取更優(yōu)的結果。

2 結合協(xié)同訓練和圖切割的低空無人飛行器平臺動態(tài)人影檢測方法

本文提出了將協(xié)同訓練和圖切割算法結合，共同進行低空無人飛行器平臺動態(tài)陰影檢測的方法，具體步驟是選取低空無人飛行器平臺動態(tài)陰影像素的典型像素特征和典型區(qū)域特征構建協(xié)同訓練的兩個視圖，采用支持向量機（SVM）分類器，通過互相監(jiān)督學習的方法得到初步的陰影提取結果，再根據低空無人飛行器平臺影像的區(qū)域和邊緣特點構建新的數(shù)據項和約束項，通過最大流最小割方法獲取全局最優(yōu)的陰影檢測結果，得到最佳結果的動態(tài)人影，其流程圖如圖2所示。

圖2 本文算法框架Fig.2 Framework of proposed algorithm in this paper

2.1 支持向量機

支持向量機是近年來最好的分類算法之一，尤其對對小樣本分類問題具有良好的性能，在很多領域取得了成功，它的定義如下。

假設特征矢量為X∈IRd，分類目標標簽為兩類y∈{- 1,1} ，則分類空間為(X,y)，對于線性SVM 可以描述如下：

其中，ω是超平面特征空間的支持向量，βi是松弛變量，C是懲罰系數(shù)。

對于非線性的情形，通過拉格朗日對偶可以將式（2）擴展如下：

式（3）通過核函數(shù)形式將線性空間映射到非線性高維空間，尋找最優(yōu)分類面。

支持向量機方法只和支持向量的個數(shù)有關系，因而更能適應于小樣本分類需求。而采用本文所提出的方法來檢測陰影，實質上是將陰影檢測問題轉化為兩類分類問題。通過標記的陰影像素，在陰影特征空間內訓練超平面空間，用做分類的依據。陰影樣本的有限性和工作效率的要求使得支持向量機成為最優(yōu)的分類器選擇，本文采用式（4）所表示的徑向基函數(shù)作為核函數(shù)。

2.2 協(xié)同訓練雙視圖構建

如前所述，圖像可看作規(guī)則的格網結構，每一個像素相當于一個節(jié)點，采用圖切割算法檢測動態(tài)人影，實際上也是二類標記問題，即可虛擬出標記的目標：陰影像素和非陰影像素，將它們作為圖切割算法的“源”和“匯”。對于圖像分類應用而言，數(shù)據項反映的是圖像的整區(qū)域特征，從量化標準上可以由當前節(jié)點（像素）屬于“源”和“匯”的估計概率來衡量。

而具體到本文的應用而言，采用SVM 分類器進行訓練分類，在測試時可以直接估計出每個元素的置信度，即每個像素屬于陰影與非陰影的估計。對于雙視圖訓練，對每一個單視都有一個估計概率，用取均值的方法來計算平均估計作為圖切割算法的數(shù)據項。式（5）表示當前像素屬于陰影的估計，式（6）表示當前像素屬于非陰影的估計，它們共同組成圖切割算法的數(shù)據項。

2.3 圖切割算法的平滑項

在圖像檢測領域，圖切割算法的約束項表示像素領域間的關系，代表圖像的邊緣特性，一般用梯度距離表示度量像素間的過渡情況。陰影區(qū)域有整體視覺陰暗和聚集成片出現(xiàn)的特性，這一性質可用來對陰影檢測進行約束，本文的圖切割算法的平滑項根據圖像的顏色梯度距離聯(lián)合表示如式（7）。其中diff為當前圖像在水平方向和垂直方向的一階梯度值。

3 實驗結果及分析

本文的實驗數(shù)據來自于低空無人飛行器平臺之一飛艇所拍攝的視頻影像數(shù)據，平臺飛行高度約為20～30 m，所用相機為佳能5d Mark-II，幀速為30 幀/s，用于檢測效果評價的人物陰影真值數(shù)據為手工標記獲得，軟件平臺為Matlab（R2010a），系統(tǒng)處理器為Intel?Core?2 Duo 2.8 GHz。

3.1 協(xié)同訓練與本文所提方法的比較

為全面衡量本文所提算法和單純協(xié)同訓練算法，本文采用三個評價指標，分別是陰影檢測率(DR)、陰影區(qū)域漏檢率(FR)、非陰影區(qū)域誤檢率(NFR)具體如下：

其中，TN表示正確識別的陰影像素數(shù)目，F(xiàn)S表示漏檢的陰影像素數(shù)目，F(xiàn)N表示非陰影像素誤識別為陰影像素數(shù)目。相對于傳統(tǒng)的靜止攝像頭評價指標DR[4-7]，運動平臺無法獲取準確的前景區(qū)域，F(xiàn)R、NFR是根據本文的應用需求所提出的新評價指標，分別表示陰影漏檢率，非陰影像素誤判為影子的程度，來綜合表示。

在基于以上指標的評價基礎上，為比較協(xié)同訓練算法和本文所提方法的優(yōu)劣，采用本文所提出的像素特征和陰影區(qū)域特征構建協(xié)同訓練算法的雙視圖，采用同樣的從視頻數(shù)據里隨機選取的十幀數(shù)據，兩種方法分別取輪數(shù)訓練次數(shù)為5、15、30、50、100、150、200、300來對兩算法進行綜合評價，每輪訓練隨機抽取十次，以各評價指標的均值作為最后結果。

圖3所示實驗結果表明：本文提出的基于圖割和協(xié)同訓練算法比僅采用協(xié)同訓練算法在陰影區(qū)域檢測率上提高了約1%，陰影區(qū)域漏檢率上降低了0.5%，在非陰影區(qū)域誤檢率上則降低了約3%，顯示出本文所提的方法在性能上優(yōu)于單純的協(xié)同訓練算法。此結論說明圖切割理論在整體上對陰影的分類進行了改進，能夠提供全局更優(yōu)的陰影檢測結果。

圖3 本文所提算法與協(xié)同訓練算法比較Fig.3 Comparison between proposed algorithm and co-training algorithm

3.2 視頻實驗結果

圖4、圖5 分別給出了隨機選取的兩個視頻流序列的人物陰影檢測結果。其中（a）為第一幀圖像的手工標注結果，（b）為由視頻序列隨機抽取出的部分原始圖像，（c）為協(xié)同訓練方法所獲得的人物陰影自動檢測結果，（d）為本文所提出的基于圖割和協(xié)同訓練理論所獲取的陰影自動檢測結果，（e）為后取最大陰影區(qū)域面積和形態(tài)學處理結果。由這些主觀結果可以看出，兩種方法基本上克服了平臺運動所帶來的人物陰影檢測困難，提取出了完整的人物陰影，但本文方法優(yōu)于僅采用基于協(xié)同訓練的方法。表1 給出了協(xié)同訓練和本文方法的綜合定量比較，從這兩段視頻序列的平均結果來看，本文的方法陰影檢測率為80.75%，陰影漏檢率為17.37%，非陰影區(qū)域誤檢測率為12.81%，而協(xié)同訓練方法陰影檢測率為80.34%，陰影漏檢率為17.57%，非陰影區(qū)域誤檢測率為13.64%，進一步證明了本文方法具有更好的綜合檢測性能。

表1 人物陰影動態(tài)檢測效果定量評價Table 1 Quantitative evaluation of dynamic detection effect of shadow %

圖4 示例1Fig.4 Example 1

圖5 示例2Fig.5 Example 2

4 結束語

本文提出了一種結合圖切割理論和協(xié)同訓練的針對低空無人飛行器平臺的動態(tài)人物陰影檢測方法。根據低空無人飛行器平臺的動態(tài)人物陰影像素與區(qū)域像素特征，依據獨立性原則構建了雙視圖SVM分類器，采用了運用交互檢測訓練策略的半監(jiān)督學習方法，根據協(xié)同訓練得到的初始預測結果后，將其作為最小能量函數(shù)的數(shù)據項，與圖像的差分值作為約束項結合，運用圖切割理論對初始結果進行全局優(yōu)化，得到最優(yōu)結果。實際低空無人飛行器平臺下的小樣本實驗結果表明，相比于單一的協(xié)同訓練方法，該方法結合了協(xié)同訓練和圖切割方法的特點，提供了質量更佳的動態(tài)人影檢測思路。但由于低空無人飛行器平臺的抖動、人物實體衣著、非陰影像素等因素的影響，仍存在一定的誤檢測區(qū)域，這是以后進一步努力的方向。該方法由于采用基于學習的方法的分類器預測性能來彌補圖切割方法中數(shù)據項的定量估計較難表達的缺陷，兩者的全面結合能發(fā)揮兩種方法的優(yōu)點，也可以運用于其他應用。