劉琪

摘要：在能夠自動識別視頻中的說話者的系統(tǒng)中，大部分采用的是聲音和唇部運動相結合的方法。文中則采用了另一種方法有效地達到了目的，即通過檢測人體頭部和手部的運動來鑒別說話者?；谘葜v者在說話時通常會伴有頭部運動或是手部運動，該方法既能實現(xiàn)說話者的檢測，又能避免由于觀測點過遠而導致無法判斷人唇部運動的局限性。在系統(tǒng)的實施過程中，運用了多種圖像處理方法，并且對三幀差運動法做出了改善，使其能更高效、更準確地檢測到頭部和手部的運動。經(jīng)過多個不同的視頻測試后，本系統(tǒng)的F1 score 高達91.91%，從而驗證了該系統(tǒng)的可行性。

關鍵詞：圖像處理； 臉部檢測； 手部檢測； 運動檢測； F1 score

中圖分類號：TP391.4 文獻標識碼：A文章編號：2095-2163（2013）06-0085-03

0引言

近年來，圖像處理技術飛速發(fā)展并且進入到了日常生活的應用領域中。例如，運用了臉部識別技術的數(shù)碼相機，可以自動識別人臉的位置。很多和本文研究相關的成果和算法在近年來均得到了廣泛的應用并且取得了實質性的成功。本文旨在通過檢測人臉或人手的運動來判斷被觀察者是否在說話，而為了實現(xiàn)這一功能，本文詳述了系統(tǒng)在實施時所需要的算法，并對不同情況下的測試結果進行了說明。

1算法

1.1膚色區(qū)域檢測

分割出圖像中的膚色區(qū)域，并且在該區(qū)域中檢測人臉和手部能夠提高算法的效率和準確率。利用公式（1），可以將RGB色彩空間轉換為更易于分割膚色的YCbCr色彩空間。

在YCbCr色彩空間中，膚色像素聚集在一個類似高斯模型的小區(qū)域中[1]。利用該特性，每個像素點屬于膚色的概率都可以通過高斯模型計算而得到，見公式（2）[2]。在公式（2）中，m代表均值，C代表了協(xié)方差矩陣，x=（Cb，Cr）T。

P（Cb，Cr）=-exp[-0.5（x-m）TC-1（x-m）]（2）

通過公式（2）的計算，一個數(shù)字圖像可以轉變成膚色似然圖像。在膚色似然圖像中，膚色的區(qū)域將會比非膚色區(qū)域更加明亮。這樣，完成了膚色的初步分割。接下來，通過調(diào)用自適應閾值，膚色似然圖像將轉換成二值圖像。在二值圖像中，每個代表膚色的像素，都會轉變成值為1的白色像素點。同時，非膚色區(qū)域的像素點會轉化成值為0的黑色像素點。此時，實現(xiàn)了膚色的分割。

另外，為了去除二值圖像中的噪聲，引用了形態(tài)學處理方法。其中包括腐蝕、膨脹、開運算和閉運算。開運算可以將小的噪聲去除并且減弱單獨物體之間的連接。閉運算則可以消除小的黑洞，同時將連接的物體連接得更為緊密。

1.2人臉檢測

人臉檢測部分應用了兩個算法，第一個是應用廣泛的Viola-Jones算法，第二個則是通過判斷臉部的整體特征來識別人臉。Viola-Jones 算法基于外觀特征且融合了簡單的圖像特征集和多種方法來進行人臉檢測。在MATLAB R2012a版本中，Viola-Jones 算法集合于Computer Vision System Toolbox中，可以直接調(diào)用。但是在檢測到的結果中，可能包含非人臉區(qū)域。因此，在第二種算法中，采用了Compactness、 Solidity和Orientation 三個連通算子來驗證檢測到的結果并且去除非人臉區(qū)域。其中的判斷標準依據(jù)連通區(qū)域的面積、周長、最小包圍盒的Dx與Dy[3]。

人臉和橢圓形相類似。公式（3）給出了Compactness算子的定義。 圓形物體可以依據(jù)該公式確定得到。對于該算子，大于其閾值的區(qū)域，可以認為是人臉區(qū)域。小于其閾值的，將會從人臉檢測結果中移除。

Compactness=Ap2（3）

公式（4）中定義的Solidity，可以用來衡量一個連通區(qū)域在其最小包圍盒中的面積占用率。該算子可以用于進一步的人臉檢測驗證。小于該閾值的區(qū)域將會從人臉檢測結果中移除。

Solidity=ADxDy（4）

人臉的驗證則是依據(jù)人臉的方向值總是波動在一個固定的取值區(qū)間。很多的區(qū)域將會因為越過了取值區(qū)間而被移除。算子Orientation的定義在公式（5）中給出。

Orientation=DyDx（5）

在經(jīng)過一個包含了10 000個膚色像素點和10 000個非膚色像素點的訓練集合的測試后，三個算子的閾值為：Compactness = 0.025； Solidity = 0.521 8； Orientation range=090 to 2.10[3]。

1.3手部檢測

在這一階段，手部的檢測基于手的大小和位置。例如，通常，總會認為人手比臉的面積要小。而且，在檢測的過程中，通過比較相鄰的幀，可以實現(xiàn)進一步的驗證。由于人手的特征變化各異，本文中采用的假設方法將大大簡化程序的復雜度，并降低計算的消耗。

為了在膚色范圍內(nèi)找到手的區(qū)域，小于檢測到的臉部面積的元素將會以遞增的方式排列在列表中。

（1）區(qū)域中最靠近左邊的元素的列表（記為L1）：有助于找到左手；

（2）區(qū)域中最靠近右邊的元素的列表（記為L2）：有助于找到右手。

相鄰幀之間的檢測：

（1）與前一幀中左手的位置最近的元素的列表（記為Lcl）；

（2）與前一幀中右手的位置最近的元素的列表（記為Lcr）。

判斷左手的列表集合為（L1，Lcl）。判斷右手的列表集合為（Lr，Lcr）[4]。在每一個列表中，第一個元素可認為是最有可能的候選。列表中的第二個元素只有在所有列表中的第一個元素不相同時，才會被認為是候選。

1.4檢測到的物體的位置

通過以上兩個步驟，輸入圖像中的所有不相關區(qū)域已經(jīng)被移除，保留下來的就是檢測到的頭部和手部。每一個保留下來的區(qū)域都可看作是正方形。在公式（6）中，區(qū)域的質心則可認作正方形的中心計算得到[2]。由此，人臉和手的位置即可隨之獲得。其中，

1.5運動檢測

在檢測運動物體時，廣泛應用的三幀差算法通過計算每相鄰的三幀之間像素的不同來找到運動的物體。本文的運動物體檢測將基于三幀差算法，通過對比檢測到的人臉或手部區(qū)域來判斷運動是否發(fā)生。通過檢測特定區(qū)域中像素點的變化而不是檢測整幅幀中變化的像素點，可以提高人臉和手部運動檢測的準確度和效率。假設g1（x，y）代表了第k-1幀和第k幀在特定區(qū)域中的運動變化圖像，g2（x，y）代表了第k幀和第k+1幀在特定區(qū)域中的運動變化圖像。這兩個圖像可以通過計算公式（7）獲得：

為了將運動變化圖像轉換為二值圖像，應當選取一個基于灰度特征的恰當?shù)拈撝礣[5]。其后，運動變化圖像之間將會采用AND運算，見公式（8）。

通過對象聚類方法，可以獲得AND運算后的圖像中的運動物體的坐標[5]。

2結果和討論

調(diào)用了Computer Vision System Toolbox后，圖2展示了基于膚色分割后的人臉檢測的結果。其中，在第一幅圖中，準確并且成功地檢測到了人臉。然而第二幅圖中，交叉的雙手則誤認為是人臉區(qū)域，而與真正的人臉同時標記了出來。此時，需要利用三個連通算子來進一步排除檢測結果中非人臉區(qū)域。最終結果將在圖3中給出。下一步驟是檢測手部，圖4 展示了當圖1（b）作為輸入圖像時的手部檢測結果。

檢測得到頭和手之后，圖5給出了系統(tǒng)自動檢測運動的人臉和手部的結果。其中，當人臉和手部沒有運動時，系統(tǒng)并未將其標出。

經(jīng)過1 379幀包含不同背景、不同人物、不同衣服以及不同的頭部和手部運動的圖像的測試后，系統(tǒng)的F1 score值達到了91.91%。其中也有包含兩個人的場景。此外，還可以得到不同的背景和不同的光照條件不會影響檢測結果的結論。這就表明了以膚色分割作為人臉和手部檢測的基礎是可靠的。但是，關于人手檢測的部分，在本系統(tǒng)中運用到了假設的方法，局限了能夠檢測的范圍與準確度。比如，視頻中說話者露出的部分上肢會有可能被檢測為人手的部分。因為，關于人手的檢測應當在其后的研究中得到進一步加強。

3結束語

本文提出了一種通過檢測宏觀運動（頭部運動和手部運動）來判斷說話者的方法。首先，將頭部和手部在膚色區(qū)域內(nèi)檢測出。Viola-Jones算法和三個連通算子相結合以得到更為準確的人臉檢測結果。檢測手部時，運用了三種假設：手部的面積應當比檢測到的人臉?。荒w色區(qū)域中，最左邊的元素和最右邊的元素都被判定為是手；相鄰幀中，和上一幀中手的位置最接近的區(qū)域被認定為手。由此，即檢測出了手的位置。最后一步是運動的檢測。在本文中，運動的檢測算法基于三幀間差并做了調(diào)整。在相鄰的三幀之間，只比較檢測得到的人臉和手的區(qū)域。通過對比像素點的不同，來判斷運動是否發(fā)生。由此，視頻中其他運動的物體將不會被檢測到。

參考文獻：

[1]AHONEN T， HADID A， PIETIKAINEN M. Face description with local binary patterns： application to face recognition[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2006， 12（28）： 2037-2041.

[2]CHEN Z X， LIU C Y， CHANG F L， et al. Fast face detection algorithm based on improved skin-color model[J]. Arabian Journal for Science and Engineering， 2013， 3（38）： 629-635.

[3]KUCHI P， GABBUR P， SUBBANNA B P， et al. Human face detection and tracking using skin color modeling and connected component operators[J]. Institution of Electronics and Telecommunication Engineers， 2002， 3-4（48）： 289-293.

[4]GIRONDEL V， BONNAUD L， CAPLIER A. Hands detection and tracking for interactive multimedia applications[G]. International Conference on Computer Visio and Graphics， 2002： 25-29.

[5]SHARKhark L K， YU C. Denoising by optimal fuzzy thresholding in wavelet domain[J]. Electronics Letters， 2000， 6（36）：581-582.