，，

(哈爾濱工業(yè)大學(xué)機(jī)器人技術(shù)與系統(tǒng)國家重點實驗室，黑龍江 哈爾濱 150001)

基于聯(lián)合標(biāo)定的圖像分割

張騰飛，李瑞峰，王亮亮

(哈爾濱工業(yè)大學(xué)機(jī)器人技術(shù)與系統(tǒng)國家重點實驗室，黑龍江 哈爾濱 150001)

針對普適環(huán)境下人體區(qū)域的提取問題，提出一種基于彩色攝像頭和深度攝像頭聯(lián)合標(biāo)定的圖像分割方法。首先根據(jù)深度攝像頭采集的深度信息易處理和受外界環(huán)境影響小的優(yōu)點，利用大律法從深度圖像中快速提取出人體區(qū)域；然后建立世界坐標(biāo)系中彩色圖像坐標(biāo)系和深度圖像坐標(biāo)系的對應(yīng)關(guān)系，實現(xiàn)彩色信息和深度信息的相對位置映射；最后根據(jù)分割的深度圖像及其在彩色圖像中的映射，在彩色圖像中完成人體區(qū)域分割。通過在復(fù)雜背景和不同光照條件下的圖像分割實驗，驗證了本方法具有良好的精度和魯棒性。

普適環(huán)境；彩色圖像；深度圖像；聯(lián)合標(biāo)定；圖像分割

0 引言

復(fù)雜背景及光照等交互場景的差異往往會直接影響人體區(qū)域的快速準(zhǔn)確提取，其精度和魯棒性對自然人機(jī)交互過程起著至關(guān)重要的作用。近年來，圖像中人體區(qū)域的分割一直是人機(jī)交互領(lǐng)域研究的熱點和難點[1-3]。研究的理論相對而言比較成熟，國內(nèi)外普遍將圖像分割方法分為基于區(qū)域的方法、基于邊界的方法和數(shù)學(xué)形態(tài)學(xué)方法[4]。但是上述方法往往不能自動實現(xiàn)區(qū)域的分割，需要手動選取部分的待分割區(qū)域的像素點，實時性差、易受光照和復(fù)雜背景的影響。采用一種基于聯(lián)合標(biāo)定的人體區(qū)域提取方法，將人體區(qū)域從具有復(fù)雜背景的彩色圖像和深度圖像中同時分割出來。

1 分割流程

深度攝像頭具有對深度信息采集速度快，受外界環(huán)境影響小的優(yōu)點，所以在光照變化，交互環(huán)境具有復(fù)雜背景的情況下，其分割仍可以具有很好的魯棒性和實時性。深度和彩色圖像由Kinect攝像頭采集得到，利用深度圖像中提取的人體區(qū)域的距離信息，采用大津法在深度圖像中選擇合適的閾值，使得背景和目標(biāo)之間的類間方差最大，達(dá)到錯分概率最小，實現(xiàn)深度圖像人體區(qū)域的快速提取；再對Kinect攝像頭的深度攝像頭和彩色攝像頭進(jìn)行聯(lián)合標(biāo)定，求得深度圖像到彩色圖像的轉(zhuǎn)換矩陣，最后將深度圖像中的人體區(qū)域通過轉(zhuǎn)換矩陣對應(yīng)到彩色圖像中，即可完成彩色圖像中人體區(qū)域的提取。分割方法的整個流程如圖1所示。

圖1 分割流程

2 攝像頭標(biāo)定

2.1 彩色攝像頭標(biāo)定

在彩色攝像頭的單獨標(biāo)定過程中，內(nèi)部參數(shù)的獲得使用常用的棋盤格標(biāo)定法進(jìn)行標(biāo)定，即張正友標(biāo)定法,通過選取棋盤格標(biāo)定板不同視角下的平面和彩色圖像中的角點，對彩色攝像頭內(nèi)部參數(shù)進(jìn)行標(biāo)定[5]。從彩色攝像頭坐標(biāo)系到彩色圖像坐標(biāo)系的轉(zhuǎn)換關(guān)系為：

(1)

[Xr,Yr,Zr]為空間中點在彩色攝像頭坐標(biāo)系下的坐標(biāo)；[Ur,Vr]為點在彩色圖像中的坐標(biāo)；fx，fy，u0和v0為彩色攝像頭的內(nèi)部參數(shù)。

2.2 深度攝像頭標(biāo)定

深度攝像頭的標(biāo)定不同于一般攝像頭的標(biāo)定過程，自然光照射下無法從深度圖像中區(qū)分色彩信息，圖像角點無法獲取，現(xiàn)有文獻(xiàn)中還未有統(tǒng)一的標(biāo)定方法。鄧志紅等人[6]提出鏤空的棋盤格標(biāo)定法，在深度圖像中獲取的角點效果較差，鏤空區(qū)域的角點位置不穩(wěn)定，標(biāo)定結(jié)果的重復(fù)性差。Herrera D等人[7]選取室內(nèi)較大物體，如桌子等，選取該物體在深度圖像和彩色圖像中的邊緣點完成標(biāo)定過程，但在深度圖像和彩色圖像中物體的邊緣點難以準(zhǔn)確對應(yīng)及獲取，同時為了獲得多組匹配點,一般需要多次的切換視角。針對上述方法中存在的問題，采用一種更加實用，計算更加簡便，結(jié)果更加準(zhǔn)確的標(biāo)定方法：深度攝像頭的標(biāo)定通過采集紅外燈照射下的棋盤格的紅外圖像進(jìn)行標(biāo)定，如此檢測到的角點位置更精確，角點數(shù)量更多，通過對多次標(biāo)定結(jié)果的擬合，即可得到轉(zhuǎn)換矩陣。

Kinect的深度攝像頭是只對紅外光成像的攝像頭，深度圖像中為距離信息，從直接采集的深度圖像中無法區(qū)分彩色信息，導(dǎo)致無法提取角點。所以將Kinect的紅外發(fā)射器擋住，另外用一束未經(jīng)過編碼的紅外光照射棋盤格，則深度攝像頭采集到的圖像仍為彩色信息，但點的坐標(biāo)對應(yīng)關(guān)系并未發(fā)生改變。內(nèi)部參數(shù)的獲得仍然使用常用的棋盤格標(biāo)定法進(jìn)行標(biāo)定，從深度攝像頭坐標(biāo)系到彩色圖像坐標(biāo)系的轉(zhuǎn)換關(guān)系為：

(2)

(3)

Zd=d

(4)

[Xd,Yd,Zd]為空間中點在深度攝像頭坐標(biāo)系下的坐標(biāo)；[Ud,Vd]為點在深度圖像中的坐標(biāo)；d為深度圖像中像素點的深度值；Du,Dv,Dx,Dy為深度攝像頭的內(nèi)部參數(shù)。

2.3 聯(lián)合標(biāo)定

設(shè)定空間中S點在世界坐標(biāo)系下坐標(biāo)為[Xw,Yw,Zw]；在彩色攝像頭坐標(biāo)系下坐標(biāo)為[Xr,Yr,Zr]，彩色攝像頭的外參數(shù)矩陣中的旋轉(zhuǎn)矩陣為Rr，平移向量為Tr；在深度攝像頭坐標(biāo)系下坐標(biāo)為[Xd,Yd,Zd]，深度攝像頭的外參數(shù)矩陣中的旋轉(zhuǎn)矩陣為Rd，平移向量為Td。則攝像頭坐標(biāo)系與世界坐標(biāo)系間變換關(guān)系為：

(5)

(6)

通過選取同一視角下的深度圖像與彩色圖像進(jìn)行標(biāo)定，選擇一張正面棋盤的標(biāo)定圖像即可得到Rr,Tr,Rd,Td。

則深度攝像頭坐標(biāo)系與彩色攝像頭坐標(biāo)系之間的轉(zhuǎn)換矩陣為：

(7)

(8)

(9)

3 圖像坐標(biāo)轉(zhuǎn)換

將式(1)～式(4)化為齊次坐標(biāo)形式，得：

(10)

(11)

由式(7)、式(10)和式(11)可得：

(12)

將式(10)代入式(12)可得最終的坐標(biāo)轉(zhuǎn)換關(guān)系為：

(13)

fx，fy，u0，v0，Du，Dv，Dx，Dy在攝像頭單獨標(biāo)定時已經(jīng)得到，Zr可由式(12)得到，Rdtr與Tdtr在聯(lián)合標(biāo)定時得到。這樣就得到了彩色圖像與深度圖像的坐標(biāo)轉(zhuǎn)換關(guān)系。

4 基于大律法的人體區(qū)域提取

大律法是由日本學(xué)者大律于1979年提出的，是一種自適應(yīng)的閾值確定方法，又叫最大類間方差法，簡稱OTSU[8]。在深度圖像中，人體區(qū)域和背景的深度值有明顯的區(qū)分。因此,使用大律法選擇最佳的分割閾值，該方法計算簡單速度快，通過自適應(yīng)閾值滿足前景區(qū)域深度值和背景區(qū)域深度值之間的類間方差最大，將深度圖像中的人體前景區(qū)域和背景區(qū)域兩部分進(jìn)行分割。

采集的深度圖像中像素點的深度值可由該點的灰度值計算得到：

(14)

對深度圖像Image，記為前景與背景的分割閾值，前景點數(shù)占圖像比例為w0，平均深度為d0；背景點數(shù)占圖像比例為w1，平均深度為d1。圖像的總平均深度為：d=w0d0+w1d1。從最小深度值到最大深度值遍歷t，當(dāng)t使得值g=w0(μ0-t)2+w1(μ1-t)2最大時，t即為分割的最佳閾值。對大津法可作如下理解：該式實際上就是類間方差值，閾值t分割出的前景和背景2部分構(gòu)成了整幅圖像，而前景取值d0，概率為w0，背景取為d1，概率為w1，總均值為d，根據(jù)方差的定義即得該式。因方差是灰度分布均勻性的一種度量,方差值越大,說明構(gòu)成圖像的2部分差別越大, 當(dāng)部分目標(biāo)錯分為背景或部分背景錯分為目標(biāo)都會導(dǎo)致2部分差別變小。因此，使類間方差最大的分割意味著錯分概率最小。

將深度圖像中得到的人體區(qū)域按式(13)的坐標(biāo)轉(zhuǎn)換關(guān)系映射到彩色圖像中，對應(yīng)點構(gòu)成的圖像即為彩色圖像中的人體區(qū)域。

5 實驗

5.1 攝像頭標(biāo)定

選取12張不在同的視角下拍攝的11×7的棋盤格得到彩色攝像頭內(nèi)部參數(shù)的標(biāo)定結(jié)果如表1所示。

表1 彩色攝像頭標(biāo)定結(jié)果

選取12張在不同的視角下拍攝的11×7的棋盤格得到深度攝像頭內(nèi)部參數(shù)的標(biāo)定結(jié)果如表2所示。

表2 深度攝像頭標(biāo)定結(jié)果

選擇一張正面棋盤同一視角下的深度圖像與彩色圖像進(jìn)行標(biāo)定，得到：

由于標(biāo)定的時候，棋盤格間距按1mm來進(jìn)行計算，所以，平移矩陣應(yīng)乘以棋盤格間距為30mm。最終得到：

5.2 提取效果驗證

根據(jù)背景復(fù)雜程度和光照條件的不同將實驗圖片分為4組。①簡單背景理想光照條件下的人體姿態(tài),如圖2a所示;②復(fù)雜背景和理想光照條件下的人體姿態(tài)，如圖2b所示;③簡單背景和較暗光照條件下的人體姿態(tài)，如圖2c所示;④復(fù)雜背景和較暗光照條件下的人體姿態(tài)，如圖2d所示。

圖2 原始圖像采集

分割效果如圖3～圖4所示。由圖4的提取效果對比中可以看出，背景的復(fù)雜程度對提取效果幾乎無影響，這是由于深度圖像提取人體區(qū)域時，進(jìn)行分割的閾值只與距離有關(guān)系，與人體和背景的色彩紋理沒有關(guān)系。

同時可以看出，提取效果幾乎不受光線的影響，甚至可以看到較暗光照下分割效果略微好于理想光照，這是由于深度圖像的分割效果只與深度攝像頭接收到的紅外光線有關(guān)，光照較強(qiáng)時陽光中的紅外線會對攝像頭本身的紅外光線產(chǎn)生一些影響，但從實驗結(jié)果看到影響很小，可以忽略。

圖3 深度圖像分割效果

圖4 彩色圖像分割效果

6 結(jié)束語

針對彩色圖像中人體區(qū)域提取較困難的問題，嘗試將彩色圖像與深度圖像結(jié)合起來使用。在對彩色攝像頭和深度攝像頭聯(lián)合標(biāo)定的過程中，深度攝像頭的標(biāo)定方法不同于以往的方法，以往的方法往往實現(xiàn)起來較復(fù)雜，標(biāo)定結(jié)果不可靠，利用未經(jīng)編碼的紅外光照射棋盤格得到標(biāo)定圖像，實現(xiàn)起來更加容易，從提取效果來看標(biāo)定的結(jié)果是精確可靠的。

提出的基于聯(lián)合標(biāo)定的人體區(qū)域提取方法，不僅適用于Kinect的2個獨立的深度攝像頭和彩色攝像頭，也可以利用此方法，來實現(xiàn)對普適環(huán)境中人體區(qū)域的準(zhǔn)確提取。

[1] Bruce J,Balch T,Veloso M.Fast and inexpensive color image segmentation for interactive robots[J].Intelligent Robots and Systems,2000.(IROS 2000).Proceedings,2000IEEE/RSJ International Conference on,2000(3):2061-2066.

[2] Cheng S C.Region-growing approach to color segmentation using 3D clustering and relaxation labeling[J].Vision,Image and Signal Processing,2003,150(4):270-276.

[3] Parker J R.Gray level thresholding in badly illuminated images[J].Pattern Analysis and Machine Intelligence,1991,13(8):813-819.

[4] 曹雛清.面向多方式人際交互的肢體動作識別研究[D].哈爾濱:哈爾濱工業(yè)大學(xué),2012.

[5] 狄海進(jìn).基于三維視覺的手勢跟蹤及人機(jī)交互中的應(yīng)用[D].南京:南京大學(xué)，2011.

[6] 鄧志紅,劉明陽,付夢印.一種改進(jìn)的視覺傳感器與激光測距雷達(dá)特征匹配點提取算法[J].光學(xué)技術(shù),2010,36(1):43-47.

[8] 卜濤濤,盧超.圖像分割算法研究[J].電腦知識與技術(shù),2010,6(8):1944-1946.

Image Segmentation Based on Joint Calibration

ZANGTengfei,LIRuifeng,WANGLiangliang

(State Key Laboratory of Robotic and System,Harbin Institute of Technology,Harbin 150001,China)

Concerning the problem that it’s difficult to extract the body region under pervasive environment,we proposed an image segmentation method based on joint calibration of color camera and depth camera.In a complex environment indoors or outdoors,as a depth camera can capture information fast and won’t be affected by the environment,we use OTSU to extract body region from a depth image.Then we use the joint calibration method proposed in this article to get the body region from the color image.At last,by experiments of different backgrounds and illumination conditions,the validity of the method is verified.In this way,our method eliminates the effect of light and complex background on the extraction.Also,our method can extract dynamic or static body region quickly and accurately.Our method is robust and real-time.

pervasive environment;color image;depth image;joint calibration;image segmentation

2014-04-01

國家自然科學(xué)基金資助項目(61273339)

TP751

A

1001-2257(2014)08-0003-04

張騰飛(1990-),男，河北定州人，碩士研究生，研究方向為機(jī)器視覺;李瑞峰(1965-),男，山西大同人，教授,博士研究生導(dǎo)師,研究方向為智能服務(wù)機(jī)器人、先進(jìn)工業(yè)機(jī)器人;王亮亮(1987-),男，山東臨沂人，博士研究生,研究方向為機(jī)器視覺。