姚 礪,董國勝,唐洪泰,龍文錚

(1. 東華大學(xué) 計算機(jī)科學(xué)與技術(shù)學(xué)院，上海201620； 2. 第二軍醫(yī)大學(xué)附屬長海醫(yī)院燒傷科，上海200433)

一種三維人體表面成像技術(shù)在人體燒傷面積估算中的應(yīng)用

姚 礪1,董國勝1,唐洪泰2,龍文錚1

(1. 東華大學(xué) 計算機(jī)科學(xué)與技術(shù)學(xué)院，上海201620； 2. 第二軍醫(yī)大學(xué)附屬長海醫(yī)院燒傷科，上海200433)

提出了一種人體成像技術(shù)應(yīng)用在人體燒傷面積評估中的系統(tǒng)框架.通過Kinect設(shè)備掃描燒傷人體獲取真實的三維坐標(biāo)數(shù)據(jù)及顏色信息，對這兩種數(shù)據(jù)進(jìn)行配準(zhǔn)和疊加，并利用Kinect Fusion技術(shù)將各幀數(shù)據(jù)融合以重建三維彩色模型，設(shè)計了三維模型特征區(qū)域提取及面積計算方法. 最后，通過對紙箱模型進(jìn)行測量并采用貼片對真實人體模型模擬燒傷區(qū)域與面積計算的試驗，證明了系統(tǒng)的可行性.

三維重建; 燒傷面積; Kinect; 特征區(qū)域提取

燒傷面積的精確估算對燙燒傷臨床診治起到至關(guān)重要的作用. 創(chuàng)面形狀、分布深度的不同，以及不同醫(yī)生對同一創(chuàng)面的判斷及認(rèn)識不同，都會導(dǎo)致醫(yī)療工作者對傷情判斷、治療策略產(chǎn)生極大差異. 因此，人工估算燒傷面積不具有可重復(fù)性和可比性，不能建立統(tǒng)一的評價標(biāo)準(zhǔn)[1].

自18世紀(jì)以來，人們不懈地尋找簡便、準(zhǔn)確、快速的人體燒傷面積估算方法. 進(jìn)入20世紀(jì)，以“ Lund- Browder 表格法”[2]或“九分法”(Rule of Nines)[3]為主、“手掌面積法”(Rule of Palms)[4]為輔的燒傷面積評估方法在國際上被廣泛應(yīng)用. 然而，這些方法均為粗略的二維估算法，受主觀因素影響大. 隨著計算機(jī)技術(shù)的革新和治療理念的改變，近十幾年來，已有眾多學(xué)者借助3D技術(shù)的蓬勃發(fā)展及其獨特的優(yōu)勢，研發(fā)了一系列計算機(jī)輔助3D人體體表面積估算方法. 如臺灣“清華大學(xué)”開發(fā)的3D人體掃描系統(tǒng)[5]，但由于該設(shè)備要求場地設(shè)施固定，采集信息時受試者必須直立，硬件設(shè)施昂貴，且受試者身體的移動會導(dǎo)致結(jié)果偏差較大，不適用于大面積燒傷或者特殊部位燒傷的估算，缺乏臨床實用性.

奧地利研發(fā)的Burncase 3D[6-8]及美國研發(fā)的EPRI 3D Burn Vision[9]系統(tǒng)，均可通過選擇系統(tǒng)中預(yù)先存儲的人體模型進(jìn)行燒傷面積診斷，其主要缺點是沒有考慮肥胖體質(zhì)、身體畸形等因素，不能覆蓋廣大人群，且體重指數(shù)(body mass index,BMI)對身體表面積及體型的影響很大[10]. 基于此，文獻(xiàn)[11]開發(fā)了針對人體體型、年齡等特征選取相應(yīng)模型進(jìn)行燒傷評估的BAI系統(tǒng)軟件. 該軟件仍然應(yīng)用了預(yù)設(shè)的有限的3D模型，雖然預(yù)設(shè)的3D模型存儲只用了固定的存儲空間，在一定程度上限制了空間消耗，但仍存在特定特征模型缺失的局限性，使用戶不能及時獲得實際精確的3D模型，因而造成測量誤差.

為了解決上述問題，本文提出一種利用人體成像技術(shù)進(jìn)行人體燒傷表面積評估的應(yīng)用系統(tǒng). 該系統(tǒng)利用便攜式設(shè)備Kinect對人體進(jìn)行掃描，經(jīng)過系統(tǒng)處理獲取三維彩色模型，進(jìn)而評估模型上的燒傷區(qū)域面積.

1 系統(tǒng)框架

本文提出的系統(tǒng)主要由3部分組成：便攜式人體掃描系統(tǒng)、三維人體模型、交互式燒傷面積估算，如圖1所示.

圖1 三維人體表面成像技術(shù)在人體燒傷面積估算中的應(yīng)用流程Fig.1 3D human body surface imaging in the human body burns estimating process

1.1 便攜式人體掃描系統(tǒng)

便攜式人體掃描系統(tǒng)由硬件系統(tǒng)、三維數(shù)據(jù)采集及校準(zhǔn)算法構(gòu)成. 通過手持掃描設(shè)備繞行人體，如圖2(a)所示，采集帶有深度信息的數(shù)據(jù)，通過特定的標(biāo)定矩陣校準(zhǔn)后獲得三維空間的點云數(shù)據(jù).

(b) 實際掃描過程

本文采用的手持掃描設(shè)備是微軟公司為XBOX360游戲機(jī)開發(fā)的一個體感外設(shè)Kinect，其配有3個鏡頭，中間的鏡頭是RGB VGA攝像頭，分辨率為640像素×480像素，左、右兩側(cè)鏡頭則分別為紅外線發(fā)射器和紅外線CMOS攝像頭所構(gòu)成的3D深度感應(yīng)器，統(tǒng)稱為深度攝像頭，其分辨率也為640像素×480像素. 深度攝像頭采用光編碼(light coding)方法，即利用光線對待掃描的空間進(jìn)行編碼. 通過利用紅外攝像頭按照一定規(guī)律發(fā)射點陣，然后采用一個普通的CMOS傳感器捕獲該點陣. 發(fā)射的點陣中有一些模式會在整個投影畫面中重復(fù)出現(xiàn)，攝像頭的點陣隨著場景深度的變化而變化. 利用這種點陣的模式變化情況可以推斷出目標(biāo)物體或場景各點的深度信息. 因此，從Kinect獲得信息有兩種，一是彩色信息，二是深度信息.

由設(shè)備采集的深度信息得到二維的深度圖像. 為了真實測量人體相關(guān)尺寸和區(qū)域面積，通過掃描設(shè)備預(yù)設(shè)的標(biāo)定矩陣以及掃描設(shè)備與目標(biāo)之間的角度關(guān)系，將二維深度圖像轉(zhuǎn)化為具有三維坐標(biāo)信息的點云數(shù)據(jù). 同時，為了便于用戶在模型上尋找特定的燒傷區(qū)域，還需要采集彩色信息. 由設(shè)備采集的彩色信息是普通的二維圖像，將彩色二維圖像和轉(zhuǎn)化的點云數(shù)據(jù)進(jìn)行匹配與疊加，可以得到具有彩色信息的三維點云.

1.2 三維人體模型

3D人體模型由具有三維坐標(biāo)和彩色信息的三維點云數(shù)據(jù)組成，并通過網(wǎng)格化的表面重建過程體現(xiàn)出人體的表面效果. 從掃描系統(tǒng)采集和轉(zhuǎn)化而來的點云數(shù)據(jù)起初是一片一片的，每片數(shù)據(jù)都是獨立的，并不能構(gòu)成完整的人體模型，而且還包含了不需要的背景信息以及噪聲數(shù)據(jù). 三維人體模型子系統(tǒng)的目標(biāo)是對掃描系統(tǒng)獲得的各片點云數(shù)據(jù)進(jìn)行配準(zhǔn)并重建人體表面，最終得到帶有彩色信息的完整、光滑的曲面，該曲面構(gòu)成了目標(biāo)人體的3D模型.

從掃描系統(tǒng)獲得的帶有彩色信息及三維坐標(biāo)的點云數(shù)據(jù)，經(jīng)過特定的配準(zhǔn)算法和表面重建方法，首先得到完整的場景模型，然后利用三維點云處理軟件Meshlab對該場景模型進(jìn)行手動操作去除復(fù)雜的背景并適當(dāng)過濾噪聲，最終可得到需要的人體模型.

ICP(iterative closest point)配準(zhǔn)算法[12]是一種經(jīng)典的點云配準(zhǔn)方法，但應(yīng)用該算法直接進(jìn)行點云配準(zhǔn)的效率很低，不能滿足實時性要求. Kinect Fusion[13]舍棄以往直接使用ICP疊合多組不同視角的點云信息的傳統(tǒng)做法，改為在三維空間中通過許多立體像素組成區(qū)域空間的Volumetric法來建立場景的三維信息. Kinect Fusion采用GPU并行計算處理數(shù)據(jù)，可以很大程度上提高數(shù)據(jù)處理速度，達(dá)到實時的三維重建效果.

本文基于改進(jìn)的ICP配準(zhǔn)方法和Kinect Fusion技術(shù)構(gòu)建三維場景信息. 經(jīng)過配準(zhǔn)、重建以及過濾，最終獲得的三維人體模型包含了具有三維坐標(biāo)與彩色信息的點云數(shù)據(jù)以及頂點構(gòu)成的網(wǎng)格面片信息.

1.3 交互式燒傷面積估算

在獲取三維人體模型后，通過一個獨立的大型處理二維/三維圖像和點云數(shù)據(jù)的開源工程PCL (point cloud library) 實現(xiàn)可視化平臺，展示模型結(jié)果，并為用戶提供對模型的任意放大、縮小、360°旋轉(zhuǎn)、對比調(diào)整等操作. 用戶可以根據(jù)模型上的信息分布給定指定區(qū)域，交給系統(tǒng)處理，系統(tǒng)則首先計算模型上指定區(qū)域內(nèi)的所有點，然后計算這些點相關(guān)的三角網(wǎng)格面積和，最終輸出該指定燒傷區(qū)域的面積.

2 關(guān)鍵技術(shù)

2.1 多幅點云數(shù)據(jù)配準(zhǔn)及彩色表面重建

ICP算法將當(dāng)前三維圖像的點云數(shù)據(jù)與上一幀的點云數(shù)據(jù)匹配. 當(dāng)?shù)谝唤M點云中的每一個點對應(yīng)到第二組點云中與其特征相似點的距離最小時，可以得到一組相鄰兩空間的最佳平移和旋轉(zhuǎn)數(shù)值，然后計算出相對于全局坐標(biāo)系(世界坐標(biāo)系)的平移向量和旋轉(zhuǎn)矩陣，最后得到整體全局模型點云數(shù)據(jù).傳統(tǒng)ICP算法的3個終止迭代的條件：

(1) 迭代次數(shù)超過被設(shè)置次數(shù)；

(2) 最后一次迭代的對齊變換值和當(dāng)前估計對齊變換值的差比被設(shè)置值小(即找到最近點)；

(3) 歐式距離的平方和小于給定的閾值.

因此，傳統(tǒng)ICP算法的復(fù)雜度為O(N·M·S)，其中，N為目標(biāo)點云中點的個數(shù)，M為最近點的個數(shù)，S為最終迭代次數(shù).

顯然，上述ICP配準(zhǔn)不能很好地滿足實時建模的要求. 在實時掃描過程中，程序以30幀/s的速度來讀取數(shù)據(jù)，數(shù)據(jù)之間差異很小，因此，可以假設(shè)當(dāng)前幀點云的位置變化較上一幀點云的位置變化很小. 所以可以將傳統(tǒng)ICP算法的終止迭代條件(2)改為直接將兩個點云(當(dāng)前點云和上一幀點云)投影到模型的照片幀上，如果兩個點重合在同一個像素點上，則說明這兩個點彼此匹配，進(jìn)而終止此次迭代. 此算法運(yùn)行在GPU上，并利用其變化的漸進(jìn)性(連續(xù)兩幀之間的細(xì)小變化)來計算轉(zhuǎn)換矩陣(平移和旋轉(zhuǎn)矩陣). 改進(jìn)后的ICP算法復(fù)雜度為O(S)，S為迭代次數(shù).

Kinect Fusion使用深度數(shù)據(jù)進(jìn)行三維重建，避免了彩色圖像進(jìn)行特征點匹配的誤差，同時由于其基于GPU并行計算處理數(shù)據(jù)的能力，可以達(dá)到實時的三維重建效果. 此方法首先測量物體表面到每個立體像素的距離值，同時還需要設(shè)置一個權(quán)重值，此權(quán)重值由物體表面的法向量對應(yīng)的深度信息的射線向量計算得到，權(quán)重值代表了該立體像素的重要性. 研究發(fā)現(xiàn)，在彩色重建時，權(quán)重值的范圍是影響最終彩色模型效果的一個重要因素.

2.2 特征區(qū)域提取及面積估算

在人體三維模型建立的基礎(chǔ)上，為了獲取燒傷輪廓并計算面積，用戶必須對燒傷區(qū)域進(jìn)行標(biāo)記，即在人體模型數(shù)據(jù)上標(biāo)示出燒傷區(qū)域作為系統(tǒng)待識別的特征區(qū)域. 具體的特征區(qū)域提取流程如下：

(1) 用戶在彩色模型視圖上對特定色彩區(qū)域(即燒傷膚色區(qū)域)的邊界選取關(guān)鍵點，并通過系統(tǒng)標(biāo)記出來.

(2) 系統(tǒng)首先勾勒出特征區(qū)域的邊緣，即各相鄰兩關(guān)鍵點之間拉線形成封閉的環(huán)，如圖3(a)所示.

(3) 找到各條邊上的所有頂點，即特征區(qū)域邊緣附近的所有點，如圖3(b)所示.

(4) 在特征區(qū)域所在最小矩形內(nèi)尋找所有特征點，即特征區(qū)域內(nèi)部點，如圖3(c)所示.

(5) 計算特征區(qū)域面積. 在邊緣所圍的區(qū)域內(nèi)找到與特征點關(guān)聯(lián)的所有三角網(wǎng)格，如圖3(d)所示，去除重復(fù)的三角網(wǎng)格，計算所有三角網(wǎng)格的面積之和. 計算面積時，需要去除特征區(qū)域邊緣點的外圍區(qū)域上的網(wǎng)格，否則會由于邊緣導(dǎo)致計算面積區(qū)域變大，如圖4所示.

圖3 人體燒傷面積計算模型Fig.3 Computational model of body burn area

圖4 特征區(qū)域的邊緣區(qū)域Fig.4 The edge of the feature region

通過面片的3個頂點坐標(biāo)確定各邊邊長，并根據(jù)海倫公式面積法，得到面片F(xiàn)i的面積為

(1)

模型總表面積為

(2)

其中：PFi-p1p2p3=(DFi-p1p2+DFi-p1p3+DFi-p2p3)/2； Fi-p1(xFi-p1,yFi-p1,zFi-p1),Fi-p2(xFi-p2,yFi-p2,zFi-p2)和Fi-p3(xFi-p3,yFi-p3,zFi-p3)為第i個三角面片F(xiàn)i上的3個頂點；DFi-p1p2,DFi-p1p3,DFi-p2p3為點的距離即各邊邊長；n為三角面片的總數(shù).

3 試驗結(jié)果與分析

本文試驗所使用的計算機(jī)設(shè)備的中央處理器為Intel(R) CORE i7-2600，系統(tǒng)使用顯卡為Nvidia GTX660且顯存為2GB. 由于人體特征數(shù)據(jù)的特殊性，以及測量的不方便性，為了說明掃描得到的人體三維數(shù)據(jù)的可試驗性，首先對可進(jìn)行實物測量的物體進(jìn)行3D掃描及重建，計算面積并進(jìn)行誤差分析，進(jìn)而評估系統(tǒng)的穩(wěn)定性和可用性；再對人體進(jìn)行實際測算，在其身上通過不同大小、形狀、顏色的貼片模擬不同面積的燒傷創(chuàng)面，應(yīng)用3D掃描系統(tǒng)對燒傷面積、顏色、身體成分等進(jìn)行分析計算，并與真實數(shù)據(jù)(實際貼片面積)進(jìn)行比較.

3.1 可測量物體監(jiān)測結(jié)果

本文首先對圖5所示的傳統(tǒng)紙箱進(jìn)行了三維掃描，并分別在實際物理空間和三維模型空間中10次測量其長、寬、高值進(jìn)行表面積計算，在兩種空間下測量結(jié)果的比較如圖6所示.

圖5 紙箱實際測量和模型測量Fig.5 Cartons measuring the actual measurement and modeling

圖6 紙箱表面積測量情況Fig.6 Chart of carton surface area measurement

對紙箱表面積實際測量結(jié)果和模型測量結(jié)果進(jìn)行統(tǒng)計學(xué)誤差分析得到的結(jié)果如表1所示. 由表1可知，模型測量紙箱數(shù)據(jù)表面積的相對精密度達(dá)到了1.257%，所以利用本文的三維模型進(jìn)行物體表面積測量具有較高的應(yīng)用價值.

表1 誤差分析Table 1 Error analysis

3.2 模擬監(jiān)測

(1) 模擬監(jiān)測一.燒傷模擬貼片采用如圖7所示的長方形紙牌，長為8.71 cm,寬為 5.71 cm,測試結(jié)果如表2所示.

(2) 模擬監(jiān)測二.燒傷模擬貼片采用如圖7所示的直角三角形紙片，底邊長為10.65 cm,高為 10.81 cm,測試結(jié)果如表3所示.

圖7 模擬監(jiān)測實物圖Fig.7 Photo ofphysical for analog measurement

由表2和3可知，長方形紙牌模擬貼片的特征區(qū)域測量誤差區(qū)間為0.55%～6.10%，直角三角形紙片模擬貼片的特征區(qū)域測量誤差區(qū)間為0.13%～3.92%，由此說明，在手動勾選特征區(qū)域易引起人為誤差的情況下，本文系統(tǒng)仍能保證很好的精確度.

表2 紙牌貼片燒傷面積評估模擬監(jiān)測Table 2 Solitaire patch burn area assessment analog monitor

表3 直角三角形貼片燒傷面積評估模擬監(jiān)測Table 3 Triangle patch burn area assessment analog monitor

基于三維人體模型的燒傷面積估算的精度依賴于兩方面：一是人體表面模型數(shù)據(jù)獲取，二是燒傷區(qū)域的選取和測量. 本文提出的基于Kincet實時建立真實人體模型，與傳統(tǒng)的從現(xiàn)有模型庫中篩選近似人體模型的方法[6]相比，更具可靠性，且不需大量存儲空間，只需保存病人相關(guān)的文本信息.從本文對規(guī)則形狀物體和貼片的測量結(jié)果分析可知，本文提出的基于Kinect人體成像技術(shù)獲取人體三維模型并計算區(qū)域面積具有可行性.

4 結(jié) 語

本文提出了基于Kinect的人體成像技術(shù)在人體燒傷表面積評估中應(yīng)用的系統(tǒng)框架，與傳統(tǒng)的燒傷面積評估方法相比，該方法具有明顯的優(yōu)勢. 首先，提出的人體成像技術(shù)對人體幾乎沒有傷害，且設(shè)備成本低且便攜，可以快速獲得真實信息，并能實時觀測模型結(jié)果；其次，在真實數(shù)據(jù)的模型上計算燒傷區(qū)域及其面積，避免了實際測量中對病人過久的干擾等，而且還減少了醫(yī)生主觀判斷的誤差；最后，通過本文的方法獲取模型數(shù)據(jù)，不僅可以應(yīng)用于創(chuàng)傷，還可以用于其他各種體表疾患(疤痕、皮膚疾病等)皮損范圍的測算，具有廣闊的前景.通過對重建后的三維模型測量數(shù)據(jù)與實際物理空間測量的真實數(shù)據(jù)的比較，證明本文提出的三維人體表面成像技術(shù)在人體燒傷面積估算應(yīng)用的可行性.

本文采用交互式的三維特征區(qū)域提取的方法理論上適于具有直線段邊緣的區(qū)域，并且模擬監(jiān)測的試驗結(jié)果證明了該方法對提取多邊形區(qū)域精確可靠，但本算法對類似皮膚燒傷區(qū)域存在弧形的邊緣提取還有待進(jìn)一步研究. 此外，模型的彩色重建方面也有待進(jìn)一步完善：一是彩色模型出現(xiàn)的花斑；二是由于掃描不充分模型上出現(xiàn)空洞；三是實現(xiàn)實時去背景以達(dá)到實時獲取干凈的目標(biāo)模型.

[1] JOSE R M,ROY D K,VIDYADHARAN R,et al. Burns area estimation: An error perpetuated[J]. Burns,2004,30(5): 481-482.

[2] LUND C C,BROWDER N C. The estimation of areas of burns[J]. Surg Gynecol Obstet,1944,79: 352-358.

[3] WALLACE A B. The exposure treatment of burns[J]. The Lancet,1951,257(6653): 501-504.

[4] WACHTEL T L,BERRY C C,WACHTEL E E,et al. The inter-rater reliability of estimating the size of burns from various burn area chart drawings[J]. Burns,2000,26(2): 156-170.

[5] YU C Y,LO Y H,CHIOU W K. The 3D scanner for measuring body surface area: A simplified calculation in the Chinese adult[J]. Applied ergonomics,2003,34(3): 273-278.

[6] HALLER H L,DIRNBERGER J,GIRETZLEHNER M,et al. “Understanding burns”: Research project BurnCase 3D: Overcome the limits of existing methods in burns documentation[J]. Burns,2009,35(3): 311-317.

[7] DIRNBERGER J,GIRETZLEHNER M,LUCKENEDER T,et al. BurnCase 3D: Realistic adaptation of 3-dimensional human body models[C]// Medical Image Computing and Computer-Assisted Intervention. Springer Berlin Heidelberg,2004: 363-370.

[8] DIRNBERGER J,GIRETZLEHNER M,RUHMER M,et al. Modelling human burn injuries in a three-dimensional virtual environment[J]. Studies in Health Technology and Informatics,2003,94: 52-58.

[9] NEUWALDER J M,SAMPSON C,BREUING K H,et al. A review of computer-aided body surface area determination: SAGE II and EPRI’s 3D Burn Vision[J]. Journal of Burn Care & Research,2002,23(1): 55-59.

[10] LIVINGSTON E H,LEE S. Percentage of burned body surface area determination in obese and nonobese patients[J]. Journal of Surgical Research,2000,91(2): 106-110.

[11] PRIETO M F,ACHA B,GMEZ-CIA T,et al. A system for 3D representation of burns and calculation of burnt skin area[J]. Burns,2011,37(7): 1233-1240.

[12] SEITZ S M,CURLESS B,DIEBEL J,et al. A comparison and evaluation of multi-view stereo reconstruction algorithms[C]// IEEE Computer Society Conference on Computer Vision and Pattern Recognition. 2006: 519-528.

[13] IZADI S,KIM D,HILLIGES O,et al. KinectFusion: Real-time 3D reconstruction and interaction using a moving depth camera[C]//Proceedings of the 24th Annual ACM Symposium on User Interface Software and Technology. 2011: 559-568.

Application to Body Surface Burn Area Estimation Using 3D Imagining Techniques

YAOLi1,DONGGuo-sheng1,TANGHong-tai2,LONGWen-zheng1

(1. School of Computer Science and Technology,Donghua University,Shanghai 201620,China;2. Department of Burns,Changhai Hospital,Second Military Medical University,Shanghai 200433,China)

A framework of body imaging techniques applied to the evaluation of the body surface burn area was presented. The burned body was scanned by Kinect,where the 3D data from real world and its corresponding color information were obtained. Then， by rectifying and adding together the obtained data and by fusing the frames with Kinect Fusion,a 3D color model was reconstructed. The feature region extraction and area computation method for 3D model were designed. Finally,the experiment of a box model was measured and burn areas on real body model were simulated with patches,which proved the feasibility of the system.

3D reconstruction; burn area; Kinect; feature region extraction

1671-0444(2015)01-0084-07

2013-09-30

國家自然科學(xué)基金資助項目(81372057)

姚 礪(1967—)，男，安徽合肥人，副教授，博士，研究方向為圖像處理模式識別、軟件測試.E-mail:yaoli@dhu.edu.cn

TP 399

A