徐連霞

(江蘇財(cái)經(jīng)職業(yè)技術(shù)學(xué)院,江蘇 淮安 223003)

一種由序列圖像重建皮膚表層形狀的算法

徐連霞

(江蘇財(cái)經(jīng)職業(yè)技術(shù)學(xué)院,江蘇 淮安 223003)

提出了一種從不同方向照射皮膚形成多幅圖像重建皮膚表層的新方法。由于皮膚表層凹凸不平，而用傳統(tǒng)的立體成像方法存在著鏡面反射和全反射，不能精確地重建皮膚表層。而選取一些光強(qiáng)度數(shù)據(jù)，在這些數(shù)據(jù)中不包括鏡面反射和全反射光強(qiáng)度數(shù)據(jù)，并從選取的數(shù)據(jù)中采用單值分解(SVD)方法可以精確計(jì)算出法向向量。實(shí)驗(yàn)結(jié)果表明，這種方法對在一系列包含鏡面反射和全反射的序列圖像中重建皮膚表層形狀非常有效。

三維重建；鏡面反射；自身陰影；皮膚表層

0 引言

由于皮膚表層的三維形狀取決于皮膚的生理狀況，精確的三維重建對于識別皮膚的質(zhì)量和生理狀況非常重要。皮膚每處的反射系數(shù)都是一致的，三維重建結(jié)果通常都能精確地反映出皮膚的形狀?？墒羌词姑恳粋€(gè)物體的反射系數(shù)是均一的，也不能排除鏡面反射。在圖像成像中鏡面反射、全反射時(shí)有發(fā)生[1-3]。利用傳統(tǒng)的圖像重建技術(shù)[4，5]實(shí)現(xiàn)三維重建是非常困難的。

為了克服這些問題，采用從不同方向光線照射來獲取序列圖像，可以獲得足夠反映反射系數(shù)的信息，與文獻(xiàn)[6，7]研究相似。在這些研究方法中，通過多幅圖像盡量恢復(fù)反射系數(shù)的參數(shù)，鏡面反射的問題被解決了，然而全反射和自身陰影不容易解決，因?yàn)檫@些問題取決于物體形狀本身。在文獻(xiàn)[1，2]研究中提出綜合分析結(jié)構(gòu)來重建的方法。在這種方法中，圖像先拼合成綜合圖像，然后用實(shí)際形椎分析合成的圖像再與輸入圖像進(jìn)行比較。雖然這種方法可以解決形狀重建中的全反射和陰影問題，但是如果所采集的圖像模糊，要精確重建還是比較困難的。

本文提出一種移動(dòng)光源的方法，從獲得的序列圖像來重建皮膚表層，因?yàn)槎喾鶊D像能提供足夠的信息來解決全反射、自身陰影及其它一些復(fù)雜的效應(yīng)，能夠識別圖像進(jìn)行精確的三維重建。在一個(gè)簡單的模型下定義一個(gè)矩陣方程，在這模型中沒有全反射和陰影等方面的影響?？紤]到模型的誤差，使用SVD(單值分解)的方法來解矩陣方程。在簡單模型與實(shí)際情形之前產(chǎn)生了大量的誤差，按照誤差值選取誤差樣本計(jì)算差分。重復(fù)這個(gè)選項(xiàng)，選取服從這個(gè)簡單模型的樣本。利用這種方法，可以去除全反射和陰影，然后精確重建皮膚表層的三維形狀。

為了驗(yàn)證方法的有效性，以下從一序列圖像中展示了一些皮膚表層重建的情況。

1 圖像校正排列

為了獲取多方位的不同光源照射圖像，使用圖1的排列，三個(gè)光源之間的間隔為120°，每條光線都能旋轉(zhuǎn)120°。

2 圖像強(qiáng)度模型

在光源發(fā)射的假設(shè)下，一個(gè)遠(yuǎn)距離的單點(diǎn)光源，其在任意一點(diǎn)p(x,y)的強(qiáng)度可以用方程(1)來表示：

I=ηL·n

(1)

η是界面的反射系數(shù)，n是界面的法向量，L是光線的方向。如果能夠得到在三個(gè)不同的光線方向L到一點(diǎn)的亮度I，可以利用反射系數(shù)η來重建在點(diǎn)p(x,y)的法向量[6]。如果拿三幅從不同的光源照射的圖片，在每一個(gè)像素點(diǎn)方程(1)都滿足，可以重建出每一像素點(diǎn)的表面法向量。然而由于鏡面反射、全反射和自身陰影，大多數(shù)像素點(diǎn)還是不能夠滿足方程(1)。

為了克服這些問題，利用多條不同方向的光線L(θ)，光線在不同的角度θ下照射。然后方程(1)就可以寫成如下的形式。

I(θ)=ηL(θ)·n

(2)

(3)

如果在光源照射方向每一條光線的值都滿足方程(1),那么這值必須符合正弦曲線函數(shù)：

I(θ)=Asin(θ+B)+C

(4)

其中：

(5)

(6)

C=ηcosφnz

(7)

因此，可以在每一像素處通過I(θ)擬合正弦曲線來計(jì)算出表面法線。為了這個(gè)擬合，使用SVD方法來解矩陣方程。

(8)

其中光源的方向是表面的法向量角度分別為[θ1，θ2,…,θn]及固定夾角φ。

在實(shí)際情況中，I(θ)中只有部分的值滿足方程(1)式。產(chǎn)生這種現(xiàn)象的原因是由表面存在著鏡面反射及全反射以及陰影造成的。因此，必須提取出那些能夠擬合正弦曲線強(qiáng)度的數(shù)據(jù)，以便能夠精確計(jì)算出表面法向量(nx,ny,nz)，為了在模型中提取出強(qiáng)度數(shù)據(jù)，采用下面的處理步驟。

3 形狀重建

3.1 算法流程圖

算法的流程如圖2所示。首先，校正光強(qiáng)度數(shù)據(jù)，因?yàn)槿龡l光線的能量并不一樣。其次，選擇強(qiáng)度數(shù)據(jù)中不包括鏡面反射和全反射以及自身陰影的數(shù)據(jù)。再次，再利用SVD方法按照方程(8)計(jì)算表面的法向量。最后，所有的法向量整合到一起得到皮膚表層的三維形狀。

3.2 去除低強(qiáng)度數(shù)據(jù)

在圖3中，顯示的是在相差120°不同方向的光線在同一像素點(diǎn)的強(qiáng)度I(θ)。在圖3(a)中的強(qiáng)度曲線，強(qiáng)度最小值基本上都是在200°～300°之間。在這些強(qiáng)度數(shù)據(jù)中有些值是不能低于某一固定值的，否則不能擬合出正弦曲線。

為了從擬合的正弦曲線中去除一些低強(qiáng)度的數(shù)據(jù)，設(shè)置一定的閾值，低于閾值的數(shù)據(jù)將被去除。閾值的取值靠最初的實(shí)驗(yàn)得出。

強(qiáng)度數(shù)據(jù)不能包括低值的數(shù)據(jù)是由于全反射的緣故。全反射把一些光的強(qiáng)度又反射到光源上去。圖4是全反射效應(yīng)的原理圖。在區(qū)域A的表面，大部分全反射的光線來自區(qū)域B的表面。然而由于全反射的強(qiáng)度并不大，因?yàn)閰^(qū)域B表面的法線近似垂直光源的方向。相反，B區(qū)域表面的全反射強(qiáng)度非常的大，因?yàn)榇蟛糠秩瓷涞墓舛际莵碜訟區(qū)域表面，因?yàn)閰^(qū)域A表面的法線近似平行于光線的方向。按照這個(gè)全反射效應(yīng)的經(jīng)典模型，可以設(shè)想全反射大部分效應(yīng)是低強(qiáng)度值數(shù)據(jù)，這就意味著在B表面反射強(qiáng)度非常小。

3.3 反復(fù)擬合亮度數(shù)據(jù)

即使在全面去除了低值強(qiáng)度數(shù)據(jù)以后，強(qiáng)度曲線也不能完全擬合正弦曲線。大部分是由于鏡面反射和自身陰影造成的。

如果圖像的強(qiáng)度數(shù)據(jù)Io(θ)和按照SVD方法由方程(8)計(jì)算出來的強(qiáng)度值Isvd(θ)差值遠(yuǎn)遠(yuǎn)大于閾值，那么圖像的強(qiáng)度Io(θ)將被去除，因?yàn)檫@些值包括了鏡面反射和自身陰影。在去除了這些數(shù)據(jù)之后，再開始利用SVD方法根據(jù)方程(8)進(jìn)行計(jì)算。重復(fù)這個(gè)過程，當(dāng)所有的剩余數(shù)據(jù)符合方程(1)朗伯模型的時(shí)候計(jì)算出表面法線。

圖3顯示了去除數(shù)據(jù)的效應(yīng)。通過在模型中選取數(shù)據(jù)，利用正弦曲線精確地?cái)M合已提取出來的數(shù)據(jù)。相反，通過全部的曲線得到的正弦擬合曲線不能很好地匹配這些提取出來的強(qiáng)度數(shù)據(jù)。

3.4 整合

在通過選取數(shù)據(jù)后，按照方程(8)計(jì)算出表面的法向量(nx,ny,nz)，表面的梯度p(x,y),q(x,y)可以通過下面的方程計(jì)算出來：

(9)

(10)

再對這兩個(gè)梯度進(jìn)行積分可以得到皮膚表面的值z(x,y)：

(11)

4 實(shí)驗(yàn)

本方法已經(jīng)應(yīng)用到皮膚圖像中。圖像的大小是256×256。實(shí)際大小是4.5mm×4.5mm。輸入圖片在120°之間。

圖5展示的是輸入的是角度相差120°的皮膚表面圖片。圖6顯示的是從圖像系列中重建的皮膚形狀俯視圖。圖7是所有輸入圖像的重建形狀。之所以能夠重建表皮形狀是因?yàn)樵谥亟ǚ秶鷥?nèi)的圖像二維結(jié)構(gòu)與普通的圖像幾乎是一樣的。

圖8中展示了重建后的皮膚呈波浪狀的形狀。樣品的橫斷面圖像是通過對樣品精確切割獲得的，與圖9中的側(cè)面重建形狀可以進(jìn)行比較。利用本文的方法可以非常有效地重建出樣品的形狀。

5 結(jié)論

本文提出一種在不同方向光線照射下獲取的序列圖像中重建皮膚表面的新方法。在本文的方法中，抽取出模型的強(qiáng)度數(shù)據(jù)與正弦曲線的數(shù)據(jù)精確地?cái)M合以求得表面的法向量。從圖像的重建實(shí)驗(yàn)結(jié)果來看，本方法對于包括有鏡面反射和全反射及自身陰影的圖像有非常好的重建效果。

[1]LaurentiniA.Thevisualhullconceptforsilhouettebasedimageunderstanding[J].IEEETransonPatternAnalysisandMachineINtelligence,2010,16(2):150-162.

[2] 齊菲菲.基于多幅圖像序列的三維重建算法的研究[D].天津：河北工業(yè)大學(xué).2012.

[3]MartinWN,AggarwalJK.Volumetricdescriptionsofobjectsfrommultipleviews[J].IEEETransonPatternAnalysisandMachineIntelligence,2011,5(2)：150-158.

[4]K.IkeuchiB.K.P.Houn.Numericalshapefromshadingandoccludingboundaries[J].ArtificialIntelligence,2011,17(3):141-184.

[5] 祁長紅.基于正交圖像的頭部三維模型構(gòu)建[D].南京：東南大學(xué).2015.

[6]PringleKK.Visualperceptionbyacomputer[A].InGrasselliAeditor.AutomaticInterpretationandClassificationofImages[C].NewYork:AcademicPress,2010:277-284.

[7]Y.Sato,K.Ikeuchi.Temporal-colorspaceanalysisofreflectionProcIEEE[J].ComputerVisionandPatternRecognition,2013,9(1):570-576.

3D Reconstruction of Skin Surface from Image Sequence

XULian-xia

(JiangsuVocationalCollegeofFinanceandEconomics，Huai’an223003，China)

This paper proposes a new method for reconstructing a shape of skin surface replica from shading image sequence taken with different light source directions. Since the shading images include shadows caused by surface height fluctuation, and specular and inter reflections, the conventional photometric stereo method is not suitable for reconstructing its surface accurately. In the proposed method, we choose intensity data which do not include specular and inter reflections and self-shadows so that we can calculate accurate normal vector from the selected intensity data using SVD (Singular Value Decomposition) method. The experimental results from real images demonstrate that proposed method is effective for shape reconstruction from shading images which include specular and inter reflections and self-shadows.

3D reconstruction; specular reflection; self-shadow; skin surface

2017-01-02

淮安市科技支撐計(jì)劃(HAS2014023-3)

徐連霞(1980-)，女，碩士研究生，江蘇財(cái)經(jīng)職業(yè)技術(shù)學(xué)院工程學(xué)院講師，研究方向：圖像處理、計(jì)算機(jī)技術(shù)應(yīng)用。

TP391

A

1674-3229(2017)01-0030-04