蔡軼珩 張琳琳 盛 楠 張新峰 王立娜

?

基于光度立體法的中醫(yī)舌體三維表面重建

蔡軼珩*張琳琳 盛 楠 張新峰 王立娜

(北京工業(yè)大學(xué)電控學(xué)院 北京 100124)

在中醫(yī)舌診客觀化研究進(jìn)程中，以2維舌圖像為基礎(chǔ)進(jìn)行分析所獲得的舌體特征信息有限，制約了舌診的客觀化發(fā)展。在將光度立體法用于靜態(tài)舌模型表面3維重建的可行性研究基礎(chǔ)之上，為了對真實(shí)舌體表面進(jìn)行3維重建，該文設(shè)計(jì)一種舌體3維動(dòng)態(tài)信息采集系統(tǒng)，用于舌像采集；然后采用光度立體法依次求出舌體表面的法向量、紋理反射率和深度信息，并基于DirectX進(jìn)行3維顯示；最后針對舌體表面高光區(qū)域?qū)χ亟ńY(jié)果的影響，采用高光剔除算法剔除高光。經(jīng)高光剔除后的重建結(jié)果和原來相比，在重建精度和魯棒性等方面都有更好的表現(xiàn)。經(jīng)實(shí)驗(yàn)證實(shí)，該重建方法的平均相對誤差約為7.24%，重建結(jié)果可形象地表達(dá)舌體的表面形態(tài)和齒痕等細(xì)節(jié)信息，可輔助中醫(yī)進(jìn)行診斷。

圖像處理；光度立體法；3維重建；高光；表面法向；舌診客觀化

1 引言

舌診是中醫(yī)望診的重要內(nèi)容之一，在中醫(yī)理論體系及臨床診療實(shí)踐中占有舉足輕重的地位。傳統(tǒng)的中醫(yī)舌診主要是醫(yī)生通過肉眼觀察對患者的舌形、舌態(tài)、舌色及苔色、苔質(zhì)進(jìn)行分析判斷[1]，這種判斷往往依賴于醫(yī)生的個(gè)人經(jīng)驗(yàn)，缺乏客觀的數(shù)據(jù)評判，制約了舌診的繼承和發(fā)展。近幾十年來舌診的客觀化研究受到普遍重視，目前這些研究都集中在以2維舌圖像為基礎(chǔ)進(jìn)行分析，所獲得的舌體形態(tài)和細(xì)節(jié)特征信息有限[2]，不能表達(dá)觀察真實(shí)舌體時(shí)所感知的3維信息。舌體的3維信息不僅可以形象地表達(dá)舌體的形態(tài)輪廓，也可以再現(xiàn)舌體表面齒痕、裂紋等細(xì)節(jié)特征。相對于2維舌圖像來說，一方面可以為醫(yī)生提供更加豐富全面的信息，另一方面也為醫(yī)生診斷提供客觀量化的依據(jù)。因此，獲取舌體的3維信息并重建出具有真實(shí)感的舌體表面對推動(dòng)舌診的客觀化發(fā)展具有重要意義。

目前，物體3維表面重建方法分為兩大類[3]：一類是利用傳統(tǒng)的接觸式方法實(shí)現(xiàn)表面重建，如深度掃描儀、激光器等。該方法儀器造價(jià)高且不便攜帶，難以滿足實(shí)際應(yīng)用的要求。另一類方法是非接觸式測量方法，研究熱點(diǎn)在于運(yùn)動(dòng)恢復(fù)法、立體視覺法[4]、光度立體法。其中，光度立體法在恢復(fù)物體3維表面形狀的精度和易實(shí)現(xiàn)性等方面都有較好的表現(xiàn)[5]。

光度立體法最早由美國的Woodham[6]提出，即利用不同光照方向下從同一視角拍攝的多幅圖像(至少3幅)求解物體的表面方向。光度立體法是在假設(shè)物體表面符合Lambertian散射模型的情況下展開的，也就是完全漫反射的情況[7]。在過去的研究中，文獻(xiàn)[8]設(shè)計(jì)了一套靜態(tài)信息采集系統(tǒng)，采用光度立體法對靜態(tài)舌模型表面進(jìn)行3維重建，結(jié)果表明該方法可以較好地重建出舌模型的表面形態(tài)和細(xì)節(jié)信息，初步驗(yàn)證了將光度立體法用于對舌體3維表面重建的可行性。由于光度立體法要求保持?jǐn)z像機(jī)和被拍攝物體的位置固定不變，只改變光照方向來完成拍攝，然而真實(shí)舌體在伸出時(shí)無法保證其靜止不動(dòng)。

為了實(shí)現(xiàn)對真實(shí)舌體表面的3維重建，本文首先設(shè)計(jì)了一種基于光度立體法的舌體3維動(dòng)態(tài)信息采集系統(tǒng)來完成舌圖像的采集工作。然后采用光度立體法依次求解舌體表面的法向量，紋理反射率和深度信息實(shí)現(xiàn)3維重建。針對對真實(shí)舌體進(jìn)行重建的過程中舌體表面出現(xiàn)的高光區(qū)域?qū)χ亟ńY(jié)果的影響，采用一種高光剔除算法。實(shí)驗(yàn)證明該方法可較好地重建出舌體的表面形態(tài)和細(xì)節(jié)信息，可輔助醫(yī)生進(jìn)行診斷。

2 舌體3維動(dòng)態(tài)信息采集系統(tǒng)設(shè)計(jì)

針對真實(shí)舌體的特點(diǎn)，我們首先設(shè)計(jì)了一種基于光度立體法的舌體3維動(dòng)態(tài)信息采集系統(tǒng)。該系統(tǒng)的目的是達(dá)到光源的循環(huán)點(diǎn)亮和攝像機(jī)拍攝的同步性，以實(shí)現(xiàn)在不同光照條件下舌圖像的采集。

2.1 系統(tǒng)組成及實(shí)現(xiàn)

系統(tǒng)主要由高速攝像機(jī)、圖像采集卡、光源以及時(shí)序控制電路等組成，系統(tǒng)內(nèi)部構(gòu)造的原理圖及實(shí)物圖分別如圖1(a)和圖1(b)所示。

球形箱體置于升降臺上，箱體上有兩個(gè)開孔，左側(cè)為攝像孔，右側(cè)為舌體伸入孔。在兩個(gè)孔的外側(cè)均有一個(gè)遮光罩以阻擋外界光線的進(jìn)入[9]。攝像機(jī)的鏡頭與舌體的中心處于同一高度，兩者的水平距離約為30 cm。

高速攝像機(jī)和圖像采集卡配合使用，通過攝像機(jī)配帶的軟件可對幀頻、曝光時(shí)間、觸發(fā)方式、圖像大小等進(jìn)行設(shè)置。高速攝像機(jī)有內(nèi)外兩種觸發(fā)方式，為了使光源的點(diǎn)亮和攝像機(jī)的同步拍攝易于控制，本文選擇外觸發(fā)的方式完成拍攝。觸發(fā)信號由時(shí)序控制電路提供。該攝像機(jī)幀頻可以達(dá)到500 fps。由于曝光時(shí)間和幀頻成反比關(guān)系，所以當(dāng)幀頻過高時(shí)，曝光時(shí)間很短，會導(dǎo)致所拍攝的圖像亮度不能滿足要求。舌體伸出時(shí)的抖動(dòng)頻率約為3~5次/s，根據(jù)奈奎斯特采樣定理，最終選擇幀頻為40 fps[10]，可以完整地捕捉到舌體的動(dòng)態(tài)信息。

TTLA和TTLB(圖2)是由時(shí)序控制電路產(chǎn)生的兩組在相位上有延時(shí)的脈沖信號，TTLA的下降沿用于控制光源的循環(huán)點(diǎn)亮，隨后，TTLB的下降沿觸發(fā)攝像機(jī)快門，以確保每一個(gè)方向的光源點(diǎn)亮?xí)r，攝像機(jī)拍攝一幀圖像，達(dá)到同步拍攝的目的。

2.2 光源分布設(shè)計(jì)

選用正白光LED作為系統(tǒng)的光源。根據(jù)光度立體法的基本理論，要想恢復(fù)物體的3維形狀，至少需要在3個(gè)不同方向的光源照射下的圖像。研究表明，當(dāng)光源個(gè)數(shù)增加時(shí)，獲得的物體表面信息更加充分，但在計(jì)算復(fù)雜度上會有所犧牲[11]。在文獻(xiàn)[8]中對靜態(tài)舌模型進(jìn)行重建的靜態(tài)信息采集系統(tǒng)中，采用8個(gè)光源均勻分布在一個(gè)豎直圓環(huán)上以獲得圖像序列。本文采用此光源系統(tǒng)進(jìn)行采集得到一組舌圖像序列，如圖3所示。

圖1 舌體3維動(dòng)態(tài)信息采集系統(tǒng)

圖2 觸發(fā)信號時(shí)序關(guān)系

圖3 8光源下采集的舌圖像序列

圖3中出現(xiàn)不同程度的高光區(qū)域，這是由于真實(shí)舌體表面存在唾液，使局部區(qū)域發(fā)生鏡面反射的結(jié)果。由于光度立體法是通過分析圖像亮度與光照的變化關(guān)系來獲得物體表面方向[12]，圖像在亮度上的突變直接導(dǎo)致建模結(jié)果的不準(zhǔn)確，通常解決的辦法有兩種：一種是使用復(fù)雜的表面反射模型(如Torrance-Sparrow模型)[13]，這種方法可以獲得更好的建模但計(jì)算量較大。由于實(shí)際拍攝的圖像中除了一小部分的高光區(qū)域外，其它區(qū)域都可以大致建模為Lambertian散射模型。所以本文采用一種高光剔除算法來完成建模。這種方法只要保證對物體表面上的任意一點(diǎn)，在多個(gè)不同光源方向下拍攝的圖像序列中至少可以找到3個(gè)非高光的亮度值[14]，即可繼續(xù)使用散射模型求解。

為了確定物體表面上的某一點(diǎn)有幾個(gè)非高光亮度值是可用的，將8幅圖像由RGB顏色空間轉(zhuǎn)換到Y(jié)CbCr顏色空間，對亮度分量Y采用閾值的方法進(jìn)行高光區(qū)域檢測。將各幅圖像中高光的位置在同一坐標(biāo)系中顯示，即可直觀地觀察到高光的分布情況，如圖4。圖中大片的紫色區(qū)域代表物體上的點(diǎn)在8個(gè)光源照射下拍攝的圖像中高光互不重疊的區(qū)域，即在此區(qū)域只有一個(gè)亮度值為高光，其余7個(gè)亮度值都可用于計(jì)算。白色區(qū)域和藍(lán)色區(qū)域分別代表在此點(diǎn)處有2個(gè)和3個(gè)高光點(diǎn)重疊，即分別有6個(gè)和5個(gè)非高光亮度值可參與計(jì)算。如上文所述，至少3個(gè)可用的亮度值即可完成某一點(diǎn)的表面法向求解。因此，在確保重建精度的前提下，本文在原8光源分布的基礎(chǔ)上，選用最少數(shù)量的光源完成重建，以減少算法復(fù)雜度。

圖4 8光源下的舌圖像高光位置分布

如果4幅圖像中的高光區(qū)域互不重疊，那么對物體表面任意一點(diǎn)都可以找到3個(gè)非高光亮度值完成計(jì)算。選取4個(gè)光源均勻分布在舌體的周圍，調(diào)整光源的位置和朝向，以獲得在此光源照射下的4幅高光區(qū)域互不重疊的舌圖像序列，如圖5所示。

圖5 4光源下采集的舌圖像序列

將每幅圖像中的高光從左至右分別用不同的顏色標(biāo)記，高光區(qū)域檢測結(jié)果如圖6所示。此時(shí)對物體上任意一點(diǎn)都可找到最少數(shù)量的3個(gè)滿足條件的非高光點(diǎn)完成計(jì)算，高光影響被成功剔除。對多個(gè)形態(tài)不同的舌體在此光源分布下采集圖像，也都得到高光區(qū)域互不重疊的4幅圖像，由此可論證該系統(tǒng)具有一定的適用性。

圖6 4 光源下的舌圖像高光位置分布

因此，本文選用4個(gè)光源分布在舌體周圍，每兩個(gè)光源之間的間隔為，舌體表面中心距離每個(gè)光源約為22 cm[15]。在這種分布下可以達(dá)到在最小計(jì)算復(fù)雜度的前提下剔除高光的目的。

3 基于光度立體法的舌體3維表面重建

對舌體3維動(dòng)態(tài)信息采集系統(tǒng)得到的舌圖像序列，進(jìn)行真實(shí)舌體3維表面重建的具體算法流程如圖7所示。

圖7 真實(shí)舌體重建算法流程

首先，遍歷舌圖像中所有像素點(diǎn)，采用閾值法依次判斷是否為高光點(diǎn)；對舌體表面的非高光區(qū)域，直接求解其表面法向量和紋理反射率；對高光區(qū)域，進(jìn)行高光剔除，采用在其他光源下拍攝圖像中的非高光點(diǎn)完成表面法向量和紋理反射率的求解；最后，求解深度信息完成建模。

3.1法向量和紋理反射率

對于彩色圖像，每一個(gè)像素點(diǎn)的亮度均由R, G, B 3個(gè)值來表示，這里以R通道為例進(jìn)行求解。假設(shè)待重建物體表面符合理想的Lambertian散射模型，此時(shí)，圖像中像素點(diǎn)的亮度方程數(shù)學(xué)表達(dá)為

要利用散射模型求解表面法向量，首先要計(jì)算光源方向。光源方向的計(jì)算方法采用在不同光源方向下拍攝一組高光黑球圖像，每一個(gè)高光黑球圖像與所拍攝的舌體表面圖像是配對的，即拍攝角度與光線角度一致。通過查找每一個(gè)高光黑球圖像中高光點(diǎn)的位置，獲取光照方向，作為舌體表面的光源方向[8]。

單位法向量為

經(jīng)計(jì)算4個(gè)光源的方向向量為

此時(shí)選取4個(gè)亮度值中的任意3個(gè)和與其配對的光源向量進(jìn)行求解。由于為單位向量，因此式(2)左邊向量的模就是紋理反射率的值，左邊向量的方向就是表面法向量的方向。

3.1.2對高光像素點(diǎn)的求解方法 當(dāng)檢測到圖像中的像素點(diǎn)為高光點(diǎn)時(shí)，由于4 幅圖像中高光區(qū)域不重疊，因此使用除高光點(diǎn)以外的其他3 幅圖像中的非高光像素點(diǎn)完成計(jì)算。假設(shè)高光點(diǎn)在第1 幅圖像上，此時(shí)令：

繼續(xù)利用式(2)求解法向量和紋理反射率。

除了整體性比較，還有一些論文著眼于創(chuàng)作個(gè)案的對比分析，如楊春紅、鄭友奇《素雅婉約的女性之歌——曼斯菲爾德的〈幸?！蹬c凌叔華的〈花之寺〉之比較》、熊文艷《女性價(jià)值的追尋與幻滅——曼斯菲爾德的〈第一次舞會〉與凌叔華的〈茶會以后〉之比較》等。另外，還有少數(shù)論文研究凌叔華與曼斯菲爾德的女性意識等，如，楊梅《試析凌叔華與曼斯菲爾德文本中的女性意識》等。

依次對圖像中的所有像素點(diǎn)進(jìn)行以上判斷，綜合高光區(qū)域和非高光區(qū)域的求解結(jié)果，即可得到剔除高光影響后的舌體表面的法向量和紋理反射率。

最后，對R, G, B 3個(gè)通道，分別計(jì)算每一個(gè)像素點(diǎn)的單位法向量：

將其構(gòu)成舌體表面的法向量圖。

3.2 深度信息

深度信息可直觀地表達(dá)3維物體的形狀，獲得舌體表面的法向量之后，采用基于切平面理論的代數(shù)法對深度信息進(jìn)行求解[16]。由切平面理論，法向與切平面方向兩個(gè)主軸垂直，所以對每個(gè)像素點(diǎn)的深度都可以列兩個(gè)約束方程。

物體表面的切向可以用深度值來表示，即

物體表面每一點(diǎn)的法向和切向垂直，則

同理可得

4 實(shí)驗(yàn)結(jié)果

4.1 3維重建結(jié)果分析

本文選取具備醫(yī)生對舌體初步診斷結(jié)果的10位受試者進(jìn)行實(shí)驗(yàn)。這10位受試者舌體特征各不相同，以論證該重建系統(tǒng)的可行性及通用性。每位受試者在實(shí)驗(yàn)之前先進(jìn)行多次伸舌訓(xùn)練，使受試者盡量張口，舌尖向下，舌體放松，舌面盡量展平[18]，最終完成舌圖像的采集，采集的圖像均為99×66像素。選取其中具有典型特征的兩位受試者A和B的舌圖像采集結(jié)果進(jìn)行展示，如圖8所示，圖8(a)為受試者A的舌像，表面整體較平滑，邊緣區(qū)域有明顯齒痕，圖8(b)為受試者B的舌像，表面有局部凹陷。

圖8 受試者A和B的舌像采集結(jié)果

上述兩位受試者A和B舌體3維重建結(jié)果的正面及側(cè)面圖如圖9(a)和圖9(b)所示。

圖9 受試者A和B的舌體3維重建結(jié)果

舌體的3維重建結(jié)果表明，該方法可以重建出舌體的整體形態(tài)和表面齒痕、凹陷等信息。受試者A的舌體，邊緣存在齒痕，齒痕即舌體出現(xiàn)牙齒痕跡，主要表現(xiàn)為在舌體邊緣的凹陷。截取經(jīng)過齒痕區(qū)域的3行水平方向的像素點(diǎn)的深度數(shù)據(jù)(分別為=43,45,47)進(jìn)行分析，將3組數(shù)據(jù)在3維坐標(biāo)系中顯示，結(jié)果如圖10?？梢婋S著像素的減少，當(dāng)經(jīng)過舌體表面齒痕區(qū)域時(shí)，所選3行深度數(shù)據(jù)的走向有明顯的急劇下降的趨勢，即舌體表面的齒痕特征被準(zhǔn)確地重建出來。

圖10 受試者A舌體齒痕截面的深度走向圖

受試者B的舌體表面存在明顯凹陷，截取其經(jīng)過凹陷區(qū)域的3行水平方向的像素點(diǎn)的深度數(shù)據(jù)(分別為=20,23,25)進(jìn)行分析，將3組數(shù)據(jù)在3維坐標(biāo)系中顯示，結(jié)果如圖11。

圖11 受試者B舌體凹陷截面的深度走向圖

可見隨著像素的增加，當(dāng)經(jīng)過舌體表面凹陷區(qū)域時(shí)，所選3行深度數(shù)據(jù)的走向有明顯的下降的趨勢，即舌體表面的凹陷特征被準(zhǔn)確地重建出來。齒痕舌多由氣虛、脾虛或陽虛所致，選取50位受試者，這些受試者經(jīng)中醫(yī)診斷有20位為齒痕舌，在沒有先驗(yàn)條件的情況下再讓醫(yī)生觀察舌體的3維重建結(jié)果進(jìn)行診斷，實(shí)驗(yàn)表明，通過觀察舌體3維重建結(jié)果，可以達(dá)到92%的齒痕舌識別率。因此，重建出的3維舌體對于臨床辨證論治有很大的指導(dǎo)意義。

4.2經(jīng)高光剔除和未經(jīng)高光剔除的舌體重建結(jié)果對比

以受試者A為例對采集的4幅舌圖像分別進(jìn)行未剔除高光和剔除高光的3維表面重建。法向量圖結(jié)果如圖12所示。

舌體表面的法向量圖顯示了舌體的形態(tài)屬性和整體輪廓，圖中舌尖較淺的地方表示其法向量是接近垂直向外的。圖12(a)表明舌尖部位由于受到高光的影響，法向量出現(xiàn)偏差，圖12(b)表明經(jīng)高光剔除后的法向量得到明顯修正。

受試者A舌體未剔除高光和剔除高光的3維重建結(jié)果如圖13所示。

圖12 舌體表面法向量圖

圖13 舌體表面3維顯示圖

對高光區(qū)域較明顯的舌尖部位，未經(jīng)高光剔除的重建結(jié)果在該區(qū)域凸現(xiàn)出來，不是實(shí)際的平滑現(xiàn)象，如圖13(a)中虛線標(biāo)注的區(qū)域。而經(jīng)過高光剔除算法，當(dāng)計(jì)算到高光區(qū)域時(shí)，會自動(dòng)檢測出異常并將此區(qū)域出現(xiàn)高光的圖像進(jìn)行剔除，所以舌尖部位變得平滑，如圖13(b)中虛線標(biāo)注的區(qū)域，建模出來的效果更加逼真。

4.3 誤差分析

本實(shí)驗(yàn)通過對已知半徑的標(biāo)準(zhǔn)的Lambertian半球體表面進(jìn)行3維重建來評價(jià)算法性能。采集的圖像寬度與高度均為50像素，球體半徑為8 cm。選取重建結(jié)果在圖像寬度方向?yàn)?5像素處的截面信息進(jìn)行誤差分析。

圖14中所示實(shí)線代表標(biāo)準(zhǔn)半球截面的真實(shí)高度，虛線代表本實(shí)驗(yàn)算法重建出的半球截面高度。由這兩組數(shù)據(jù)可以得到重建的平均相對誤差約為7.24%。對于舌體，其伸出時(shí)舌根部與舌尖部的垂直距離約為5 cm，所以該方法用于重建舌體的平均誤差約為3.6 mm。而舌體表面凹陷、齒痕等尺寸約為5~10 mm。由此可見該方法可以較好地重建出物體的表面形狀和齒痕等細(xì)節(jié)信息。

圖14 半球真實(shí)高度與重建結(jié)果對比圖

5 結(jié)束語

舌診是中醫(yī)望診的重要內(nèi)容之一，基于2維圖像的舌診研究具有一定的局限性。因此，重建出具有真實(shí)感的3維舌體表面對推動(dòng)舌診的客觀化發(fā)展具有重要意義。本文設(shè)計(jì)了一種舌體動(dòng)態(tài)信息采集系統(tǒng)，基于光度立體法實(shí)現(xiàn)了對舌體表面的3維重建。針對舌體表面高光區(qū)域?qū)χ亟ńY(jié)果的影響，本文采用一種高光剔除算法。實(shí)驗(yàn)表明，經(jīng)高光剔除之后，在重建精度和魯棒性方面都有更好的表現(xiàn)。

通過對標(biāo)準(zhǔn)半球進(jìn)行重建得出重建算法的平均相對誤差約為7.24%。重建結(jié)果可形象地表達(dá)舌體的表面形態(tài)和齒痕等細(xì)節(jié)信息。但在邊界區(qū)域的重建上誤差較大。因此，如何減少邊界的誤差，實(shí)現(xiàn)更精確的表面重建是今后研究的重點(diǎn)。

[1] 陳雪姣, 王玉臣, 王德才. 中醫(yī)舌診客觀化研究的發(fā)展概況[J]. 江西中醫(yī)藥, 2012, 43(1): 72-75.

Chen Xue-jiao, Wang Yu-chen, and Wang De-cai. The overview of the development of traditional Chinese medicine tongue diagnosis[J]., 2012, 43(1): 72-75.

[2] 葉長明, 蔣建國, 詹曙. 基于三維人臉成像系統(tǒng)的復(fù)數(shù)域人臉識別方法[J]. 電子測量與儀器學(xué)報(bào), 2011, 25(5): 420-426.

Ye Chang-ming, Jiang Jian-guo, and Zhan Shu. Face recognition in complex domain based on 3D facial imaging system[J]., 2011, 25(5): 420-426.

[3] 王昕, 郭寶鋒, 尚朝軒.基于二維ISAR圖像序列的雷達(dá)目標(biāo)三維重建方法[J]. 電子與信息學(xué)報(bào), 2013, 35(10): 2475-2480.

Wang Xin, Guo Bao-feng, and Shang Chao-xuan. 3D reconstruction of target geometry based on 2D data of inverse synthetic aperture radar images[J].&,2013, 35(10): 2475-2480.

[4] 李自力, 朱光喜, 朱耀庭. 一種基于會聚雙目立體視覺的用戶化身模型[J]. 電子與信息學(xué)報(bào), 2003, 25(6): 763-770.

Li Zi-li, Zhu Guang-xi, and Zhu Yao-ting. A user avatar model based-on convergent binocular stereo vision[J].&, 2003, 25(6): 763-770.

[5] 陳宇峰, 譚文靜, 王海濤. 光度立體三維重建算法[J]. 計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào), 2005, 17(11): 2408-2414.

Chen Yu-feng, Tan Wen-jing, and Wang Hai-tao. Photometric stereo 3D reconstruction and application[J].-&, 2005, 17(11): 2408-2414.

[6] Woodham R J. Photometric method for determining surface orientation from multiple images[J]., 1980, 19(1): 191139.

[7] Coleman E Jr and Jain R. Obtaining 3-dimensional shape of textured and specular surfaces using four-source photometry [J]., 1982, 18(4): 309-328.

[8] LüH, Cai Y, and Guo S. 3D reconstruction of tongue surface based on photometric stereo[C]. 2007 IEEE 11th International Conference on Signal Processing (ICSP),Barcelona, Spain, 2012, 3: 1668-1671.

[9] 朱穆朗瑪, 燕海霞, 錢鵬.基于圖像信息采集的中醫(yī)舌診儀器硬件設(shè)計(jì)研究進(jìn)展[J].世界科學(xué)技術(shù)—中醫(yī)藥現(xiàn)代化, 2014, 16(2): 433-437.

Zhu Mulangma, Yan Hai-xia, and Qian Peng.Study progress on designs of acquisition instrument with image capturing in tongue inspection[J].—, 2014, 16(2): 433-437.

[10] Park J I, Lee M H, Grossberg M D,.. Multispectral imaging using multiplexed illumination[C]. 2007 IEEE 11th International Conference on Computer Vision, Rio De Janeiro, Brazil, 2007: 1-8.

[11] 徐慶相. 基于光度立體視覺的表面精細(xì)特征三維重建技術(shù)研究[D]. [碩士論文], 華中科技大學(xué), 2011.

Xu Qing-xiang. Research on 3D reconstruction of detailed features based on photometri stereo[D]. [Master dissertation], Huazhong University of Science & Technology, 2011.

[12] 張彥. 基于光度立體視覺的三維重建的研究[D]. [碩士論文], 吉林大學(xué), 2013.

Zhang Yan. The research of three-dimensional reconstruction based on photometric stereo[D].[Master dissertation], Jilin University, 2013.

[13] Georghiades A S. Incorporating the torrance and sparrow model of reflectance in uncalibrated photometric stereo[C]. Ninth IEEE International Conference on Computer Vision (ICCV 2003), Nice, France, 2003: 816-823.

[14] Barsky S and Petrou M. The 4-source photometric stereo technique for three-dimensional surfaces in the presence of highlights and shadows[J]., 2003, 25(10): 1239-1252.

[15] 張珊珊, 呂東輝, 孫九愛.近光源光度立體三維重建誤差分析[J]. 計(jì)算機(jī)技術(shù)與發(fā)展, 2015(1): 168-172.

Zhang Shan-shan, Lü Dong-hui, and Sun Jiu-ai.Reconstruction error analysis on photometric stereo with nearby light sources[J]., 2015(1): 168-172.

[16] 張屹凌. 基于光度立體算法的圖像建模系統(tǒng)的設(shè)計(jì)及實(shí)現(xiàn)[D]. [碩士論文], 浙江大學(xué), 2006.

Zhang Yi-ling. Design and implementation of image-based modeling system based on photometric stereo[D].[Master dissertation], Zhejiang University, 2006.

[17] 桂思怡, 林國順. 基于DirectX的立體裝箱三維可視化輔助模塊技術(shù)[J]. 計(jì)算機(jī)與現(xiàn)代化, 2014(2): 15-19.

Gui Si-yi and Lin Guo-shun. DirectX-based techniques of stereo loading system’s 3D visualized auxiliary module[J]., 2014(2): 15-19.

[18] 許家佗, 張志楓, 任宏福, 等. 基于圖像處理的舌形胖瘦分析方法[C]. 第二次全國中西醫(yī)結(jié)合診斷學(xué)術(shù)研討會論文集. 2008: 43-47.

Xu Jia-tuo, Zhang Zhi-feng, Ren Hong-fu,.. Analysis of fat/thin tongue based on image processing method[C]. The Second National Integrated Traditional Chinese and Western Medicine Diagnosis of Academic Symposium, Lijiang, 2008: 43-47.

3D Reconstruction of Tongue Surface Based on Photometric Stereo Method

Cai Yi-heng Zhang Lin-lin Sheng Nan Zhang Xin-feng Wang Li-na

(,,100124,)

In the process of the objective research in traditional Chinese medicine tongue diagnosis, the tongue information obtained from the analysis of 2D tongue image is limited. It restricts the development of tongue diagnosis. Based on the feasibility of photometric stereo method to reconstruct the static tongue mode, forreconstructing the 3D surface of the real tongue, a dynamic information collection system is designed for image information acquisition. Then the normal vectors, texture reflectance and depth values are obtained with photometric stereo method, and the 3D surface of tongue is displayed based on DirectX. Finally, a highlight excluding algorithm is used to reduce the effects of the highlight areas on the reconstruction results. After the highlight excluding, it performs better in the reconstruction accuracy and robustness aspects. Experimental results indicate that the average relative error of this algorithm is of 7.24%. The results can express the tongue surface morphology and details such as tooth marks visually.

Image processing; Photometric stereo method; 3D reconstruction; Highlight; Surface normal; Tongue characterization

TP391; R445

A

1009-5896(2015)11-2564-07

10.11999/JEIT150124

2015-01-22；改回日期：2015-07-15；

2015-08-25

蔡軼珩 caiyiheng@bjut.edu.cn

國家自然科學(xué)基金(61201360)

The National Natural Science Foundation of China (61201360)

蔡軼珩： 女，1974 年生，博士，副教授，主要研究方向?yàn)閳D像處理、顏色視覺、中醫(yī)診斷信息化.

張琳琳： 女，1990 年生，碩士生，研究方向?yàn)閳D像處理.

盛 楠： 女，1991 年生，碩士生，研究方向?yàn)閳D像處理.

張新峰： 男，1974 年生，博士，副教授，主要研究方向?yàn)槟Ｊ阶R別、機(jī)器學(xué)習(xí)、中醫(yī)信息處理.

王立娜： 女，1988 年生，碩士生，研究方向?yàn)閳D像處理、顏色視覺.