苗 騰，郭新宇，趙春江※，肖伯祥，王傳宇，溫維亮

（1. 北京農(nóng)業(yè)信息技術(shù)研究中心，北京 100097；2. 國家農(nóng)業(yè)信息化工程技術(shù)研究中心，北京 100097；3. 農(nóng)業(yè)部農(nóng)業(yè)信息技術(shù)重點(diǎn)實(shí)驗(yàn)室，北京100097；4. 數(shù)字植物北京市重點(diǎn)實(shí)驗(yàn)室，北京 100097；5. 沈陽農(nóng)業(yè)大學(xué)信息與電氣工程學(xué)院，沈陽 110866）

基于變化光源方向多圖像的植物葉片表觀三維模擬

苗 騰1,2,3,4,5，郭新宇1,2,3,4，趙春江1,2,3,4※，肖伯祥1,2,3,4，王傳宇1,2,3,4，溫維亮1,2,3,4

（1. 北京農(nóng)業(yè)信息技術(shù)研究中心，北京 100097；2. 國家農(nóng)業(yè)信息化工程技術(shù)研究中心，北京 100097；3. 農(nóng)業(yè)部農(nóng)業(yè)信息技術(shù)重點(diǎn)實(shí)驗(yàn)室，北京100097；4. 數(shù)字植物北京市重點(diǎn)實(shí)驗(yàn)室，北京 100097；5. 沈陽農(nóng)業(yè)大學(xué)信息與電氣工程學(xué)院，沈陽 110866）

為了真實(shí)準(zhǔn)確地模擬植物葉片表觀顏色，提出一種基于多圖像的葉片表觀模擬方法。首先搭建基于線性光源的表觀圖像采集系統(tǒng)，用以獲得400張視線角度固定、光源方向變化的葉片圖像集合；采用擬合方法自動(dòng)地從400張圖像中獲得整個(gè)葉片表面的表觀特征參數(shù)，包括漫反射強(qiáng)度、高光反射強(qiáng)度和粗糙度；利用該擬合方法對(duì)線性光源移動(dòng)條件下理想物體的各種反射特征的變化情況進(jìn)行仿真計(jì)算，然后針對(duì)葉片圖像中的每個(gè)像素尋找與仿真計(jì)算結(jié)果最接近的表觀模型參數(shù)作為擬合結(jié)果。通過該擬合方法，可將葉片表面上各個(gè)位置的表觀參數(shù)合成3張表觀參數(shù)圖像，采用基于點(diǎn)光源的實(shí)時(shí)光照方法測(cè)試最終的可視化模擬效果。從模擬結(jié)果中可以看出利用該文方法得到的結(jié)果能夠真實(shí)地表現(xiàn)葉片自身的表觀質(zhì)感特性，相對(duì)于傳統(tǒng)方法更加真實(shí)準(zhǔn)確。

三維；可視化；光源；葉片；表觀模擬；數(shù)字植物

0 引言

中國農(nóng)業(yè)科學(xué)研究和生產(chǎn)方式已經(jīng)向數(shù)字化、可視化、精準(zhǔn)化和智能化轉(zhuǎn)變，農(nóng)林植物作為農(nóng)業(yè)科學(xué)研究的重要對(duì)象和載體，利用三維建模與可視化技術(shù)表達(dá)農(nóng)林植物生命和生產(chǎn)系統(tǒng)，對(duì)探索植物生長過程中的生命規(guī)律，深化傳統(tǒng)的農(nóng)學(xué)研究、拓展農(nóng)業(yè)知識(shí)的傳播途徑等具有重要的理論價(jià)值[1]。葉片是植物體的重要器官，其外觀反映了植物自身的基因特征和生長狀態(tài)，對(duì)葉片形態(tài)表觀的精確描述是植物建模與可視化工作的關(guān)鍵環(huán)節(jié)。

葉片三維形態(tài)的建模方法目前已比較成熟，從早期的交互式編輯建模[2-3]、基于規(guī)則的建模[4-6]，到近期應(yīng)用更加廣泛的基于三維數(shù)據(jù)的建模[7-8]，這些方法都可以較準(zhǔn)確地描述葉片形態(tài)結(jié)構(gòu)特征。相對(duì)于形態(tài)，葉片表觀（顏色紋理）模擬仍是具有挑戰(zhàn)性的工作[9-11]。葉片表觀是光環(huán)境與自身相互作用的結(jié)果，是復(fù)雜的生理物理過程。如果從數(shù)學(xué)上進(jìn)行抽象，葉片形態(tài)只需三維空間即可精確描述，而表觀則需要14維，因此對(duì)葉片表觀的模擬具有更大難度。傳統(tǒng)方法多采用基于圖像的紋理貼圖方法模擬葉片表觀[12]，該類方法利用拍攝的單張照片作為葉片顏色特征進(jìn)行表觀可視化模擬。單張照片是特定光環(huán)境、相機(jī)空間位置和葉片自身幾何形態(tài)共同作用的結(jié)果，用其作為葉片表觀進(jìn)行可視化計(jì)算，會(huì)使結(jié)果包含圖像中光照、視角等帶來的噪聲信息，降低模擬的準(zhǔn)確性以及可視化質(zhì)量。直接編輯葉片表觀參數(shù)可以消除外部環(huán)境帶來的噪聲，一些方法通過構(gòu)建經(jīng)驗(yàn)性的數(shù)學(xué)模型[13-17]表示葉片的表觀特征，但是由于缺少標(biāo)準(zhǔn)的葉片表觀數(shù)據(jù)作為參考，這類方法的模擬結(jié)果質(zhì)量同樣較差。

本文提出一種基于多圖像的葉片表觀模擬方法，基于大量不同光源方向的圖像數(shù)據(jù)對(duì)葉片表觀參數(shù)進(jìn)行自動(dòng)擬合并最終用于表觀模擬，該方法可以獲得更加本質(zhì)的葉片表觀屬性，排除外部環(huán)境的噪聲信息，使模擬結(jié)果更準(zhǔn)確真實(shí)。

1 葉片表觀模型

作物葉片表觀反映其與光的作用方式。如圖1所示，葉片作為半透明物體，入射光線L射到其表面P點(diǎn)之后，一部分會(huì)直接在P點(diǎn)處反射形成高光反射L1（高光反射指未進(jìn)入葉片內(nèi)部，在葉片表面即被反射出的光線）；剩余部分則折射進(jìn)入葉片內(nèi)部，并在組織之間形成多次散射和吸收，最終以漫反射形式從P點(diǎn)周圍區(qū)域離開葉片，通常將這種光的傳輸方式稱為次表面散射，其可以用雙向散射表面反射率分布函數(shù)（bidirectional scattering surface reflectance distributed function，BSSRDF）[18-23]進(jìn)行表示。在實(shí)際模擬中，常見的作物葉片厚度遠(yuǎn)遠(yuǎn)小于葉片長、寬，同時(shí)絕大多數(shù)場(chǎng)景中單個(gè)葉片大小也只占據(jù)畫面較小的分辨率，所以光的入射點(diǎn)P與P周圍區(qū)域的出射點(diǎn)可簡(jiǎn)化為同一點(diǎn)，為此可將BSSRDF簡(jiǎn)化為雙向反射分布函數(shù)（bidirectional reflectance distribution function，BRDF）。

圖1 光與作物葉片的作用方式示意圖Fig.1 Interaction between light and plant leaves

本文將葉片看做內(nèi)部均一物體，利用Ward BRDF經(jīng)驗(yàn)?zāi)Ｐ兔枋鋈~片表面任意點(diǎn)P將（iθ，iφ）方向的入射光線反射至（rθ，rφ）方向的分布特征，該模型的公式如下

式中δ為P點(diǎn)處法向量n與向量h（（0.5×iθ+0.5×rθ，0.5×iφ+0.5×rφ））之間的夾角，δ、iθ、rθ、iφ、rφ，(°)；dρ為漫反射強(qiáng)度（RGB三通道），無量綱；sρ為高光反射強(qiáng)度（RGB三通道），無量綱；α為粗糙度參數(shù)，無量綱；這3個(gè)向量是物體自身的表觀材質(zhì)屬性，也是本研究需要擬合的表觀參數(shù)。

2 表觀圖像采集系統(tǒng)

形態(tài)結(jié)構(gòu)的三維特征可利用三維掃描儀進(jìn)行精確獲取，目前三維掃描技術(shù)已比較成熟。而對(duì)物體表觀數(shù)據(jù)的采集仍是難點(diǎn)，目前并沒有成熟的產(chǎn)品銷售，一些研究機(jī)構(gòu)搭建出特定的采集環(huán)境進(jìn)行表觀數(shù)據(jù)采集[24-26]。為了獲得植物葉片的表觀特征數(shù)據(jù)，本文采用Gardner的方法[25]，搭建了一套簡(jiǎn)化的線性光源光度儀系統(tǒng)。與原始方法相比，本文方法根據(jù)植物葉片的形態(tài)特點(diǎn)，通過試驗(yàn)將原系統(tǒng)中各種可變的結(jié)構(gòu)尺寸參數(shù)確定為固定參數(shù)；同時(shí)，由于葉片的高光反射并不強(qiáng)烈，因此忽略了葉片褶皺帶來的凹凸變化，將系統(tǒng)改造為只適合平展物體的結(jié)構(gòu)，提高了數(shù)據(jù)采集的效率。

系統(tǒng)結(jié)構(gòu)如圖2所示，其主要由驅(qū)動(dòng)系統(tǒng)、光源、相機(jī)和載物臺(tái)構(gòu)成，各模塊的位置均精確擺置，因此它們之間的相對(duì)三維位置可準(zhǔn)確計(jì)算。驅(qū)動(dòng)系統(tǒng)主要由步進(jìn)電機(jī)和若干支撐部件組成，并利用運(yùn)動(dòng)控制程序進(jìn)行自動(dòng)控制，其用來驅(qū)動(dòng)光源移動(dòng)；光源包含一根白光燈管（長30 cm，直徑為1 cm）和一個(gè)一字線形的激光器，兩者按3 cm的間隔固定于驅(qū)動(dòng)系統(tǒng)上，白光燈高度距離載物臺(tái)30 cm。相機(jī)選用佳能A640數(shù)字相機(jī)，該相機(jī)以5 s為間隔進(jìn)行自動(dòng)圖像獲取，相機(jī)鏡頭方向與垂直方向呈55°，固定于X方向100 cm，Y方向30 cm，Z方向60 cm處。載物臺(tái)在X軸方向長80 cm，Y軸方向長60 cm，其用來承載被測(cè)植物葉片，同時(shí)載物臺(tái)上還放置標(biāo)準(zhǔn)反射物體。在獲取數(shù)據(jù)時(shí)，光源隨步進(jìn)電機(jī)從原點(diǎn)O出發(fā)，沿X軸方向自動(dòng)勻速運(yùn)動(dòng)80 cm，相機(jī)每5 s自動(dòng)拍攝圖片，在對(duì)樣本進(jìn)行數(shù)據(jù)獲取時(shí)，樣本位置和相機(jī)位置保持恒定，僅光源位置發(fā)生變化，激光定位器固定在光源后部，使紅色激光線與光源形成的白光帶保持固定間隔3 cm。對(duì)于每一個(gè)樣本，最終獲得400張只有光環(huán)境發(fā)生變化的樣本圖像，圖3為實(shí)際設(shè)備和利用該設(shè)備拍攝的部分葉片圖像序列。

圖2 表觀圖像采集系統(tǒng)結(jié)構(gòu)圖Fig.2 Structure diagram of apparent image acquisition system

圖3 表觀圖像采集系統(tǒng)實(shí)物及采集的圖像數(shù)據(jù)Fig.3 Apparent image acquisition system and appearance

3 表觀數(shù)據(jù)擬合

基于采集的400張圖像對(duì)葉片表面上任意P點(diǎn)的表觀參數(shù)進(jìn)行估算，400個(gè)P點(diǎn)的像素值表示400個(gè)不同光源方向下的P點(diǎn)反射值，本文將該400個(gè)反射值形成的集合稱為反射軌跡。圖4a為反射軌跡形成的曲線。

依據(jù)下述物理現(xiàn)象對(duì)表觀參數(shù)進(jìn)行提?。▓D5）：假設(shè)葉片平展，因此葉片任意點(diǎn)處的法向量均為(0,0,1)；對(duì)于表面任意點(diǎn)P，當(dāng)光源方向處于P點(diǎn)正上方時(shí)，P點(diǎn)主要呈現(xiàn)漫反射；當(dāng)光源方向與P點(diǎn)法向量之間的夾角等于相機(jī)視點(diǎn)方向與法向量之間的夾角（即rθ）時(shí)，P點(diǎn)出現(xiàn)高光反射峰值。利用表觀采集系統(tǒng)獲取圖像數(shù)據(jù)時(shí)，將整個(gè)數(shù)據(jù)采集時(shí)間離散成400個(gè)時(shí)間點(diǎn)（也可以看成是400個(gè)離散的光源方向），與400張圖像一一對(duì)應(yīng)，將第1張圖像對(duì)應(yīng)的序號(hào)設(shè)為T1，第i張圖像對(duì)應(yīng)的序號(hào)為Ti，假設(shè)Ta序號(hào)圖像中P點(diǎn)為漫反射，Tb圖像中P點(diǎn)為高光反射峰值，Tc為出現(xiàn)激光反射峰值的圖像序號(hào)，3個(gè)圖像出現(xiàn)的先后順序?yàn)門b

圖4 葉片表面一點(diǎn)的反射軌跡曲線Fig.4 Reflectance trace curves of point on leaf surface

圖5 表觀參數(shù)擬合原理說明圖Fig.5 Principle illustration of our appearance parameters fitting method

實(shí)際中，由于葉片并非理想平展，其表面的凹凸會(huì)影響Ta和Tb的計(jì)算，為了盡可能減少誤差，并未直接選取Ta和Tb時(shí)刻的圖像作為漫反射和高光反射峰值點(diǎn)。對(duì)于漫反射，首先根據(jù)式（2）計(jì)算Ta，之后在Ta前后30張圖像中尋找激光峰值圖像Tc（R/(R+G+B)值最大的圖像），由于激光器與白光燈間距為3 cm，所以取第Tc-15張圖像中P點(diǎn)值作為漫反射亮度峰值Dp，并令Ta=Tc-15。對(duì)于高光反射峰值，根據(jù)公式（2）計(jì)算Tb，然后在Tb前后30張圖像中尋找P點(diǎn)最大亮度值的圖像TB，并將該圖像中P點(diǎn)值作為高光亮度峰值Sp，并令Tb=TB。得到Dp和Sp值之后，可對(duì)式（1）中dρ、sρ和α進(jìn)行估算。

Dp值是光強(qiáng)與dρ共同作用的結(jié)果，為了將光強(qiáng)的干擾去除，本文通過Ta圖像中標(biāo)準(zhǔn)漫反射體的亮度值Ds進(jìn)行矯正，假設(shè)標(biāo)準(zhǔn)漫反射體的漫反射強(qiáng)度為dρ′，則dρ可通過下式計(jì)算

漫反射是葉片表觀的低頻特征，在任何半球光源方向下，漫反射的影響均不能忽略，為了估算高光反射參數(shù)，需將P點(diǎn)反射率軌跡中的漫反射貢獻(xiàn)去除。根據(jù)實(shí)際系統(tǒng)的構(gòu)建方式，在計(jì)算機(jī)中對(duì)線性光源的漫反射特征進(jìn)行仿真計(jì)算，構(gòu)建30 cm×1 cm的長方形表示線性光源，計(jì)算其在X軸d cm、Z軸30 cm的三維位置處，對(duì)XY平面上80 cm×60 cm區(qū)域內(nèi)任意點(diǎn)的漫反射作用（假設(shè)所有點(diǎn)的漫反射強(qiáng)度為1），計(jì)算方法采用蒙特卡洛積分進(jìn)行離散，最終獲得一個(gè)不同光源方向（即400張圖像數(shù)據(jù)中的不同圖像）下漫反射強(qiáng)度的參考集合。本文用400×1大小的一維圖像進(jìn)行存儲(chǔ)，為了更好地說明該圖像樣式，將其表示為一個(gè)2維圖像，其中縱坐標(biāo)上亮度恒定（圖6a）。Dp與漫反射參考表中數(shù)值相乘計(jì)算得到P點(diǎn)反射軌跡中的漫反射貢獻(xiàn)，其形成曲線如圖4b，本文稱為漫反射軌跡。用P點(diǎn)反射軌跡減去漫反射貢獻(xiàn)之后的值為高光反射的貢獻(xiàn)，本文稱其為高光反射軌跡（如圖4c）。

圖6 反射強(qiáng)度參考集合的圖像表示Fig.6 Image representation of reference set of reflection intensity

根據(jù)式（1）的數(shù)學(xué)形式可以看出，高光貢獻(xiàn)實(shí)際上是一種類似正態(tài)分布的數(shù)學(xué)分布，自變量為sρ和α，其中sρ和α值共同影響高光分布強(qiáng)度，而α影響整個(gè)分布的幅度。具體到本文獲取的反射軌跡中，Sp由光強(qiáng)、sρ和α決定，而Ta與Tb之間反射軌跡的曲線形態(tài)由α確定。與漫反射擬合過程類似，同樣采用蒙特卡洛積分對(duì)線性光源的高光反射特性進(jìn)行數(shù)值仿真，為了區(qū)分仿真和實(shí)際樣本中的符號(hào)，用α′、sρ′、dρ′表示仿真計(jì)算中的參數(shù)，而α和sρ表示樣本的待擬合表觀參數(shù)，反射率的計(jì)算采用公式（1）。將光源強(qiáng)度設(shè)為1.0，利用30 cm×1 cm的長方形表示線性光源，計(jì)算其在X軸1.5d? 50（即Tb時(shí)刻）、Z軸30 cm處對(duì)P點(diǎn)的高光反射貢獻(xiàn)（設(shè)P點(diǎn)處dρ′=0，sρ′=1）。以0.005為步長，計(jì)算α′從0.01到0.5遞增中100個(gè)不同α′值下的高光反射參考值集合，將計(jì)算的結(jié)果以400×100大小的二維圖像表示（如圖6b），像素值為高光反射強(qiáng)度，從圖中可以看到，α′值越小，高光反射幅度越窄，相反，α′值越大，高光反射幅度越廣。得到仿真的高光軌跡集合之后，計(jì)算不同α′值高光軌跡的2個(gè)統(tǒng)計(jì)學(xué)指標(biāo)——標(biāo)準(zhǔn)差δ′以及高光強(qiáng)度總和S′，之后利用2個(gè)指標(biāo)對(duì)實(shí)際葉片樣本的高光反射參數(shù)值進(jìn)行擬合。對(duì)于實(shí)際樣本的高光反射軌跡，同樣計(jì)算標(biāo)準(zhǔn)差δ以及高光強(qiáng)度總和S，但在計(jì)算時(shí)，只需統(tǒng)計(jì)Ta至Tb區(qū)間的軌跡即可計(jì)算δ和2S（因?yàn)镾只是Ta至Tb區(qū)間軌跡的總和，且整個(gè)分布是基本對(duì)稱的，所以估算整個(gè)高光軌跡強(qiáng)度總和時(shí)需乘以2）。在仿真的高光軌跡集合中遍歷不同α′下的δ′，從中查找與實(shí)測(cè)δ最接近的值，選擇該δ′值對(duì)應(yīng)的α′為實(shí)測(cè)樣本的α，并利用α′值對(duì)應(yīng)的S′計(jì)算sρ，公式如下

利用上述方法對(duì)圖像中所有像素點(diǎn)均可估算dρ、sρ 和α，進(jìn)而可形成3張表觀參數(shù)圖像，用于記錄葉片表面不同位置的表觀參數(shù)，這些圖像可用于對(duì)葉片表觀的可視化模擬。以綠蘿葉片為例，3張表觀圖像如圖7。

圖7 表觀參數(shù)圖像Fig.7 Appearance parameters images

4 基于表觀參數(shù)的葉片顏色模擬

采用紋理映射方法將表觀參數(shù)圖像與三維葉片模型進(jìn)行關(guān)聯(lián)，這樣葉片模型上任意三維點(diǎn)P均可根據(jù)紋理坐標(biāo)從表觀圖像中獲得3個(gè)表觀參數(shù)dρ，sρ以及α。之后基于輻射度傳輸積分計(jì)算葉片的表觀顏色，本文為了加快計(jì)算速度，利用多個(gè)點(diǎn)光源對(duì)輻射度傳輸積分進(jìn)行簡(jiǎn)化，計(jì)算公式如下

本文搭建的表觀獲取設(shè)備采用了線光源，但提取的表觀參數(shù)則是植物葉片的自身屬性，與光源類型無關(guān)，因此在進(jìn)行顏色模擬時(shí)，可以采用這些表觀參數(shù)重建植物的表觀材質(zhì)，進(jìn)而參與到任意形式光環(huán)境下的輻射度傳輸計(jì)算中。

5 結(jié)果與分析

5.1 算法效果

算法在配置為3.0 GHz CPU、DDR8G內(nèi)存的PC機(jī)上進(jìn)行了測(cè)試，以綠蘿葉片為例，獲取400張表觀圖像，并擬合生成3張1 200×600分辨率的表觀參數(shù)圖像，整個(gè)擬合時(shí)間20 min；表觀模擬方法在渲染3 000個(gè)頂點(diǎn)的模型時(shí)，速度達(dá)到800幀/s，可進(jìn)行流暢的三維實(shí)時(shí)交互瀏覽。圖8為本文方法和傳統(tǒng)照片貼圖方法的模擬效果對(duì)比圖，從結(jié)果中可以明顯看到，本文方法得到的結(jié)果與真實(shí)的葉片更加接近。傳統(tǒng)方法由于使用的照片包含特定光環(huán)境以及視點(diǎn)信息，所以在進(jìn)行顏色模擬時(shí)會(huì)存在光照的冗余信息（如高光、亮度等顏色噪聲），降低了模擬質(zhì)量。圖8b、8c在形態(tài)上的差異，是由觀察角度不同導(dǎo)致的透視效果，兩者模擬的均是圖8a中的葉片。

圖8 本文方法與單張紋理映射方法的效果對(duì)比圖Fig.8 Simulation result generated by our method compared with texture mapping method using single image

利用本文方法對(duì)作物不同生育期的表觀顏色變化過程進(jìn)行可視化模擬，以玉米為例開展相關(guān)工作驗(yàn)證方法可行性。在北京農(nóng)科院試驗(yàn)場(chǎng)開展玉米田間試驗(yàn)，試驗(yàn)品種選為先玉335，測(cè)量并提取玉米6葉展、9葉展、13葉展、吐絲、灌漿和成熟期的第6、12、和18葉位的玉米葉片漫反射強(qiáng)度數(shù)據(jù)。測(cè)量整個(gè)葉片表面的漫反射強(qiáng)度（圖9a），并將所有樣本的強(qiáng)度分為5類并排序（圖9b），排序結(jié)果代表了葉片生長過程中按時(shí)間順序依次出現(xiàn)的主要漫反射特征。顏色模擬時(shí)，在每個(gè)特征中隨機(jī)選取一個(gè)值作為玉米葉片的漫反射參數(shù)，再利用式(4)進(jìn)行可視化模擬，即可得到葉片整個(gè)老化過程的漫反射顏色變化過程（圖9c）。

圖9 本文方法在玉米漫反射顏色模擬中的應(yīng)用Fig.9 Simulation of diffuse color transition of corn leaf using our method

5.2 算法評(píng)價(jià)

相對(duì)于使用照片作為紋理貼圖的方法，本文方法在表觀顏色模擬上更加真實(shí)、準(zhǔn)確，主要在于本文方法去除了外部光照及拍攝角度帶來的影響，而傳統(tǒng)紋理貼圖中仍保留這些信息，因此在光照計(jì)算環(huán)節(jié)會(huì)出現(xiàn)噪聲現(xiàn)象。

通過定量化方式對(duì)該問題進(jìn)行解釋。假設(shè)用作紋理的照片是在點(diǎn)光源照明條件下拍攝獲得, 以照片上任一點(diǎn)像素x'為例進(jìn)行分析，設(shè)x'像素在拍攝場(chǎng)景下的三維空間坐標(biāo)為x，x點(diǎn)的表觀材質(zhì)按式（1）形式給出，其實(shí)際漫反射強(qiáng)度為,高光反射強(qiáng)度為,粗糙度為αx，點(diǎn)光源對(duì)x照射的光源方向?yàn)?，到達(dá)x點(diǎn)的輻照度為，相機(jī)相對(duì)于x的拍攝方向?yàn)閯tx'處的像素值 Lr( x )為

如果利用上述照片作為紋理貼圖進(jìn)行模擬，實(shí)際上是將Lr( x )作為漫反射強(qiáng)度參與光照計(jì)算進(jìn)行可視化模擬。仍然以單個(gè)點(diǎn)光源為照明環(huán)境進(jìn)行分析，對(duì)x點(diǎn)進(jìn)行三維模擬，設(shè)點(diǎn)光源對(duì)x照射的光源方向?yàn)榈竭_(dá)x點(diǎn)的輻照度為，到達(dá)x點(diǎn)的輻照度為，相機(jī)相對(duì)于x的觀察方向?yàn)?如果x點(diǎn)對(duì)應(yīng)的紋素為x'，則實(shí)際將x點(diǎn)的漫反射強(qiáng)度設(shè)定為Lr( x )，為了方便分析，假設(shè)用戶對(duì)x點(diǎn)的高光反射強(qiáng)度設(shè)定為，粗糙度為，即對(duì)于兩者的設(shè)定與真實(shí)材質(zhì)一致，則模擬結(jié)果 Lr( x )′為

而在上述光照環(huán)境和觀察角度下，物體實(shí)際的正確結(jié)果應(yīng)為

從式（5）與（6）的對(duì)比中可以看出，即使當(dāng)用戶對(duì)高光參數(shù)以及粗糙度αx的設(shè)定與真實(shí)材質(zhì)相同時(shí)，利用照片直接作為紋理使用造成的結(jié)果仍會(huì)出現(xiàn)冗余項(xiàng)O（式（4）減式（5））。

從式（7）中可以看出，冗余項(xiàng)分別為照片中的光照環(huán)境(項(xiàng)B)和拍攝角度帶來的誤差(項(xiàng)D)。而本文方法則盡可能正確地估測(cè)物體的表觀材質(zhì)，使估算結(jié)果，為了方便分析，同樣假設(shè)本文方法得到的高光強(qiáng)度與粗糙度正確，即，則得到模擬結(jié)果為

模擬結(jié)果與真實(shí)情況相比，多出冗余項(xiàng)O′（式（8）與式（6）相減）為

從結(jié)果中可以看出，本文方法已經(jīng)不存在照片中關(guān)于光照以及拍攝角度帶來的冗余項(xiàng)，因此從理論上更加合理。

然而，本文方法包含了較復(fù)雜的數(shù)據(jù)采集過程以及參數(shù)擬合算法，整個(gè)參數(shù)提取過程花費(fèi)的時(shí)間相比于傳統(tǒng)方法要多。為盡可能地加快擬合速度，總結(jié)如下2個(gè)策略：

1）降低圖像分辨率。如果葉片在整個(gè)屏幕中占的比例較大，采用50萬分辨率的表觀圖像即可獲得較好的模擬結(jié)果，此時(shí)擬合時(shí)間在15 min左右；如果葉片在整個(gè)屏幕中占得比例較小，采用5萬～10萬之間的圖像分辨率即可。當(dāng)圖像分辨率降低至5萬時(shí)，整個(gè)擬合過程需要的時(shí)間僅需要2 min。

2）通過少量樣本點(diǎn)擬合整個(gè)葉片的高光參數(shù)。整個(gè)擬合算法95%的時(shí)間耗費(fèi)在高光反射參數(shù)的計(jì)算中，因此通過減少高光參數(shù)的擬合時(shí)間來提高運(yùn)行效率是有效途徑。本文對(duì)葉片的表觀特征作如下假設(shè)：具有相同漫反射特征的葉片位置同樣具有相同的高光反射特征?；谏鲜黾僭O(shè)，可以首先擬合出葉片表面所有點(diǎn)的漫反射參數(shù)，然后交互地選擇N個(gè)樣本點(diǎn)進(jìn)行高光反射參數(shù)擬合（N的數(shù)值取決于葉片表面的紋理樣式，需盡可能全面地將葉片表面所有具有顯著漫反射特征的表面部位作為樣本），再依次計(jì)算葉片表面剩余位置與該N個(gè)樣本點(diǎn)漫反射強(qiáng)度的歐式距離，選擇最小距離的樣本點(diǎn)高光參數(shù)作為待測(cè)點(diǎn)的高光參數(shù)，這樣可以將幾十萬次高光反射計(jì)算減少至N次計(jì)算，大大降低擬合時(shí)間。雖然通過這種策略得到的高光參數(shù)與完整計(jì)算的結(jié)果在整個(gè)葉片表面上高光參數(shù)的分布有差別，但若不以真實(shí)樣本數(shù)據(jù)進(jìn)行對(duì)比，兩者差別帶來的視覺感受并不明顯，僅從可視化的角度看這個(gè)策略是有效的。

6 結(jié)論

本文提出一種基于多圖像的植物葉片表觀模擬方法，克服傳統(tǒng)單張紋理映射方法包含外部環(huán)境噪聲導(dǎo)致的表觀可視化質(zhì)量較差的問題，提高了表觀模擬的準(zhǔn)確性和真實(shí)感。該方法可提取漫反射強(qiáng)度、高光反射強(qiáng)度、粗糙度3個(gè)表觀參數(shù)；對(duì)于表觀參數(shù)的擬合時(shí)間在2～20 min之間；3 000個(gè)頂點(diǎn)的模型時(shí)，可視化速度達(dá)到800 幀/s，達(dá)到實(shí)時(shí)水平。

本文方法擬合出的表觀參數(shù)是葉片自身的本征屬性，只與葉片的生理屬性和結(jié)構(gòu)特征相關(guān)，與傳統(tǒng)的顏色信息相比，表觀參數(shù)更加適用于作為表型特征分析作物生命狀態(tài)，因此本文方法有很大潛力應(yīng)用于農(nóng)業(yè)科研、生產(chǎn)的相關(guān)領(lǐng)域。

[1] 趙春江，陸生鏈，郭新宇，等. 數(shù)字植物研究進(jìn)展：植物形態(tài)結(jié)構(gòu)三維數(shù)字化[J]. 中國農(nóng)業(yè)科學(xué)，2015，48(17)：3415－3428. Zhao Chunjiang, Lu Shenglian, Guo Xinyu, et al. Advances in research of digital plant: 3D digitization of plant morphological structure[J]. Scientia Agricultura Sinica, 2015, 48(17): 3415－3428. (in Chinese with English abstract)

[2] Mündermann L, MacMurchy P, Pivovarov J, et al. Modeling lobed leaves[C]//Proceedings of Computer Graphics International, Tokyo, Japan, 2003: 60－65.

[3] Lu S L, Guo X Y, Zhao C J, et al. Modeling of organs and structures generating for crops[C]//International Symposium on Crop Modeling and Decision Support, Nanjing, China, 2008.

[4] Rozenberg G, Lindenmayer A. Developmental systems with locally catenative formulas[J]. Acta Informatica, 1973, 2: 214－248.

[5] Rodkaew Y, Lursinsap C , Fujimoto , et al. Modeling leaf shapes using L-systems and genetic algorithms[C]// Proceedings of NICOGRAPH2002, Tokyo, Japan, 2002: 73－78.

[6] Runions A, Fuhrer M, Lane B, et al. Modeling and visualization of leaf venation patterns[J]. ACM Transactions on Graphics, 2005, 24(3): 702－711

[7] Quan L, Tan P, Zeng G, et al. Image-based plant modeling[J]. ACM Transactions on Graphics, 2006, 25(3): 599－604

[8] Loch B, Belward J, Hanan J. Application of surface fitting techniques for the representation of leaf surfaces[C]//Zerger A, Argent R M. International Congress on Modelling and Simulation. Melbourne: MODSIM Press, 2005: 1272－1278.

[9] Hanrahan P, Krueger W. Reflection from layered surfaces due to subsurface scattering[J]. Proceedings of Siggraph, 1993: 165－174.

[10] Wang L, Wang W, Dorsey J, et al. Real-time rendering of plant leaves[J]. Acm Transactions on Graphics, 2005, 24(3): 712－719.

[11] 苗騰，郭新宇，溫維亮，肖伯祥，陸聲鏈. 基于圖像的作物病害狀態(tài)表觀三維模擬方法[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2016，32(7)：181－186. Miao Teng, Guo Xinyu, Wen Weiliang, Xiao Boxiang, Lu Shenglian. Three dimensional visual simulation method of crop disease state based on image[J].Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2016, 32(7):181－186. (in Chinese with English abstract)

[12] 陸聲鏈，郭新宇，李長鋒. 3維植物葉片精確建模和繪制技術(shù)研究[J]. 中國圖象圖形學(xué)報(bào)，2009，14(4)：731－737. Lu Shenglian, Guo Xinyu, Li Changfeng ,et al. Research on techniques for accurate modeling and rendering 3D plant leaf[J]. Journal of Image and Graphics, 2009, 14(4): 731－737. (in Chinese with English abstract)

[13] Braitmaier M, Diepstraten J, Ertl T. Real-time rendering of seasonal influenced trees[C]//Proceedings of Theory and Practice of Computer Graphics, 2004: 152－159.

[14] Zhou N, Dong W, Mei X. Realistic simulation of seasonal variant maples[C]//Proceedings of PMA '06, Beijing China, IEEE Computer Society Press, 2006: 295－301.

[15] Miao T, Zhao C J , Guo X Y, et al. A framework for plant leaf modeling and shading[J]. Mathematical and Computer Modelling, 2013, 58(3): 710－718.

[16] Baranoski G V G, Rokne J G C. An algorithmic reflectance and transmittance model for plant tissue[J]. Computer Graphics Forum, 1997, 16(3): 141－150.

[17] Baranoski G V G, Rokne J G. Efficiently simulating scattering of light by leaves[J]. The Visual Computer, 2001, 17(8): 491－505.

[18] Jensen H W, Marschner S R, Levoy M, et al. A practical model for subsurface light transport[C]//Proceedings of the 28th annual Conference on Computer Graphics and Interactive Techniques, ACM, 2001: 511－518.

[19] Jensen H W, Buhler J. A rapid hierarchical rendering technique for translucent materials[J]. ACM Transactions on Graphics, 2002, 21(3): 576－581.

[20] Franzke O, Deussen O. Rendering plant leaves faithfully[C]// Proceedings of SIGGRAPH 2003, New York, USA, 2003.

[21] Donner C, Jensen H W. Light diffusion in multi-layered translucent materials[J]. ACM Transactions on Graphics, 2005, 24(3):1032－1039.

[22] Donner C, Weyrich T, D’Eon E, et al. A layered, heterogeneous reflectance model for acquiring and rendering human skin[J]. ACM Transactions on Graphics, 2008, 27(5): 32－39.

[23] Habel R, Kusternig A, Wimmer M. Physically based real-time translucency for leaves[J]. Proceedings Eurographics Symposium on Rendering, Eurographics Association, 2007: 253－263.

[24] Dong Y, Wang J, Tong X, et al. Manifold bootstrapping for SVBRDF capture[J]. ACM Transactions on Graphics, 2010, 29(4): 157－166.

[25] Gardner A, Tchou C, Hawkins T, et al. Linear light source reflectometry[J]. ACM Transactions on Graphics, 2003, 22(3): 749－758.

[26] Aittala M, Weyrich T, Lehtinen J. Two-shot SVBRDF capture for stationary materials[J]. ACM Transactions on Graphics, 2015, 34(4): 1－13.

Three dismensional appearance simulation of plant leaves based on multiple images with light source change

Miao Teng1,2,3,4,5, Guo Xinyu1,2,3,4, Zhao Chunjiang1,2,3,4※, Xiao Boxiang1,2,3,4, Wang Chuanyu1,2,3,4, Wen Weiliang1,2,3,4
(1. Beijing Research Center for Information Technology in Agriculture, Beijing 100097, China; 2. National Engineering Research Center for Information Technology in Agriculture, Beijing 100097, China; 3. Key Laboratory for Information Technology in Agriculture, Ministry of Agriculture, Beijing 100097, China; 4. Beijing Key Lab of Digital Plant, Beijing 100097, China; 5. College of Information and Electrical Engineering, Shenyang Agricultural University, Shenyang 110866, China)

Three-dimensional (3D) Plant modeling and visualization is a key research issue in both digital plant and agricultural application. Leaf is one of the vital organs in a plant, so the 3D modeling and shading of plant leaves is an important and fundamental work for achieving the goals of digital plant. Appearance simulation of plant leaves is still a challenging issue because of its intricate underlying structure and complex and subtle interaction with light. Texture mapping using leaf photo is a common method for appearance simulation, however, it could bring noise caused by light environment and camera position in lighting simulation step. This paper presents a technique for simulating the appearance of plant leaves with multiple images. Our method can estimate the spatially-varying reflectance properties of plant leaf surface based on a few images, which capture leaves' appearance transition information with different light directions. An apparent image acquisition system using linear light source is built for capturing 400 images with a fixed camera viewpoint and a single direction of motion for the linear light source. This system is composed of a driving module, a linear source module, a background module and a camera. Using a linear light rather than a point light source as the illuminant, we can obtain a piece of area with more intensive illumination. With these image data, we develop a fitting method, which is able to estimate the diffuse color, specular color and specular roughness of each point on the leaf surface. In our method, the isotropic ward model is utilized as the appearance model for specifying that how the leaf surface reflects light. Our fitting technique first simulates the change of reflectance attributes of diffuse and specular reflectance lobes under moving linear light source. In this process, a rectangle is employed to simulate the linear light source and Monte Carlo integration method is used to calculate the radiation transmission process. When we have the simulating results, the appearance parameters of each pixel are determined by comparing its actual parameter values to the simulating results. By above fitting method, 3 kinds of spatially-varying appearance parameters are saved into 3 parameter images for rendering leaf appearance. For quickly shading, multipoint point light sources are used for simulating various illumination conditions instead of complex radiative transfer integral. Using appearance parameter images and shading method, static appearance or dynamic appearance transition of plant leaves can be generated realistically. From the results obtained by this method, we find that it can render more accurate and real appearance texture of leaves compared to traditional texture mapping methods. The advantages of our method are that the appearance parameter images for rendering have removed the light and viewport noise, and only contained the appearance material information. In order to prove this conclusion, we quantitatively analyze the reason for this advantage by some formula derivations in this paper. But for obtaining these advantages, our method needs more complex data acquisition process and parameter fitting algorithm, which will reduce the efficiency of simulation. For improving the efficiency of our method, 2 approaches are discussed in this paper, including reducing image resolution and fitting the specular parameters of the whole leaf by a few sample points. Our method can estimate some appearance parameters which are plant leaf own intrinsic properties. We believe this characteristic will make these appearance parameters used not only for visualization, but also as some important phenotypes instead of so-called color data. In the future work, we will extend the application of our method in agriculture, such as monitoring plant growth status with the appearance parameters, or analyzing the differences among plant varieties.

three dimensional; visualization; light resources; leaf; appearance modeling; digital plant

10.11975/j.issn.1002-6819.2016.09.021

TP391.4; S126

A

1002-6819(2016)-09-0150-07

苗 騰，郭新宇，趙春江，肖伯祥，王傳宇，溫維亮. 基于變化光源方向多圖像的植物葉片表觀三維模擬[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2016，32(9)：150－156.

10.11975/j.issn.1002-6819.2016.09.021 http://www.tcsae.org

Miao Teng, Guo Xinyu, Zhao Chunjiang, Xiao Boxiang, Wang Chuanyu, Wen Weiliang. Three dismensional appearance simulation of plant leaves based on multiple images with light source change[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2016, 32(9): 150－156. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2016.09.021 http://www.tcsae.org

2015-08-21

2016-02-26

北京市科技計(jì)劃項(xiàng)目（D151100004215004）；北京市自然科學(xué)基金（4162028）；國家自然科學(xué)基金（31501217）；北京市農(nóng)林科學(xué)院博士后基金項(xiàng)目。

苗 騰，博士后，講師，主要從事數(shù)字植物技術(shù)研究。北京 北京農(nóng)業(yè)信息技術(shù)研究中心，農(nóng)業(yè)部農(nóng)業(yè)信息技術(shù)重點(diǎn)開放實(shí)驗(yàn)室，數(shù)字植物北京市重點(diǎn)實(shí)驗(yàn)室，100097； 沈陽 沈陽農(nóng)業(yè)大學(xué)信息與電氣工程學(xué)院，110866。Email：caumiao@126.com

※通信作者：趙春江，研究員，主要從事農(nóng)業(yè)信息化技術(shù)研究。北京 北京農(nóng)業(yè)信息技術(shù)研究中心，農(nóng)業(yè)部農(nóng)業(yè)信息技術(shù)重點(diǎn)開放實(shí)驗(yàn)室，數(shù)字植物北京市重點(diǎn)實(shí)驗(yàn)室，100097。Email：zhaocj@nercita.org.cn