劉小勇 李榮麗 郝兆朋 王 暉 崔高健 范依航 宮 巖

(長(zhǎng)春工業(yè)大學(xué)機(jī)電工程學(xué)院，吉林 長(zhǎng)春 130012)

?

基于非線性光流方程的數(shù)字圖像相關(guān)非迭代灰度梯度算法*

劉小勇 李榮麗 郝兆朋 王 暉 崔高健 范依航 宮 巖

(長(zhǎng)春工業(yè)大學(xué)機(jī)電工程學(xué)院，吉林 長(zhǎng)春 130012)

在傳統(tǒng)的非迭代灰度梯度數(shù)字圖像相關(guān)算法中，假設(shè)變形前后同一個(gè)像素點(diǎn)的灰度值相等。但在實(shí)際應(yīng)用中，圖像的采集會(huì)受到環(huán)境光照的變化、相機(jī)曝光過(guò)度/不足、加載引起被測(cè)表面圖像變化等因素的影響而引起變形前后圖像像素點(diǎn)灰度值的變化。針對(duì)這一問(wèn)題，應(yīng)用非線性光流方程來(lái)描述變形前后像素點(diǎn)間的灰度關(guān)系,從而提出一種基于非線性光流方程的非迭代灰度梯度算法。應(yīng)用模擬實(shí)驗(yàn)與真實(shí)單軸拉伸實(shí)驗(yàn)對(duì)算法的有效性與計(jì)算精度進(jìn)行驗(yàn)證。結(jié)果表明，該算法對(duì)圖像的灰度變化不敏感，具有較高的測(cè)量精度。

數(shù)字圖像相關(guān)；非線性光流方程；非迭代灰度梯度算法

經(jīng)過(guò)近40年的發(fā)展，數(shù)字圖像相關(guān)方法[1](簡(jiǎn)稱DIC方法，又稱為數(shù)字散斑相關(guān)方法[2])已成為一種較成熟的非接觸全場(chǎng)變形光學(xué)計(jì)量方法，廣泛應(yīng)用于實(shí)驗(yàn)力學(xué)及其他相關(guān)科學(xué)研究與應(yīng)用領(lǐng)域。在變形測(cè)量過(guò)程中，首先利用成像設(shè)備獲得被測(cè)表面變形前后的散斑圖像，然后應(yīng)用數(shù)字圖像相關(guān)算法通過(guò)跟蹤變形前后散斑圖中像素點(diǎn)的位置變化而獲得位移及應(yīng)變信息。

數(shù)字圖像相關(guān)方法的計(jì)算求解過(guò)程通常分為兩步，即首先進(jìn)行快速整像素位移求解(整像素定位)，然后在整像素位移的基礎(chǔ)上進(jìn)行亞像素位移求解[3-4]。通常，對(duì)整像素位移求解的精度要求不高，只需達(dá)到1像素精度即可，且求解算法較簡(jiǎn)單易于實(shí)現(xiàn)。因此，國(guó)內(nèi)外研究人員對(duì)DIC的亞像素位移求解算法開(kāi)展了大量的研究工作，并取得了豐碩的成果。逐漸形成了以Newton-Raphson 算法(簡(jiǎn)稱N-R算法)[5]、曲面擬合法[6]、基于梯度算法(即非迭代灰度梯度算法，簡(jiǎn)稱NIGGA)[7]、灰度梯度迭代算法 (簡(jiǎn)稱IGGA)[8]為代表的典型DIC算法。由文獻(xiàn)[9-10]對(duì)上述4種經(jīng)典算法的比較研究可知，N-R算法和IGGA方法具有較高的計(jì)算精度和穩(wěn)定性，但在計(jì)算過(guò)程中這兩種算法均為迭代計(jì)算求解而且需要求解相關(guān)函數(shù)的二階梯度或灰度的一階導(dǎo)數(shù)，所以這兩種算法的計(jì)算效率較其他兩種算法低。曲面擬合算法雖然計(jì)算速度較快，但其計(jì)算精度為此四種算法中最低。因此，在對(duì)計(jì)算效率無(wú)特殊要求的離線測(cè)量應(yīng)用中推薦使用N-R算法和灰度梯度迭代算法；在計(jì)算精度與計(jì)算效率均有特殊要求時(shí)推薦使用非迭代梯度算法[4]。

傳統(tǒng)的非迭代灰度梯度算法是在兩幅變形前后的散斑圖像上取相同的區(qū)域(通常稱為子圖像), 并根據(jù)運(yùn)動(dòng)圖像序列分析中的光流法原理假設(shè)所取區(qū)域內(nèi)對(duì)應(yīng)像素點(diǎn)的灰度值相等(通常將這一等式關(guān)系也稱為光流方程，如圖1所示)，然后通過(guò)對(duì)光流方程的優(yōu)化找到變形子圖像的位置，進(jìn)而獲得待求點(diǎn)的位移向量。但在實(shí)際應(yīng)用中，由于圖像采集受照明變化、相機(jī)曝光過(guò)度或不足、加載引起被測(cè)表面圖像變化等因素的耦合影響，變形前后散斑圖的灰度值不再是簡(jiǎn)單的相等關(guān)系。因此，本文將變形前后散斑圖灰度的非線性關(guān)系模型引入傳統(tǒng)光流方程中，建立了一種基于非線性光流方程的非迭代灰度梯度算法。

1 DIC的基本原理

數(shù)字圖像相關(guān)方法通過(guò)處理由CCD/CMOS相機(jī)采集的被測(cè)物體表面加載前后的散斑圖像而獲得變形參數(shù)。相機(jī)在加載前采集的散斑圖通常被稱為參考圖像，而加載后獲得的散斑圖稱為變形圖像。圖2給出了數(shù)字圖像相關(guān)方法的計(jì)算過(guò)程。首先以待求點(diǎn)P(xi,yi)為中心分別在參考圖像和變形圖像中取出兩個(gè)方形區(qū)域，分別稱為參考子圖像和變形子圖像，且變形子圖像要比參考子圖像大(如參考子圖像取31×31，變形子圖像取61×61)。然后將參考子圖像與變形子圖像按照某一預(yù)定相關(guān)函數(shù)進(jìn)行互相關(guān)計(jì)算，得到相關(guān)系數(shù)分布曲面。相關(guān)系數(shù)曲面峰值點(diǎn)的位置與變形子圖像中心點(diǎn)P的坐標(biāo)差即為P點(diǎn)的位移矢量。對(duì)參考圖像與變形圖像中所有像素點(diǎn)進(jìn)行上述操作，即可獲得被測(cè)表面的全場(chǎng)位移。

2 基于非線性光流方程的非迭代灰度梯度算法

考慮在實(shí)際應(yīng)用中圖像采集受到上述多種因素的影響，假設(shè)散斑圖中任意一個(gè)像素點(diǎn)的灰度值在變形前后呈非線性關(guān)系，因此建立其非線性光流方程如下：

i=1,2,…,N

(1)

(2)

其中：u和v分別為參考子圖像中心點(diǎn)沿x和y方向的整像素位移, Δx和Δy分別為參考子圖像中心點(diǎn)沿x和y方向的亞像素位移。

g(xi+u+Δx,yi+v+Δy)=

g(xi+u,yi+v)+Δxgx(xi+u,yi+v)+

Δygy(xi+u,yi+v)

(3)

因此，平方距離和(the sum of squared difference，SSD)相關(guān)系數(shù)可寫(xiě)為：

(4)

欲求S的最小值，應(yīng)使函數(shù)取駐點(diǎn)值，因此有：

(5)

于是可得如下方程組：

(6)

其中:f=f(xi,yi)，g=g(xi+u,yi+v)，gx=gx(xi+u,yi+v),gy=gy(xi+u,yi+v)。

gx和gy為(x,y)點(diǎn)的一階灰度梯度。

方程(6)可簡(jiǎn)寫(xiě)為：AQ=C，則方程的最小二乘封閉解為：

Q=(ATA)-1ATC

(7)

為了提高計(jì)算精度，本文采用雙三次樣條插值方法計(jì)算一階灰度梯度，其表達(dá)式為：

(8)

插值區(qū)域大小為4×4像素。

3 實(shí)驗(yàn)驗(yàn)證

3.1 數(shù)值模擬實(shí)驗(yàn)

為了消除相機(jī)鏡頭畸變、離面位移等誤差的影響，使算法的性能驗(yàn)證實(shí)驗(yàn)在可控的條件下進(jìn)行。本文首先進(jìn)行了數(shù)值模擬實(shí)驗(yàn)。圖3為真實(shí)實(shí)驗(yàn)中采集的一幅大小為416×416像素的8-bit散斑圖，將其作為本次實(shí)驗(yàn)中的參考圖像。應(yīng)用插值方法[10, 12]將該參考圖像沿x方向平移-0.05像素。然后對(duì)平移后圖像進(jìn)行對(duì)比度和亮度的調(diào)整，模擬實(shí)際應(yīng)用現(xiàn)場(chǎng)的環(huán)境變化及系統(tǒng)的偏差波動(dòng)引起的散斑圖灰度變化，進(jìn)而得到7個(gè)灰度等級(jí)的變形圖像。具體調(diào)整方法為[4]：

(1)將平移后散斑圖的亮度依次增加20%，40%，60%，……，140%，從而獲得7幅不同亮度的變形圖像；

(2)將上述7幅變形圖像的灰度值進(jìn)行歸一化處理后按照式(9)進(jìn)行對(duì)比度拉伸處理，

Iout=

(9)

式中：Iin為輸入的歸一化后變形圖像，Iout為對(duì)比度拉伸后輸出圖像；

(3)將對(duì)比度拉伸處理后的變形圖像進(jìn)行反歸一化處理，從而獲得7幅不同灰度變化等級(jí)的變形圖像。圖4給出了第7灰度等級(jí)的變形散斑圖及其灰度分布，我們可以清晰地看出圖像的灰度分布與原參考圖像有著非常顯著的變化。

應(yīng)用本文提出的改進(jìn)灰度梯度算法和傳統(tǒng)的非迭代灰度梯度算法對(duì)上述7幅變形圖像的位移進(jìn)行測(cè)量。測(cè)量計(jì)算時(shí)選取圖像中2601(51×51)個(gè)均勻分布的計(jì)算點(diǎn)(計(jì)算點(diǎn)之間的距離為6個(gè)像素)。圖5為兩種非迭代灰度梯度算法測(cè)量x方向位移誤差的平均值隨灰度等級(jí)的變化曲線。從該曲線圖中可以看出，隨著灰度變化等級(jí)的增加傳統(tǒng)算法的測(cè)量位移平均誤差急劇增大，而本文算法的測(cè)量位移平均誤差雖然也有增大的趨勢(shì)，但變化非常緩慢且趨于平穩(wěn)。在灰度變化最為顯著的第7灰度等級(jí)變形圖像測(cè)量中，傳統(tǒng)算法的測(cè)量平均誤差值已高達(dá)0.035像素，已超過(guò)真實(shí)位移(為0.05像素)的一半。而本文算法的測(cè)量平均誤差此時(shí)僅為0.008 4像素，遠(yuǎn)小于傳統(tǒng)算法的測(cè)量平均誤差。這充分說(shuō)明本文所提出的非迭代灰度梯度算法對(duì)光照變化、系統(tǒng)偏差波動(dòng)等外界條件的變化不敏感，對(duì)上述影響因素給散斑圖帶來(lái)的灰度變化具有較強(qiáng)的魯棒性。圖6為兩種算法測(cè)量第7灰度等級(jí)變形圖像位移誤差的統(tǒng)計(jì)柱狀圖。通過(guò)對(duì)比可以看出，雖然兩種算法得到的測(cè)量誤差統(tǒng)計(jì)柱狀圖形狀上較相似(近似呈正態(tài)分布)，但不難看出本文算法的誤差分布的主峰更突出且更靠近0點(diǎn)位置，測(cè)量誤差的分散程度明顯小于傳統(tǒng)算法。這進(jìn)一步說(shuō)明本文算法在多種因素的影響下仍具有較高的測(cè)量精度(其他灰度等級(jí)變形圖像的測(cè)量誤差統(tǒng)計(jì)柱狀圖與第7灰度等級(jí)變形圖像的測(cè)量結(jié)果類(lèi)似，此處不再重復(fù)給出)。

3.2 拉伸實(shí)驗(yàn)

為了進(jìn)一步評(píng)價(jià)本文算法的性能，進(jìn)行了材料的拉伸試驗(yàn)。本實(shí)驗(yàn)所使用的試件為Q235啞鈴型標(biāo)準(zhǔn)圓棒試件，通過(guò)人工噴灑黑白漆的方法在試件表面制作出均勻的散斑。制作的試件實(shí)物及其主要結(jié)構(gòu)尺寸如圖7所示。圖8為本實(shí)驗(yàn)的拉伸測(cè)量系統(tǒng)，主要包括電子萬(wàn)能試驗(yàn)機(jī)(長(zhǎng)春機(jī)械科學(xué)研究院生產(chǎn))、兩臺(tái)平行安置的CCD相機(jī)(德國(guó)AVT公司生產(chǎn)，型號(hào)為Guppy PRO F-046B)、計(jì)算機(jī)、LED光源、引伸計(jì)等。兩臺(tái)CCD相機(jī)相當(dāng)于引伸計(jì)的兩個(gè)刃口，應(yīng)用本文的DIC方法測(cè)量上下相機(jī)內(nèi)中心區(qū)域變形，進(jìn)而獲得標(biāo)距內(nèi)軸向拉伸長(zhǎng)度變化值。實(shí)驗(yàn)中安裝引伸計(jì)的目的是為了用其測(cè)量數(shù)據(jù)與DIC測(cè)量數(shù)據(jù)進(jìn)行對(duì)比，進(jìn)而驗(yàn)證本文提出的DIC算法的性能。

在拉伸實(shí)驗(yàn)之前，先進(jìn)行像素當(dāng)量的標(biāo)定。將試驗(yàn)機(jī)的上夾頭松開(kāi)，以0.01 mm為步長(zhǎng)連續(xù)移動(dòng)試件5次，通過(guò)真實(shí)位移值與DIC的測(cè)量值(像素值)比值的平均值得到上下相機(jī)的像素當(dāng)量分別為0.0212 mm/pixel和0.0213 mm/pixel。然后夾緊試件，啟動(dòng)試驗(yàn)機(jī)與圖像采集系統(tǒng)，圖9為上下相機(jī)采集的第一幅散斑圖，并分別作為兩臺(tái)相機(jī)的參考圖像。觀察試驗(yàn)機(jī)的實(shí)時(shí)數(shù)據(jù)顯示結(jié)果，當(dāng)?shù)竭_(dá)屈服階段時(shí)，停止試驗(yàn)機(jī)及圖像采集系統(tǒng)。圖10為試件在彈性階段引伸計(jì)與DIC法測(cè)得的力與變形關(guān)系曲線。從圖中可以看出，兩種方法獲得的力與變形曲線非常吻合。DIC法和引伸計(jì)測(cè)得試件的彈性模量分別2.026 3和2.015，兩者均在Q235彈性模量標(biāo)準(zhǔn)值2.00～2.10范圍內(nèi)。這進(jìn)一步說(shuō)明本文提出的非迭代灰度梯度DIC算法的可行性與有效性，并具有較好的測(cè)量精度。

4 結(jié)語(yǔ)

本文將非線性函數(shù)引入非迭代灰度梯度算法中，建立了基于非線性光流方程的非迭代灰度梯度算法。該算法無(wú)需迭代，直接獲得亞像素位移的封閉解，易于實(shí)現(xiàn)。文中采用計(jì)算機(jī)模擬圖像對(duì)傳統(tǒng)非迭代梯度算法與本文算法在不同程度的圖像灰度變化時(shí)求解精度進(jìn)行了對(duì)比研究。結(jié)果表明，本文算法對(duì)圖像灰度的變化具有較好的魯棒性，在實(shí)驗(yàn)中求解灰度變化最大的第7灰度等級(jí)變形圖像時(shí)傳統(tǒng)算法的平均誤差已達(dá)0.035像素，而本文算法仍然穩(wěn)定在0.008 4像素以內(nèi)。隨后真實(shí)試件的拉伸實(shí)驗(yàn)進(jìn)一步證明了本文算法的有效性并具有較高的測(cè)量精度。本文算法的研究也為非迭代灰度梯度DIC算法應(yīng)用于復(fù)雜的現(xiàn)場(chǎng)環(huán)境條件下的變形測(cè)量奠定了基礎(chǔ)。

[1]Pan Bing, Qian Kemao, Xie Huimin, et al.Two-dimensional digital image correlation for in-plane displacement and strain measurement: a review [J].Measurement Science & Technology，2009，20(6)：062001-17.

[2]戴相錄，謝惠民，王懷喜.二維數(shù)字圖像相關(guān)測(cè)量中離面位移引起的

誤差分析[J].實(shí)驗(yàn)力學(xué)，2013，28(1)：10-19.

[3]Wang Min, Cen Yuwan, Hu Xiaofang, et al.A weighting window applied to the digital image correlation method [J].Optics & Laser Technology，2009，41(2)：154-158.

[4]劉小勇.數(shù)字圖像相關(guān)方法及其在材料力學(xué)性能測(cè)試中的應(yīng)用[D].長(zhǎng)春：吉林大學(xué)，2012.

[5]Bruck HA，Mcneill SR，Sutton MA，et al.Digital image correlation using Newton-Raphson method of partial differential correction [J].Experimental Mechanics, 1989, 29(3)：261-267.

[6]王琛影, 何小元.相關(guān)識(shí)別中的曲面擬合法[J].實(shí)驗(yàn)力學(xué), 2000, 15(9)：281-285.

[7]Davis CQ, Freeman DM.Statistics of subpixel registration algorithms based on spatiotemporal gradients or block matching [J].Optical Engineering, 1998, 37(4)，1290-1298.

[8]Zhou P, Goodson KE.Subpixel displacement and deformation gradient measurement using digital image/speckle correlation (DISC)[J].Optical Engineering, 2001, 40(8)，1613-1620.

[9]Pan Bing, Xie Huimin, Xu Boqin，et al.Performance of sub-pixel registration algorithms in digital Image correlation [J].Measurement Science & Technology，2006，17(6)：1615-1621.

[10]Xiong Lei, Liu Xiaoyong, Liu Guodong,et al.Evaluation of sub-pixel displacement measurement algorithms in digital image correlation [C].The International Conference on Mechatronic Science, Electric Engineering and Computer, 2011:1-4.

[11]潘兵, 續(xù)伯欽, 李克景.梯度算子選擇對(duì)基于梯度的亞像素位移算法的影響[J].光學(xué)技術(shù), 2005, 31(1)：26-31.

[12]Liu Xiaoyong, Li Rongli, Zhao Hongwei, et al.Quality assessment of speckle patterns for digital image correlation by Shannon entropy[J].Optik, 2015, 126(23): 4206-4211.

如果您想發(fā)表對(duì)本文的看法，請(qǐng)將文章編號(hào)填入讀者意見(jiàn)調(diào)查表中的相應(yīng)位置。

Non-iterative gray-gradient algorithm based on nonlinear optical flow equation in digital image correlation

LIU Xiaoyong, LI Rongli, HAO Zhaopeng, WANG Hui,CUI Gaojian, FAN Yihang, GONG Yan

(School of Mechatronic Engineering, Changchun University of Technology, Changchun 130012, CHN)

In traditional non-iterative gray-gradient algorithm of digital image correlation method, the gray intensity of a physical point on object surface is assumed that it does not change before and after deformation.However, in reality, the speckle images are sometimes acquired with illumination lighting variations, over/under-exposure, intensity variations during loading and so on.The gray intensity of physical points in speckle images before and after deformation is changed.In this paper, a non-iterative gray-gradient algorithm based on nonlinear optical flow equation is proposed.The nonlinear equation is employed to build the relationship between the points in the undeformed and deformed images.Both numeral experiment and real tensile experiment are conducted to verify the performance.The results show that the proposed algorithm displays the most robust for intensity variations and has high precision.

digital image correlation；nonlinear optical flow equation；non-iterative gray-gradient algorithm

* 國(guó)家自然科學(xué)基金項(xiàng)目( 51505038) ; 吉林省教育廳“十二五”科學(xué)技術(shù)研究項(xiàng)目( 吉教科合字[2015]第88 號(hào))

0348

A

10.19287/j.cnki.1005-2402.2016.11.005

劉小勇，男，1979年出生, 博士，講師，主要從事微納米原位DIC測(cè)量技術(shù)與儀器方面的研究。

(編輯 譚弘穎)

2016-04-12)

161112