項輝宇，劉倩倩，韓寶安，李 鶴

（北京工商大學(xué) 材料與機械工程學(xué)院，北京 100037）

基于HALCON的板料成形網(wǎng)格應(yīng)變的測量

項輝宇，劉倩倩，韓寶安，李 鶴

（北京工商大學(xué) 材料與機械工程學(xué)院，北京 100037）

計算機視覺在網(wǎng)格應(yīng)變測量領(lǐng)域的應(yīng)用已成為研究熱點，本實驗是基于先進的圖像處理軟件HALCON，利用雙目立體視覺原理，對印制有圓形網(wǎng)格的板料應(yīng)變測量。首先采用印制有圓形標(biāo)志點的平面標(biāo)準(zhǔn)標(biāo)定板，對攝像機進行標(biāo)定，獲得攝像機的內(nèi)外參數(shù)。采用基于NCC的匹配方法對左右圖像特征點進行匹配，利用視差原理獲得匹配點的三維坐標(biāo)，對印制有圓形網(wǎng)格的板料進行三維重建。然后根據(jù)圓形網(wǎng)格變形后的橢圓長短軸的長度變化，計算得到真實應(yīng)變，用OpenGL語言將應(yīng)變可視化。

標(biāo)定；立體匹配；三維重建；HALCON；應(yīng)變可視化

0 引言

傳統(tǒng)接觸式的應(yīng)變測量方法已無法完成對大撓度塑形變形的應(yīng)變測量，工具顯微鏡法[1]是板料成形的傳統(tǒng)應(yīng)變測量方法，其采用圓形陣列網(wǎng)格，通過工具顯微鏡直接讀取變形后的橢圓的長短軸長度，并與初始圓網(wǎng)格的直徑進行比較，從而獲得單個圓形區(qū)域的應(yīng)變值，對手工操作的依賴性較大，效率和精度較低，難以解決復(fù)雜板件的應(yīng)變測量。采用HALCON進行非接觸式的快速精確的應(yīng)變測量方法已在各領(lǐng)域都得到廣泛的應(yīng)用。HALCON擁有一套圖像處理庫，由一千多個獨立的函數(shù)以及底層的數(shù)據(jù)管理核心構(gòu)成。包含了濾波，色彩以及幾何、數(shù)學(xué)轉(zhuǎn)換，形態(tài)學(xué)計算分析，校正，分類辨識，形狀搜尋及影像計算等功能，基于HALCON強大的計算分析能力，應(yīng)用范圍幾乎沒有限制，涵蓋從醫(yī)學(xué)，遙感探測，監(jiān)控，到工業(yè)上的各類自動化檢測[2]。本實驗利用強大的HALCON的算子和算法實現(xiàn)對板料成形網(wǎng)格應(yīng)變的測量。

1 雙目立體視覺標(biāo)定

雙目立體視覺標(biāo)定的流程如圖1所示。為了進行攝像機標(biāo)定，必須在世界坐標(biāo)系中已知足夠多空間點的三維坐標(biāo)，找到這些點在圖像坐標(biāo)系中的坐標(biāo)，并建立對應(yīng)關(guān)系，通常將容易提取特征的目標(biāo)物或標(biāo)志放置在一個已知位置上。本實驗中使用的是（60×60）mm平面標(biāo)準(zhǔn)標(biāo)定板。

利用算子open_frameg-rabber()打開和配置選定的圖像獲取設(shè)備，利用算子grab_image()實時采集圖像。通過while循環(huán)，利用get_mposition()算子，實現(xiàn)鼠標(biāo)左鍵點擊圖像窗口時進行圖像采集并保存。為了簡化復(fù)雜的非線性問題，需要給定攝像機的初始參數(shù)，攝像機參數(shù)包括焦距、畸變、像元大小、圖像中心點坐標(biāo)以及圖像大小。本實驗中使用的攝像機參數(shù)為Start-Paramater=[0.016,0,5.2x10-6,5.2x10-6,640,512,1280,1024]。然后將抓取的圖像利用算子find_caltab ()提取標(biāo)定板內(nèi)部區(qū)域。找到標(biāo)定對象上的內(nèi)部區(qū)域之后利用算子find_marks_and_pose()從圖像中提取2D標(biāo)定標(biāo)志，并計算攝像機外部參數(shù)的初始值，該算子使用亞像素邊緣提取方法來提取標(biāo)志點的邊緣如圖2所示。確定了標(biāo)志點與它們在圖像中投影之間的對應(yīng)關(guān)系后，利用算子binocular_calibration()根據(jù)上述過程可以計算出雙目立體視覺系統(tǒng)中攝像機的內(nèi)部參數(shù)以及兩個攝像機之間的位置關(guān)系，結(jié)果如圖3所示。

圖1 標(biāo)定流程圖

為使攝像機參數(shù)更加準(zhǔn)確，需要有足夠多的標(biāo)定圖像，因為攝像機參數(shù)之間存在不容忽視的相關(guān)性，這些參數(shù)只能通過多次無關(guān)測量進行求解。標(biāo)定板在標(biāo)定圖像中最好能夠覆蓋整個視野，這樣可以使計算得到的畸變k更加準(zhǔn)確。如果標(biāo)定板可以覆蓋較大的深度范圍，所得到的攝像機參數(shù)會更準(zhǔn)確，可以通過將標(biāo)定板繞其x軸和y軸旋轉(zhuǎn)一定角度，或者將標(biāo)定板放置在與攝像機不同距離的位置上，以增大標(biāo)定板覆蓋的深度范圍[3]。

圖2 提取的標(biāo)志點

圖3 雙目立體標(biāo)定結(jié)果

2 立體匹配

2.1 立體匹配

進行立體重構(gòu)主要的一步就是得到圖像中每個點的視差，一般是指第一幅圖像的所有點，求視差的過程可以看做模板匹配問題。圖像的匹配就是要找出同一目標(biāo)在左右成像面上的特征對應(yīng)關(guān)系，根據(jù)二者視差恢復(fù)圖像的深度信息[4,5]。一般情況下基于灰度值的匹配方法是立體匹配中最快的方法。最簡單的計算相似度量[6]的方法是SAD （sum of absolute gray value differences）和SSD（Sum of squared gray value differences），對于立體問題來講，可使用如下等式表示：

這兩種相似度量方法的運算速度非常快，不過這兩種方法受光照變化影響比較大，而由于兩個攝像機視角不同，加之被測對象本身等原因，光照變化在立體重建中經(jīng)常出現(xiàn)，因此在一些應(yīng)用中必須使用歸一化互相關(guān)方法（NCC）計算相似度量，在解決立體匹配時，可以使用下式表示：

式中，mi和si（i=1,2）分別表示第一幅和第二圖圖像中窗口部分的均差和標(biāo)準(zhǔn)差。使用歸一化互相關(guān)方法可以保證線性的光照變化不會導(dǎo)致互相關(guān)系數(shù)發(fā)生變化。

2.2 匹配過程

圖4 匹配過程流程圖

在HALCON中調(diào)用相關(guān)算子進行匹配并得到視差圖，匹配過程流程圖如圖4所示。

攝像機標(biāo)定完成后，在攝像機相對位置以及各項內(nèi)部參數(shù)均未發(fā)生改變的情況下，獲取變形后的板料的左右兩幅圖像。為簡化匹配過程需要對圖像進行校正，實現(xiàn)兩幅圖像處在同一平面，根據(jù)極線約束原理，對于左圖像中一點，其在右圖像中的匹配點肯定位于與該點在左圖像相同的行上，這樣匹配的過程中只需在與已知點的相同行上進行搜索即可。利用標(biāo)定得到的攝像機內(nèi)外參數(shù)對圖像進行變換，使得變換后的圖像共軛極線共線，并平行于圖像的水平軸。算子gen_binocular_rectification_map()用于創(chuàng)建校正后圖像對所在的圖像平面，而map_image()將測量圖像投影到剛創(chuàng)建的圖像平面，對板料圖像進行校正后的圖像如圖5所示，此時左右圖像中對應(yīng)匹配點位于相同的行上，匹配結(jié)果如圖6所示。

HALCON中算子binocular_disparity()利用相關(guān)一致性技術(shù)，計算校正后的兩幅圖像之間像素級精度的對應(yīng)關(guān)系，輸出結(jié)果為視差圖和匹配分值圖，如圖7所示。兩幅圖像均是參考第一幅校正圖幾何，即第一幅校正圖像中點的視差就是視差圖中位置處的灰度值。在視差圖中匹配失敗的區(qū)域以白色顯示，而在匹配分值圖中則以黑色顯示。

圖5 圖像校正結(jié)果

圖6 匹配結(jié)果

圖7 視差圖和匹配分值圖

3 三維重建

3.1 三維重建過程

整個三維重建過程如圖8所示。在HALCON中算子draw_rectangle2()定義區(qū)域并利用算子reduce_domain ()來創(chuàng)建感興趣區(qū)域ROI。利用算子edges_sub_pix()對ROI進行亞像素精度邊緣提取，配合使用算子select_contours_xld()和select_shape_xld()，對提取的邊緣進行選擇，由于印制的網(wǎng)格有一定的寬度，因此每個圓形網(wǎng)格均會有內(nèi)邊緣和外邊緣。

圖8 三維重建流程圖

本實驗中使用自編的算子sort_contours_xld_by_line ()，實現(xiàn)按線段或直線對提取的橢圓輪廓進行排序。在HALCON中，先按照輪廓排列順序，從中選出一個，然后用算子fit_ellipse_contour_xld()進行橢圓擬合，得到擬合后橢圓的各項參數(shù)包括中心坐標(biāo)、長短軸方向、長短軸長度以及長短軸終點坐標(biāo)，將內(nèi)外輪廓對應(yīng)的這些參數(shù)按照排列順序進行平均運算，得到真實位置橢圓的各項參數(shù)，再利用算子gen_ellipse_contour_xld()生成橢圓。

3.2 三維坐標(biāo)轉(zhuǎn)換

雙目立體模型在經(jīng)過校正后變成了雙目平視模型，空間點在兩圖像中的投影 （稱為共軛點）的圖像坐標(biāo)分別可表示為：

共軛點在兩圖像上的位置差稱為視差d，即：

其中焦距f和基線b均為校正后的圖像參數(shù)，為已知，而視差d由算子binocular_disparity()求得，這樣空間點的三維重建將大大簡化。

算子disparity_to_point_3d()以校正后的攝像機參數(shù)、圖像坐標(biāo)和視差值為輸入?yún)?shù)，將圖像坐標(biāo)轉(zhuǎn)換為校正立體系統(tǒng)下的三維坐標(biāo)（Xc，Yc，Zc）。

4 應(yīng)變計算

4.1 應(yīng)變計算

常用的網(wǎng)格類型有圓網(wǎng)格、方網(wǎng)格和混合網(wǎng)格，對于不同的網(wǎng)格計算應(yīng)變的方法也不同。采用圓網(wǎng)格進行應(yīng)變計算時，計算方法非常簡便。記d0為變形前圓的直徑，d2和 d1分別為變形后的橢圓之長、短軸的長度[8]，變形后橢圓的長軸方向為主應(yīng)變方向，短軸方向為另一個主應(yīng)變方向，主應(yīng)變的計算公式為：

真實應(yīng)變：

4.2 應(yīng)變可視化板料表面的應(yīng)變計算出來后，為了便于方便的觀察板料成形應(yīng)變，需要通過科學(xué)計算可視化技術(shù)顯示出這些數(shù)據(jù)的意義。本文中的科學(xué)計算可視化是在 OpenGL的基礎(chǔ)上實現(xiàn)的[9～11]，其整個可視化流程如圖9所示。

圖9 可視化流程

4.3應(yīng)變可視化系統(tǒng)實現(xiàn)

本實驗利用OpenGL語言，在VC++6.0基礎(chǔ)上編程實現(xiàn)了應(yīng)變可視化系統(tǒng)，如圖10所示，該系統(tǒng)中可以觀察三維曲面、主應(yīng)變、工程應(yīng)變、等效應(yīng)變、厚向應(yīng)變的離散點圖和曲面圖，通過鼠標(biāo)操作可實現(xiàn)平移、旋轉(zhuǎn)、縮放和復(fù)位同時在系統(tǒng)設(shè)置中可對雙線性插值次數(shù)、離散點大小和背景顏色進行設(shè)置[12]。本實驗以主應(yīng)變?yōu)槔?，顯示應(yīng)變效果如圖11所示。

圖10 應(yīng)變可視化系統(tǒng)界面

5 結(jié)論

圖11 真實主應(yīng)變

本文將圖像處理軟件HALCON引入到板料成形網(wǎng)格應(yīng)變測量中，采用平面標(biāo)準(zhǔn)標(biāo)定板，通過在標(biāo)定板區(qū)域內(nèi)對標(biāo)志點輪廓進行橢圓擬合，確定標(biāo)志點中心在圖像中的投影，根據(jù)多幅圖像中的這種對應(yīng)關(guān)系確定兩攝像機內(nèi)部參數(shù)和兩攝像機之間位置關(guān)系，根據(jù)雙目立體視覺原理得到了準(zhǔn)確的標(biāo)定結(jié)果。通過基于灰度值的匹配方法獲得圖像的視差，為了消除光照變化的影響，本實驗采用NCC相似度量方法，得到匹配結(jié)果——視差圖和匹配分值圖。要完成三維重建，除了校正后攝像機的參數(shù)和視差圖，還需確定特征點的位置以及對應(yīng)的視差值，因此需要對特征點的提取進行預(yù)處理操作，包括創(chuàng)建感興趣區(qū)域、亞像素邊緣、輪廓提取及排序、橢圓擬合和平均運算，得到橢圓中心點坐標(biāo)，根據(jù)視差原理求得特征點在攝像機坐標(biāo)系下的三維坐標(biāo)，進而獲得圓網(wǎng)格應(yīng)變。在VC下調(diào)用OpenGL圖像庫，實現(xiàn)應(yīng)變的可視化。實驗證明，基于HALCON的板料成形網(wǎng)格應(yīng)變測量方法快速、準(zhǔn)確，具有很強的魯棒性。

[1]工具顯微鏡編寫組.工具顯微鏡[M].北京：機械工業(yè)出版社，1978.

[2]王家國.瓶裝啤酒異物在線檢測關(guān)鍵技術(shù)研究[D].山東大學(xué),2009.

[3]（德)Steger,C.,Ulrich,M.,Wiedemann,C.,等；楊少榮，等（譯）.機器視覺算法與應(yīng)用[M].北京：清華大學(xué)出版社，2008:218-245.

[4]王玉翰.基于雙目立體視覺的番茄識別與定位技術(shù)研究[D].浙江大學(xué)，2012.

[5]王曉華.基于雙目視覺的三維重建技術(shù)研究[D].山東科技大學(xué)，2004.

[6]王瑞.基于計算機視覺的深度信息提取技術(shù)的研究[D].沈陽工業(yè)大學(xué)，2007.

[7]徐玉華.二維光學(xué)和距離圖像配準(zhǔn)方法及其應(yīng)用研究[D].合肥工業(yè)大學(xué)，2011.

[8]靳海亮，高井祥，康建榮.基于VC和OpenGL的地形三維可視化[J].微計算機應(yīng)用，2006，5.

[9]王海濤，張力，項輝宇.基于視覺的汽車覆蓋件塑性主應(yīng)變測定[J].北京工商大學(xué)學(xué)報（自然科學(xué)版），2008，4.

[10]郭濤，平西建.基于OpenGL的三維地形可視化技術(shù)研究[J].計算機工程與設(shè)計，2008，1.

[11]劉媛媛.板料成形試驗中應(yīng)變測量與數(shù)據(jù)處理系統(tǒng)開發(fā)[D].南京航空航天大學(xué)，2012.

Grid Strain Measurement in Sheet Metal Part Forming Based on HALCON

XIANG Hui-Yu，LIU Qian-Qian，HAN Bao-An，LI He
(Materials and Mechanical Engineering College,Beijing Technology and Business University,Beijing 100037,China)

Computer vision application in the field of strain grid measuring has become a research topic,the study mainly measure strain to sheet metal with circular grid using the principle of binocular stereo vision based on advanced HALCON which is an image processing software.First calibrate the cameras with plane standard calibration plate to acquire the cameras'internal and external parameters.Matching feature points of left and right images by matching method based on NCC.Using the disparity principle to get three-dimensional coordinates of the matching points with which to conduct 3D reconstruction to the sheet metal part printed with circular grids.Then according to the length change of the elliptical axis after circular grid deformation,calculate the the true strain,and visualize each strain with OpenGL language.

calibrations；stereo matching；3D reconstruction；HALCON；visualization strains

TP39

：Adoi:10.3969/j.issn.1002-6673.2014.03.048

1002－6673（2014）03－125－04

2014－04－03

項輝宇(1966-)，男，工學(xué)博士，教授。主要研究方向：數(shù)字化設(shè)計制造技術(shù)；劉倩倩（1988-），女，碩士研究生。