郭鵬霞，馮沖，薛嚴冰，徐丹丹

(1. 大連交通大學 電氣信息學院，遼寧 大連 116028；2. 大連民族大學 信息與通信工程學院,遼寧 大連 116000；3. 大連理工大學 電子科學與技術博士后流動站，遼寧 大連 116000)*

0　引言

在工業(yè)實際焊錫膏質量檢測應用中，通過普通的相機來獲取大范圍的PCB圖像時，要調(diào)節(jié)相機的焦距來達到目的，這樣做的缺點是全景圖像的分辨率相對較低.而且，當PCB與相機間距固定時，也存在無法用一張照片把大尺寸的PCB圖拍攝下來的情況.雖然有專門的拍攝全景圖像的硬件設備，但是這些設備昂貴，使用不方便，而且廣角鏡頭獲得的照片邊緣會發(fā)生扭曲變形.為了獲得高分辨率的大范圍的全景PCB圖像，研究者提出了圖像拼接技術.圖像拼接就是把數(shù)張有重疊部分的圖像拼接成一幅大型的沒有縫隙、高分辨率的圖像.目前,對全景圖像拼接技術的基本理論、性能評價和工程的實際應用等問題的研究已成為國內(nèi)外學者關注的熱點課題之一[1].

全景圖像拼接作為新興的技術，短短幾年就得到了快速的發(fā)展，并已應用于諸多領域，具有很高的實用價值.因此，對圖像拼接技術的研究具有非常重要的意義[2].實現(xiàn)圖像拼接有很多工具，比如常見的有MATLAB、Opencv、Halcon等處理軟件.Halcon軟件是由德國MVTec公司所研發(fā)的一個功能強大機器視覺軟件，在工業(yè)領域應用廣泛.它提供了數(shù)學形態(tài)學、分類器、幾何變換、模式匹配、Blob分析、圖像標定、三維視覺、圖像拼接等算子，本文采用Halcon軟件來進行研究.在圖像拼接部分已有多種方法實現(xiàn)其結果.2011年2月譚杰、王殊軼等人[3]提出基于Halcon的圖像拼接算法研究；2016年2月薛真、項輝宇[4]提出一種用于工件視覺測量的圖像拼接方法的研究；2017年2月李明穎、王偉等人[5]提出基于Halcon圖像拼接技術在工件測量中的應用研究.但是這些研究都是單一的拼接方法的研究，并沒有對幾種拼接方法的比對.本文以兩幅分場景PCB圖作為拼接對象，研究了三種不同的圖像拼接方法，其結果通過與標準圖進行比對，對三種圖像拼接方法的結果進行了質量評價，綜合考慮得出方法一在可接受的時間范圍內(nèi)，可以有較好的拼接效果.

1　圖像拼接的方法

圖像拼接的基本步驟流程如圖1所示.該流程可分為三個模塊：圖像的預處理、特征點的提取和拼接實現(xiàn).其中圖像預處理模塊包括圖像采集和幾何校正.拼接實現(xiàn)作為關鍵環(huán)節(jié)，主要工作是根據(jù)提取的有效興趣點建立投影矩陣，然后利用矩陣關系實現(xiàn)圖像的拼接.針對每個模塊，Halcon軟件都提供了不同的算子.本文中圖像預處理部分和興趣點檢測部分均采用相同的算子實現(xiàn)，重點對圖像拼接實現(xiàn)方法這一關鍵環(huán)節(jié)采用了三種不同方法的相關算子進行拼接實驗.

圖1　拼接流程圖

第一種方法利用提取的特征點自動建立矩陣關系，完成圖像的拼接.其中涉及的包括有通過尋找點之間的對應關系，來計算兩個圖像之間的一個投影變換矩陣的算子proj_match_points_ransac，以及把多幅圖像拼接成一幅圖像的算子gen_projective _mosaic.第二種方法利用提取的興趣點，自動建立矩陣關系，然后合理設置參數(shù)，執(zhí)行捆綁調(diào)整，完成圖像的拼接.其中涉及的算子有執(zhí)行圖像拼接的捆綁調(diào)整的bundle_adjust_mosaic算子,多幅圖執(zhí)行拼接的算子是gen_bundle_adjust_mosaic.第三種方法首先生成高斯圖像，在每層區(qū)域提取興趣點，建立矩陣關系，完成圖像的拼接.其中涉及的算子有計算高斯金字塔的算子gen_gauss_pyramid，通過尋找點之間的對應關系，來計算兩個圖像之間的一個投影變換矩陣的算子proj_match_points_ransac，多幅圖像拼接成一幅圖像的算子gen_projective _mosaic等算子.

2　圖像拼接的實驗

本文需要高分辨率全景圖做參考對象來評判拼接結果的質量，因此選擇兩幅有重合部分的PCB圖作為實驗拼接用圖，如圖2(a)，以標準PCB圖(圖2(b))作全景圖進行拼接質量評價.

圖2　Lena實驗圖

2.1　圖像的預處理

由圖1的流程可看出，圖像預處理分為獲取圖像和圖像幾何校正兩個部分.在圖像獲取部分，Halcon軟件可以直接通過助手選項中的Image Acquisition來獲取圖像所在的文件夾來獲取圖片，也可以直接調(diào)用read_image算子來獲取待拼接圖像.本文是通過read_image算子獲取圖像.由于在采集圖像的過程中，采集設備具有非線性因素，或者因為拍攝角度不同，導致生成的圖像會發(fā)生幾何失真現(xiàn)象.所以需要對失真的圖像進行幾何校正，以提高圖像拼接后續(xù)環(huán)節(jié)的匹配精度.

Halcon機器視覺軟件在幾何校正的過程是:第一步是獲取相機的相關部分參數(shù)，緊接著利用算子change_radial_distortion_cam_par根據(jù)指定的徑向變形來確定相機新的相關的參數(shù).最后一步是通過change_radial_distortion_image算子來改變圖像的徑向失真.

2.2　圖像特征點檢測

特征點[6]本質就是一幅圖像內(nèi)灰度在水平和垂直方向都有顯著變化的一類特殊點，其有信息量小，信息含量高的特點.常用的提取算子特征點有Moravec算子、Forstner算子、Harris算子等.由于Harris算子提取的特征點均勻而且合理,在紋理信息豐富的區(qū)域中,Harris算子可以提取出大量有用的特征點；同時Harris算子中只用到灰度的一階差分以及濾波[7],操作簡單且計算過程中只涉及到了圖像的一階導數(shù),對角點的提取也比較穩(wěn)定.

Harris算子是Harris和Stephens提出[8]的一種基于信號的角點特征提取算子，其可以表示為：

(1)

式中，M表示相關矩陣，I為x方向的差分，Iy為y方向的差分，ω(x,y)為高斯函數(shù).

R=det(M)-k(traceM)2

(2)

式(2)是來進行角點的判斷.Det為該矩陣的行列式，trace是其矩陣的秩，k是常數(shù)，通常取為0.04～0.06，本文取0.04.

因此介于上述介紹的優(yōu)點，本文在Halcon軟件中直接調(diào)用points_harris算子就可以對待拼接圖像提取特征點.

2.3　圖像拼接的實驗

在圖像拼接的實現(xiàn)部分是根據(jù)已提取的興趣點，利用不同算子自動建立相應的投影矩陣，最后生成全景圖像.該部分基于點匹配的剛體配準方法[9]是使用最多的空間配準方法.其中Halcon是由1000個獨立的函數(shù)，算子即其與相關的算法相結合.因此可以認為不同算子的使用，就代表著采用了不用的算法.本文采用了三種方法的實現(xiàn)過程：

方法一：首先通過算子points_harris提取興趣點，為了能夠清晰的可以看到兩個圖像的興趣點，用gen_cross_contour_xld算子生成一個XLD輪廓交叉的形狀來標注圖像內(nèi)的每一個興趣點.然后通過算子proj_match_points_ransac找到兩圖興趣點之間的對應關系，來計算兩個圖像之間的投影矩陣，下一步通過concat_obj算子把兩個標志性的數(shù)組連接起來，最后利用gen_projective_mosaic算子把兩幅圖生成一幅圖像.實驗拼接結果如圖3(a).

方法二：同樣利用points_harris算子來提取興趣點，然后通過proj_match_points_ransacs算子得到兩圖像之間的投影變換矩陣，接下來利用bundle_adjust_mosaic算子根據(jù)圖像的特點設置該算子合理的參數(shù)來執(zhí)行圖像拼接的捆綁調(diào)整，在該算子參數(shù)里投影變換類型設置為剛體變化模型.最后通過gen_bundle_adjust_mosaic算子把兩圖像拼接成一幅圖.實驗拼接結果如圖3(b).

方法三：在這種方法中，使用一個圖像金字塔來計算兩個圖像之間的投影變化.首先利用gen_gauss_pyramid算子生成高斯金字塔，每層都通過points_harris來提取圖像的特征點，在最高的金字塔層，用proj_mathc_points_ransac算子來得到圖像之間的投影變換矩陣，而在較低水平的金字塔層，使用從上層近似投影，用proj_match_points _ransac_guided算子通過投影變換矩陣的已知近似點之間的對應關系計算兩個圖像之間的對應關系，并求出兩個圖像之間的一個投影變換矩陣.本文的圖像的點之間建立的變換模型都是剛體變換，所以要把該變換通過算子vector_to_rigid強行轉換成剛體變換.在這種情況下，值得注意的是用proj_match_points_ ransac_ guided算子所得到的轉化結果是被忽略的.所以要用于下一個較低的金字塔級，因此該投影矩陣只能通過hom_mat2d_ scale _local、hom_mat2d_scale算子調(diào)整到新規(guī)模尺寸的大小.最后利用gen_projective_mosaic算子把兩圖像拼接成一幅圖像.實驗拼接結果如圖3(c).

(a) 方法一

(b) 方法二

(c) 方法三

對圖3的結果直觀觀測可發(fā)現(xiàn)，圖3(b)和圖3(c)稍微有些許瑕疵，圖3(a)的細節(jié)相對較好，但是這只是主觀臆斷.靠人眼是無法客觀評價拼接方法的效果，因此需要研究客觀評價圖像拼接質量的方法.

3　圖像拼接評價分析與結果

圖像拼接多種方法的實驗結果目測是比較理想的，為了指出一種合理圖像拼接方法，要引進圖像拼接結果評價的概念.目前常用并且典型的評價方法有：基于像素誤差信息的PSNR[10]、基于結構相似度的SSIM[11]方法和DoEM評價方法[12]等.文獻[12]表明三種方法比較可得DoEM方法能有較好的結果，相對更好地能體現(xiàn)出實際主觀感受.所以本文采取DoEM方法來對拼接結果做出評價.

3.1　DoEM圖像拼接評價方法

DoEM的基本思想是把圖像像素信息的統(tǒng)計與結構信息的相似性原理相結合，并利用邊緣輪廓圖像，對其差分譜信息進行統(tǒng)計，進而對圖像拼接質量進行評價.大致可以分為三個步驟:

(1)圖像邊緣檢測；

(2)構建圖像邊緣差分譜；

首先獲得邊緣的差分譜，然后用權值矩陣對差分譜進行加權處理.其中涉及到的權值矩陣元素的取值范圍為0～1，并且越靠近拼接圖像重疊區(qū)域的邊界其取值越大.

(3)統(tǒng)計差分譜信息并計算評分；

是否存在錯位和亮度過渡是影響圖像拼接質量的兩個主要因素.而邊緣差分譜的均值和方差與決定圖像拼接質量的兩個因素存在正相關的關系.DoEM 是檢測邊界區(qū)域差分譜的亮度均值，并將其與整體的均值相比，利用比值來判斷亮暗突變是否占據(jù)質量評價主導地位.DoEM在計算評分時，亮度突變和錯位因素的評價所占比重隨著差分譜的方差變化動態(tài)進行調(diào)整.主觀評價曲線形狀呈現(xiàn)墨西哥草帽型，經(jīng)過曲線函數(shù)模擬以及大量仿真修正，得到具體計算公式如下 ：

(3)

定義評分因素比重為 ：

(4)

其中，C1、C2、C3、C4分別為 4 個常數(shù)值，C1、C2是通過評分隨著邊緣差分譜的均值變化的相關程度而確定；C3、C4所在項為類正態(tài)分布曲線.μe為邊緣差分譜過渡區(qū)域邊界區(qū)均值，μa為過渡區(qū)域整體均值，σ2為過渡區(qū)域整體方差.

3.2　圖像拼接評價數(shù)據(jù)結果

本文通過時間、興趣點的個數(shù)，以及DoEM方法來評價這三種不同角度的方法的情況，圖4是評價結果.

(a) 拼接時間

(b) 興趣點

(c) DoEM評分

從圖4(a)中可以看出，在拼接時間上，方法一耗時最長，為5.19 s,方法二耗時最短，為3.57s，方法三耗時4.52 s.圖4(b)中可以看出，方法一提取的興趣點數(shù)目為148個，方法二提取興趣點數(shù)為138個，方法一略比方法二數(shù)目多10個.方法三提取了280個興趣點，興趣點數(shù)約為其它兩種方法的二倍.對于DoEM評分而言，方法一為0.926 0，方法二為0.810 6，方法三為0.763 5，由此看出方法一的評分是最好的，方法二居中，方法三的評分結果最差.綜合考慮，在實現(xiàn)兩幅圖拼接的過程中，方法一在較少匹配點數(shù)的條件下，匹配結果最好，同時拼接時間也在可接受的范圍內(nèi)，是拼接效果最佳的一種方法.

4　結論

本文針對如何獲得大范圍、高分辨率的全景PCB圖片這一問題，利用Halocn機器視覺軟件研究了三種不同的圖像拼接方法，通過匹配的興趣點數(shù)目、時間、DoEM評分對拼接結果進行了評價，客觀、準確地反映了拼接圖像的真實質量和所使用圖像拼接算法的性能.通過本文Halcon軟件實驗的研究表明，基于兩幅PCB圖的拼接而言，可以得出在本文研究的三種方法中，方法一綜合評價結果最好，可適用于兩幅不同圖像的全景拼接中.

參考文獻:

[1] 余讓明 ,安維勝.基于特征的全景圖像拼接技術研究[D].四川:西南交通大學 ,2015.

[2] 姜小會,陳清奎.基于特征點的圖像拼接技術研究[D].山東:山東建筑大學,2015.

[3] 譚杰，王殊軼.基于Halcon的圖像拼接算法研究[J].微電子學與計算機，2011,28(12):184-188.

[4] 薛真,項輝宇.一種用于工件視覺測量的圖像拼接方法的研究[J].制造業(yè)自動化,2016,38(2):45-47.

[5] 李明穎,王偉.基于Halcon圖像拼接技術在工件測量中的應用研究[J].輕工科技,2017, 219 (2):74-75.

[6] 李曉娟 ,郭玉龍 .圖像拼接技術研究[D].西安:西安科技大學 ，2007.

[7] SCHMIED C,MOHR R,BUACKHAGE C.Evaluation of Interest Point Detectors[J].International Journal of Computer Vision,2000,37(2):151-172.

[8] HARISS C, STEPHENS M. A combined corner and edge detector[C]. Proceedings 4th Alvey Vision Conference Manchester, 1988,147-151.

[9] 曹彤 ,王碩 ,倪自強,等 .基于 SIFT算子的腦立體定向手術標記點自動定位方法 [J].高技術通訊 ,2014, 24 (2):165-170.

[10] HUYNH HU Q, GHANBARI M. Scope of validity of PSNR in image/video quality assessment[J]. Electronics Letters, 2008, 44(13): 800-801.

[11] WANG Z H R, BOVIK A, SHEIKH C. Image quality assessment: From errorvisibility to structural similarity[J]. IEEE Transactions on Image Processing, 2004, 13(4) :600- 612.

[12] 萬國挺 ,王俊平 ,李錦,等 .圖像拼接質量評價方法 [J].通信學報 ,2013,34(8):76-81.