劉 洋，王耀南，周雨蓉

湖南大學(xué) 電氣與信息工程學(xué)院，長(zhǎng)沙 410082

基于簡(jiǎn)化SIFT的口服液雜質(zhì)檢測(cè)防抖方法

劉 洋，王耀南，周雨蓉

湖南大學(xué) 電氣與信息工程學(xué)院，長(zhǎng)沙 410082

1 引言

近年來(lái)，為了提高口服液雜質(zhì)檢測(cè)效率，并進(jìn)一步用機(jī)械自動(dòng)化代替?zhèn)鹘y(tǒng)意義上的燈檢女工操作，燈檢機(jī)[1-3]應(yīng)運(yùn)而生。燈檢機(jī)主要采用工業(yè)高速照相機(jī)對(duì)高速旋轉(zhuǎn)后急停的口服液瓶體進(jìn)行多幀圖像跟拍，獲得圖像后經(jīng)千兆網(wǎng)網(wǎng)線傳入PC機(jī)，使用差分能量累積算法得出結(jié)果，口服液燈檢機(jī)如圖1。本文主要研究的是差分能量累積之前的圖像預(yù)處理，預(yù)處理的目的主要是消除由于旋轉(zhuǎn)后急停帶來(lái)的機(jī)械抖動(dòng)，機(jī)械抖動(dòng)帶來(lái)的是前后兩幅圖像口服液瓶體的位置不一致。對(duì)于精度要求不高的燈檢機(jī)系統(tǒng)，可以采取經(jīng)驗(yàn)值進(jìn)行補(bǔ)償，然而，對(duì)高精度的口服液燈檢機(jī)系統(tǒng)，尤其是口服液這樣的藥用液體，更要注重其品質(zhì)，此法不可行。因此，本文采取了位置配準(zhǔn)的方式對(duì)瓶體位置進(jìn)行校正。配準(zhǔn)的應(yīng)用場(chǎng)合[4]很多，粗略的可以分成四種類型，分別是：不同觀測(cè)點(diǎn)采集圖像進(jìn)行配準(zhǔn)；不同時(shí)間或不同條件下采集圖像進(jìn)行配準(zhǔn)，又稱作時(shí)間序列配準(zhǔn)；不同傳感器采集圖像進(jìn)行配準(zhǔn)；場(chǎng)景到模型的配準(zhǔn)?？诜弘s質(zhì)檢測(cè)中高速拍攝的圖像符合第二種配準(zhǔn)類型，配準(zhǔn)過(guò)程需要容忍圖像中部分內(nèi)容的差異。圖像配準(zhǔn)的方式分為兩大類，有基于灰度的，有基于特征的，由于燈檢機(jī)系統(tǒng)要求實(shí)時(shí)性和魯棒性比較高，基于灰度的配準(zhǔn)魯棒性較低并且會(huì)帶來(lái)大量的計(jì)算時(shí)間，不能滿足燈檢機(jī)實(shí)時(shí)性要求，所以使用基于特征配對(duì)的方式。基于特征的特征點(diǎn)配對(duì)的方式很多，如Harris[5]角點(diǎn)提取方式，PCNN重心點(diǎn)提取的方式[6-7]，SURF[8]提取方式，本文對(duì)SIFT[9]算法作一些簡(jiǎn)化改進(jìn)，作為特征提取和配對(duì)的方式。在特征配對(duì)后，采用最小二乘法擬合出最后的配準(zhǔn)參數(shù)。系統(tǒng)的抖動(dòng)主要是小參數(shù)仿射變換，在特征提取過(guò)程中這一因素可以剔除很多假配對(duì)點(diǎn)。

圖1 口服液燈檢機(jī)外觀

2 時(shí)間序列配準(zhǔn)簡(jiǎn)介

2.1 燈檢機(jī)圖像時(shí)間序列

在口服液燈檢機(jī)系統(tǒng)中，口服液瓶體隨著旋轉(zhuǎn)履帶繞中心軸公轉(zhuǎn)，并且隨著搓瓶履帶自轉(zhuǎn)，當(dāng)口服液瓶體到達(dá)攝像機(jī)的一個(gè)工位，搓瓶履帶迅速停止，這時(shí)攝像機(jī)與旋轉(zhuǎn)履帶同步運(yùn)行，拍攝瓶體。搓瓶會(huì)使瓶體輕微搖晃，帶來(lái)小參數(shù)旋轉(zhuǎn)仿射變換，肉眼無(wú)法分辨；而旋轉(zhuǎn)履帶同步運(yùn)行帶來(lái)的是小參數(shù)平移仿射變換。瓶體序列圖片如圖2所示，在這組圖片中，為了實(shí)驗(yàn)效果，加入了較大的玻璃屑雜質(zhì)，在實(shí)際中，雜質(zhì)的顆粒都在微米級(jí)別[10-12]。

圖2 序列瓶體圖片

2.2 仿射變換模型參數(shù)

3 SIFT關(guān)鍵點(diǎn)檢測(cè)

3.1 尺度空間最值檢測(cè)

圖像的尺度空間是通過(guò)輸入圖像I(x，y)與一個(gè)多尺度高斯函數(shù)G(x，y，σ)的卷積獲得的，公式如下：

其中高斯函數(shù)G(x，y，σ)的表達(dá)式是：

為了更穩(wěn)定地確定最值點(diǎn)，SIFT采用了差分高斯函數(shù)（Difference of Guassian，DOG）與輸入圖像卷積的方式，也就是用尺度接近的兩個(gè)高斯函數(shù)分別與輸入圖像進(jìn)行卷積后再做差分，公式如下：

通過(guò)不斷的卷積差分，最后生成DOG金字塔。對(duì)于金字塔的每一層，輸入圖像不斷地與不同尺度的高斯函數(shù)進(jìn)行卷積得出尺度空間組圖。相鄰高斯卷積尺度空間圖做差分得出DOG組圖，當(dāng)一層DOG完成后，對(duì)輸入圖片模糊化并降采樣后重復(fù)以上描述，即可產(chǎn)生DOG金字塔圖（PYR圖）。在這里降采樣之后再做卷積可以大大減少計(jì)算量，這與口服液雜質(zhì)檢測(cè)燈檢機(jī)系統(tǒng)實(shí)時(shí)性要求是契合的。工業(yè)采集的圖片像素?cái)?shù)比較大，不做降采樣與做降采樣相比，時(shí)間效率大約差兩個(gè)數(shù)量級(jí)，圖3是圖2的序列瓶體圖片中第一個(gè)瓶體（參考圖片）的PYR圖。

在產(chǎn)生PYR圖之后，為了確定該像素是否為最值點(diǎn)，將該像素的PYR值與其周?chē)?個(gè)像素的PYR值以及前后相鄰尺度DOG圖中的各9個(gè)像素的PYR值相比較，一共需與26個(gè)像素的PYR值相比較，若該像素的PYR值最大或者最小，那么確定其為最值點(diǎn)，也可以稱作粗略關(guān)鍵點(diǎn)（Coarse Key Point，CKP），相對(duì)于CKP，下面一節(jié)介紹精確關(guān)鍵點(diǎn)（Accurate Key Point，AKP）的確定，由于前面做了降采樣，因此每一層的比較計(jì)算量都會(huì)不斷減少。

圖3 參考圖片PYR圖

3.2 關(guān)鍵點(diǎn)二次篩選與方向分配

在CKP點(diǎn)選取后，需要確定AKP點(diǎn)，下面介紹精確定位關(guān)鍵的方法。SIFT采用了Brown[13]等人提出的方法，首先計(jì)算出DOG（下面用D代替）的泰勒展開(kāi)式（保留到二次項(xiàng)）：

其中x=x(x，y，σ)是相對(duì)于CKP點(diǎn)的偏移量。根據(jù)Brown的理論，令式（6）等于零得出偏移量ε(x)，將此偏移量加上CKP點(diǎn)坐標(biāo)，就可以得出AKP點(diǎn)的坐標(biāo)，ε(x)的計(jì)算公式如下：

式（8）可以用于去除對(duì)比度較小的一些CKP點(diǎn)，其數(shù)值如果小于設(shè)定的值，這些CKP點(diǎn)將不會(huì)進(jìn)入AKP點(diǎn)中，在SIFT原文中，作者給出的參考值為0.03，這里為了提高運(yùn)算速度，滿足實(shí)時(shí)性，取出盡量少的特征點(diǎn)，本文采用的值為0.05。在獲取AKP點(diǎn)之后，需要使用AKP點(diǎn)的主曲率來(lái)排除邊緣的不穩(wěn)定點(diǎn)，邊緣的不穩(wěn)定點(diǎn)的主曲率通常會(huì)比較大，而角點(diǎn)的主曲率相對(duì)比較小。最后可以得到真正意義上的AKP點(diǎn)，SIFT原文中是使用了4×4×8的特征向量（AKPD）來(lái)描述特征點(diǎn)，同樣是為了提高效率，本文采用了2×2×8的AKPD，實(shí)驗(yàn)證明這樣的AKPD完全滿足系統(tǒng)的要求，利用AKPD可以確定AKP點(diǎn)的主方向，圖4是參考圖片與后續(xù)一幅圖中AKP點(diǎn)與其主方向的標(biāo)示圖。

4 SIFT特征點(diǎn)配對(duì)及其改進(jìn)

4.1 特征點(diǎn)配對(duì)方法

圖4 AKP點(diǎn)與主方向標(biāo)示圖

SIFT進(jìn)行特征點(diǎn)配對(duì)的方式比較簡(jiǎn)單，燈檢機(jī)系統(tǒng)需要配準(zhǔn)的兩幅圖前后相鄰，以圖2中第二個(gè)瓶體為參考圖，與其配準(zhǔn)的就是第三個(gè)瓶體。假設(shè)參考圖中的AKP點(diǎn)集合為A1i(i=1，2，…，m)，第三個(gè)瓶體的AKP點(diǎn)集合為 A2j(j=1，2，…，n)，在 A2j中找出兩個(gè)與 A1i中待配準(zhǔn)的點(diǎn)AKPD最接近的兩個(gè)點(diǎn)，計(jì)算方法是計(jì)算兩對(duì)AKPD之間的歐式距離，分別為D1，D2。由于歐式距離涉及到乘法，計(jì)算量較大，本文改用街區(qū)距離以滿足實(shí)時(shí)性的要求。實(shí)驗(yàn)證明D＜D，當(dāng)＜0.45時(shí)，配

12對(duì)點(diǎn)錯(cuò)誤率最低，能達(dá)到95%以上的正確率。

4.2 特征點(diǎn)搜索方式

由于一幅圖中的特征點(diǎn)比較多，少則上百，多則上千，與每一幅圖的復(fù)雜程度有關(guān)系，SIFT使用了BBF算法查找，實(shí)驗(yàn)證明對(duì)于AKP點(diǎn)為100 000的圖來(lái)說(shuō)，查找效率比單純的暴力搜索要高兩個(gè)數(shù)量級(jí)。但是，口服液瓶體圖片結(jié)構(gòu)比較簡(jiǎn)單，每一幅圖的AKP點(diǎn)大約只有幾十個(gè)，使用暴力搜索的方式計(jì)算速度加快，因此本文將采用簡(jiǎn)單快捷暴力搜索。

4.3 配對(duì)區(qū)域改進(jìn)

SIFT中找配對(duì)點(diǎn)的方式是全局搜索，全局搜索的方式適合于大的仿射變換參數(shù)，相對(duì)于微小參數(shù)仿射變換就顯得很多余了。而且全局搜索有一個(gè)很大的缺點(diǎn)，就是在非相似區(qū)域找出兩個(gè)配對(duì)點(diǎn)，如圖4中用黑色箭頭標(biāo)出的兩個(gè)點(diǎn)，這兩個(gè)點(diǎn)AKPD極為相似。本文采取的方式是局部搜索，僅在AKP點(diǎn)一個(gè)小的領(lǐng)域內(nèi)尋找，這樣做的依據(jù)是，瓶體驟停帶來(lái)的旋轉(zhuǎn)度數(shù)一般在2°以內(nèi)，瓶體隨履帶同步運(yùn)行帶來(lái)的平移仿射變換一般在20像素以內(nèi)，所以可以采用20×20的一個(gè)掩模做局部搜索。也就是說(shuō)，假設(shè) A1i待配準(zhǔn)點(diǎn)的位置為(x1，y1)，那么 A2j中位置坐標(biāo)(x2，y2)滿足下面表達(dá)式的點(diǎn)作為候選點(diǎn)。

其他點(diǎn)不予考慮，全部舍去，這同時(shí)可以節(jié)約大量比較計(jì)算時(shí)間。

基于上述方法可以進(jìn)一步減少偽特征配對(duì)點(diǎn)的個(gè)數(shù)，在本系統(tǒng)中，可以找出大約10到20對(duì)特征配對(duì)點(diǎn)，圖5和圖6是序列圖片中兩組瓶體的特征配對(duì)圖，下面一章將介紹基于這些配對(duì)點(diǎn)的坐標(biāo)，并結(jié)合最小二乘法，計(jì)算精確的仿射變換位置配準(zhǔn)參數(shù)。

圖5 特征配對(duì)圖1

圖6 特征配對(duì)圖2

圖6中黑色向下箭頭所指向的配對(duì)連線是一個(gè)偽特征配對(duì)點(diǎn)，不過(guò)這不會(huì)對(duì)后續(xù)最小二乘法貢獻(xiàn)太多影響。

5 最小二乘法獲取配準(zhǔn)參數(shù)

5.1 最小二乘法介紹

對(duì)于給定數(shù)據(jù)(Xi，yi)(i=1，2，…，m)，Xi為多維向量，在本文提出的問(wèn)題中為兩維，對(duì)于給定的函數(shù)F(X)，使誤差?i=F(Xi)-yi的平方和最小，即目標(biāo)函數(shù)（TF）最?。?/p>

假設(shè)F(X)為線性函數(shù)（與本文相符），函數(shù)參數(shù)為P=(p1，p2，…，ps)，令TF對(duì)P求導(dǎo)并使之分別等于零，求解得到方程組就可以得到給定函數(shù)的參數(shù)：

5.2 應(yīng)用最小二乘法計(jì)算配準(zhǔn)參數(shù)

在大部分的論文中都忽略了這個(gè)環(huán)節(jié)，本文簡(jiǎn)要介紹求解配準(zhǔn)參數(shù)，參數(shù)計(jì)算可以歸結(jié)到求解超定方程組，而求解超定方程組常規(guī)的方法就是最小二乘法。

首先以實(shí)例介紹最小二乘法求解超定方程組，比如說(shuō)有一個(gè)超定方程組如下：

利用式（12）可以解出下列適定方程組：

求解可得x=2.977 4，y=1.225 9。

圖6中的配對(duì)坐標(biāo)點(diǎn)如表1所示，將這些點(diǎn)的坐標(biāo)帶入式（1），即可得到一個(gè)15×2個(gè)方程組成的方程組，這個(gè)方程組參數(shù)為6個(gè)。由于式（2）的關(guān)系存在，實(shí)際參數(shù)為3個(gè)。

表1 配對(duì)坐標(biāo)

6 總結(jié)

本文以口服液雜質(zhì)檢測(cè)燈檢機(jī)系統(tǒng)為背景，利用改進(jìn)型SIFT的精確穩(wěn)定定位與快速計(jì)算的特性，解決了由于機(jī)械抖動(dòng)帶來(lái)的序列圖像配準(zhǔn)問(wèn)題。實(shí)驗(yàn)采用工控機(jī)對(duì)接千兆網(wǎng)相機(jī)采集圖像數(shù)據(jù)，由PLC控制雜質(zhì)瓶體的剔除信號(hào)。軟件方面，主要使用了基于OPENCV和MFC的GUI軟件架構(gòu)，經(jīng)過(guò)對(duì)接近1 000瓶注入各種雜質(zhì)的口服液進(jìn)行雜質(zhì)檢測(cè)，由于機(jī)械抖動(dòng)帶來(lái)的誤檢率由原來(lái)的2%降到了0.5%以下。

[1]葛繼，王耀南，張輝，等.基于改進(jìn)型PCNN的智能燈檢機(jī)研究[J].儀器儀表學(xué)報(bào)，2009（9）：1866-1873.

[2]Carmona E J，Martinez-Cantos J，Mira J.A new video segmentation method of moving objects based on blob-level knowledge[J].Pattern Recognition Letters，2008，29（3）：272-285.

[3]張耀，王耀南，周博文.異型瓶藥液中可見(jiàn)異物的智能視覺(jué)檢測(cè)機(jī)器人[J].儀器儀表學(xué)報(bào)，2010（5）：1058-1063.

[4]Brown L G.A survey of image registration techniques[J]. ACM Computing Surveys，1992，24（4）：325-376.

[5]Harris C G，Stephens M J.A combined corner and edge detector[C]//Proceedings of the 4th Alvey Vision Conference.Manchester，England：IEEE Computer Society，1988：147-151.

[6]Johnson J L.Pulse-coupled neural nets：translation，rotation，scale，distortion，and intensity signal invariance for images[J].Applied Optics，1994，26（23）：4972-4978.

[7]Johnson J L，Padgett M L.PCNN models and applications[J].IEEE Transactions on Neural Networks，1999，10（3）：480-498.

[8]Bay H，Ess A，Tuytelaars T.Speeded-Up Robust Features（SURF）[J].Computer Vision and Image Understanding，2008，110（3）：346-359.

[9]Lowe D.Distinctive image features from scale-invariant key points[J].International Journal of Computer Vision，2004，60（2）：91-110.

[10]Lampropoulos G A，Boulter J F.Filtering of moving targets using SBIR sequential frames[J].IEEE Transactions on Aerospace and Electronic Systems，1995，31（4）：1255-1267.

[11]Blostein S D，Huang T S.Detecting small moving objects in image sequences using sequential hypothesis testing[J]. IEEE Transactions on Signal Processing，1991，39（7）：1611-1629.

[12]Blostein S D，Richardson H S.A sequential detection approach to target tracking[J].IEEE Transactions on Aerospace and Electronic Systems，1994，30（1）：197-212.

[13]Brown M，Lowe D G.Invariant features from interest point groups[C]//Proceedings of 13th British Machine Vision Conference.Cardiff，Wales：University of British Columbia，2002：656-665.

LIU Yang,WANG Yaonan,ZHOU Yurong

College of Electrical and Information Engineering,Hunan University,Changsha 410082,China

In the light inspection machine system for oral liquid impurity detection,due to slight vibration of oral liquid bottle caused by sudden halt of crawler belt used for bottle spinning,in the sequential two pictures of oral liquid bottle captured from high-speed industry camera,pixels sharing the same partial positions cannot be overlapped,which may lead to incorrect result after differential operation of the two pictures.For impurity in oral liquid is very small about micrometer level,mechanical dithering or dirt on the bottle of oral liquid shall pose influence on inspection accuracy because of aforementioned reason.This paper will harness SIFT algorithm to register the sequential two pictures.SIFT algorithm is suitable for high accuracy oral liquid impurity detection system on account of its stability.It improves SITF a little in the aim of adapting to slight vibration range which will generate satisfactory result.In the real process of detection,the algorithm is of high stability and high accuracy.

light inspection machine for oral liquid;high-accuracy impurity detection;Scale Invariant Feature Transform（SIFT）;position registration

在口服液燈檢機(jī)雜質(zhì)檢測(cè)系統(tǒng)中，口服液瓶體由于履帶搓瓶的急停會(huì)有輕微的抖動(dòng)，造成高速工業(yè)攝像機(jī)拍攝的前后兩幀口服液瓶體圖像中位于相同空間位置的像素?zé)o法重合在一起，導(dǎo)致前后兩幀圖像做差分結(jié)果出現(xiàn)錯(cuò)誤。由于口服液中的雜質(zhì)很小，一般會(huì)達(dá)到微米級(jí)別，因此機(jī)械的擾動(dòng)以及口服液瓶體上的污點(diǎn)都有可能因位置偏差對(duì)檢測(cè)結(jié)果造成影響。采用尺度不變特征檢測(cè)（SIFT）對(duì)系統(tǒng)采集的前后兩幀圖像進(jìn)行位置配準(zhǔn)。SIFT算法穩(wěn)定性精度很高，適用于高精度口服液雜質(zhì)檢測(cè)系統(tǒng)?；诙秳?dòng)幅度微弱，對(duì)該算法進(jìn)行了一定的改進(jìn)與簡(jiǎn)化，以獲得最佳配準(zhǔn)結(jié)果。在實(shí)際檢測(cè)過(guò)程中算法穩(wěn)定，檢測(cè)結(jié)果準(zhǔn)確率很高。

口服液燈檢機(jī)；高精度雜質(zhì)檢測(cè)；尺度不變特征檢測(cè)（SIFT）；位置配準(zhǔn)

A

TP391

10.3778/j.issn.1002-8331.1302-0204

LIU Yang,WANG Yaonan,ZHOU Yurong.Anti-shaking method for impurity detection in oral liquid using simplified SIFT.Computer Engineering and Applications,2014,50（24）：255-258.

國(guó)家自然科學(xué)基金（No.60835004）。

劉洋（1989—），男，碩士研究生，主要研究方向?yàn)闄C(jī)器視覺(jué)與圖像識(shí)別應(yīng)用。E-mail：ly267888608@sina.com

2013-02-28

2013-05-20

1002-8331（2014）24-0255-04

CNKI網(wǎng)絡(luò)優(yōu)先出版：2013-05-29，http∶//www.cnki.net/kcms/detail/11.2127.TP.20130529.1519.005.html