陳財(cái)彪，于惠鈞，張發(fā)明，吳婉，周志偉

（湖南工業(yè)大學(xué)電氣與信息工程學(xué)院，湖南株洲412007）

基于LBP直方圖和SIFT的藥品包裝缺陷檢測(cè)方法

陳財(cái)彪，于惠鈞，張發(fā)明，吳婉，周志偉

（湖南工業(yè)大學(xué)電氣與信息工程學(xué)院，湖南株洲412007）

針對(duì)鋁塑泡罩藥品包裝缺陷檢測(cè)問題，提出了基于LBP直方圖的SIFT匹配方法。先提取鋁塑泡罩藥品包裝圖像中的特征點(diǎn)，再計(jì)算其周圍區(qū)域上的LBP直方圖，最后進(jìn)行特征點(diǎn)匹配，判斷該藥品包裝是否有缺陷。試驗(yàn)結(jié)果表明，此方法與SIFT算法相比，計(jì)算速度更快，且能滿足工業(yè)生產(chǎn)要求。

LBP直方圖；SIFT；關(guān)鍵點(diǎn)；缺陷檢測(cè)

0 引言

隨著時(shí)代的發(fā)展，人們對(duì)健康和衛(wèi)生的要求越來(lái)越高，藥品作為生活中不可或缺的部分，藥品的包裝要求也越來(lái)越嚴(yán)格。鋁塑泡罩藥品包裝是當(dāng)今的主流封裝形式之一，其具有輕便、安全、經(jīng)濟(jì)等諸多優(yōu)點(diǎn)[1]。在藥品泡罩包裝過程中，通常要經(jīng)過攪拌、給藥、壓封、切割等一系列流水作業(yè)，易出現(xiàn)漏裝、碎片、夾雜異物等現(xiàn)象，而且其中過多的手工化操作，使生產(chǎn)車間內(nèi)難以達(dá)到無(wú)菌要求，更不能通過國(guó)家藥監(jiān)部門的GMP生產(chǎn)認(rèn)證。因此，如何自動(dòng)發(fā)現(xiàn)并剔除由此產(chǎn)生的不合格藥品產(chǎn)品，成為了一個(gè)重要的研究課題。

圖像匹配是鋁塑泡罩藥品包裝缺陷檢測(cè)系統(tǒng)的一個(gè)關(guān)鍵環(huán)節(jié)，主要研究的是2幅圖像對(duì)應(yīng)像素點(diǎn)的匹配。隨著圖像匹配的必要性的增加和應(yīng)用的越來(lái)越廣泛，圖像處理中出現(xiàn)的圖像匹配方法種類很多，但最終的目標(biāo)，都是為了提高圖像匹配的實(shí)時(shí)性、準(zhǔn)確性，匹配時(shí)的抗干擾性以及通用性。總結(jié)目前所有的研究狀況，大體可將圖像匹配方法分為3大類：基于灰度、基于特征和基于解釋[2]。其中，基于特征的方法是現(xiàn)今圖像匹配的主要研究與發(fā)展方向。這種匹配方法的原理是，尋找待處理圖像某區(qū)域中的特征點(diǎn)或者關(guān)鍵點(diǎn)，在計(jì)算特征點(diǎn)周圍的特征相似度后，進(jìn)行2幅圖像之間的匹配。首先提取2幅匹配圖像中的某局部區(qū)域的特征點(diǎn)或關(guān)鍵點(diǎn)集，然后通過比對(duì)這個(gè)區(qū)域中2個(gè)點(diǎn)集之間的函數(shù)關(guān)系，計(jì)算出2個(gè)特征點(diǎn)間的相似度，以達(dá)到圖像匹配的目的?；谔卣鞯姆椒ú皇侵苯硬杉{全部的圖像內(nèi)容進(jìn)行匹配，而是有針對(duì)性地選取局部區(qū)域的紋理特征，這樣算法具有較強(qiáng)的抗干擾性和不變性,因此可以在計(jì)算量小的同時(shí)兼?zhèn)漪敯粜愿叩奶匦浴；谔卣鞯钠ヅ浞椒鞒倘鐖D1所示。

圖1 特征匹配方法框圖Fig.1The block diagram of feature matching method

目前已經(jīng)研究出的特征匹配方法中，由加拿大教授D. G. Lowe提出的SIFT（scale invariant feature transform）算法是一種用于興趣點(diǎn)的檢測(cè)和描述的算法。不變性是它最根本的特點(diǎn)。由于其計(jì)算量比較大，大大影響了現(xiàn)實(shí)所要求的匹配快速性[3]。因此，需要對(duì)SIFT算法進(jìn)行改進(jìn)。LBP（local binary patterns）算法是一種描述某像素點(diǎn)與周圍像素點(diǎn)之間的大小關(guān)系的二進(jìn)制描述。LBP算法具有相平移不變性，且計(jì)算簡(jiǎn)單。為滿足泡罩包裝檢測(cè)中準(zhǔn)確性和快速性的要求，本文提出了一種基于LBP直方圖的SIFT匹配方法。

1 LBP描述

LBP是對(duì)圖像局部鄰域的紋理特征進(jìn)行二進(jìn)制描述的算子。本文以3×3鄰域窗口（見圖2）為例來(lái)說明其計(jì)算過程[4]：

第1步在圖2a 3×3 大小的9格窗口中，將目標(biāo)中心點(diǎn)的灰度值作為閥值，與鄰域內(nèi)四周8個(gè)像素點(diǎn)的灰度值進(jìn)行比較，作二值化處理。即若鄰域像素點(diǎn)的灰度值比中心像素點(diǎn)的灰度值小，則將該鄰域像素點(diǎn)的灰度值置為0；否則置為1，如圖2b所示。

第2步將鄰域8個(gè)二值結(jié)果分別與圖2c中2的指數(shù)次權(quán)值矩陣作乘積運(yùn)算，計(jì)算結(jié)果如圖2d所示。

第3步將圖2d中鄰域8個(gè)加權(quán)值全部相加，進(jìn)行加權(quán)求和，得到的十進(jìn)制數(shù)就是3×3鄰域窗口的LBP特征值，即中心像素點(diǎn)的LBP特征值為1+2+4=7。

圖2 LBP特征值的計(jì)算過程Fig.2The LBP calculation process

因?yàn)長(zhǎng)BP特征不只是局限于3×3鄰域，為了提高其表達(dá)能力，可以在以特征點(diǎn)為中心、半徑為1的圓周上均勻地取8個(gè)點(diǎn)[5]，如圖3所示。下面通過公式（1）說明擴(kuò)展LBP特征的計(jì)算過程。假設(shè)go是中心像素點(diǎn)的灰度值，g1, g2, …, g8分別是鄰域8個(gè)采樣點(diǎn)的灰度值，中心像素點(diǎn)鄰域窗口的LBP特征計(jì)算公式為

式中，函數(shù)S將gi與go的差作二值化處理[6]。

圖3 P=8, R=1.0時(shí)的圓對(duì)稱區(qū)域Fig.3The circularly symmetric area of P=8 and R=1.0

由于本文以藥品鋁塑泡罩包裝為研究對(duì)象，因此取了4幅藥品鋁塑泡罩包裝的圖像，第一副是標(biāo)準(zhǔn)的模版圖，第二幅是底板空洞的圖像，第三幅是缺?？樟恋膱D像，第四幅是缺?？瞻档膱D像，如圖4所示。

圖4 鋁塑泡罩包裝原圖Fig.4The diagram for aluminum-plastic blister packaging

當(dāng)圖像發(fā)生旋轉(zhuǎn)時(shí)，圓形鄰域各點(diǎn)的灰度值gi仍然以go為圓心，半徑為R的圓周上運(yùn)動(dòng)。由式（1）可以得出，若通過S(gi-go)得到的值不是全部為0或者1，當(dāng)圖像旋轉(zhuǎn)時(shí)，將得到不同的LBP特征值[7]。LBP直方圖具有平移不變性。圖4的4幅圖像的LBP直方圖如圖5所示。

圖5 LBP直方圖Fig.5The LBP histogram

2 特征點(diǎn)提取

SIFT算法是由D. G. Lowe 提出的一種描述子，描述對(duì)象是局部區(qū)域。該算法在尺度空間的基礎(chǔ)上，檢測(cè)出圖像的關(guān)鍵點(diǎn)，對(duì)圖像的旋轉(zhuǎn)和縮放能保持不變性[8]。

通常，某一尺度下幾乎檢測(cè)不到其它尺度下的特征。SIFT算子是在不同尺度空間中比較圖像的灰度值來(lái)確定特征點(diǎn)，采用差分高斯函數(shù)D(x, y,)[9]來(lái)提取目標(biāo)圖像的穩(wěn)定特征，其是通過對(duì)相鄰層的卷積結(jié)果進(jìn)行差值處理得到，表達(dá)式如下

函數(shù)G為高斯函數(shù)；

函數(shù)L為對(duì)應(yīng)圖像的尺度空間。

對(duì)圖4中的4幅鋁塑泡罩圖像采用SIFT算法提取特征點(diǎn)，如圖6所示。

圖6 鋁塑泡罩圖像特征點(diǎn)Fig.6The feature points of aluminum-plastic blister image

3 特征點(diǎn)匹配

SIFT算子具有獨(dú)特性好、信息量豐富、匹配能力強(qiáng)等特點(diǎn)。因此，基于LBP直方圖的SIFT匹配算法既解決了基本LBP算子的旋轉(zhuǎn)變化性問題，又減少了SIFT算子的計(jì)算量，這樣可以達(dá)到互補(bǔ)的效果[10]。

本文通過在高斯多尺度空間中剔除極值點(diǎn)中不穩(wěn)定的點(diǎn)，穩(wěn)定點(diǎn)作為待提取的關(guān)鍵點(diǎn)[11]。之后，對(duì)關(guān)鍵點(diǎn)周圍作LBP直方圖描述。根據(jù)此描述，利用SIFT算法對(duì)2幅圖像進(jìn)行匹配。該算法流程如圖7所示。

圖7 算法流程圖Fig.7Flow chart of the algorithm

藥品鋁塑泡罩包裝的標(biāo)準(zhǔn)模板圖與底板空泡圖的匹配如圖8所示。標(biāo)準(zhǔn)模板圖與缺?？樟翀D的匹配如圖9所示。標(biāo)準(zhǔn)模板圖與缺?？瞻祱D的匹配如圖10所示。

圖8 鋁塑泡罩標(biāo)準(zhǔn)模板圖與底板空泡圖匹配Fig.8The feature matching of the blister standard template image and bottom cavitation image

圖9 鋁塑泡罩標(biāo)準(zhǔn)模板圖與缺?？樟翀D匹配Fig.9The feature matching of the blister standard template image and the lack grain light image

圖10 鋁塑泡罩標(biāo)準(zhǔn)模板圖與缺?？瞻祱D匹配Fig.10The feature matching of the blister standard template and the lack grain dark image

試驗(yàn)數(shù)據(jù)如表1所示。

表12 種算法測(cè)試結(jié)果表Table 1Test results of two algorithms

上述試驗(yàn)結(jié)果表明，針對(duì)藥品鋁塑泡罩包裝中底板空泡、缺?？樟痢⑷绷？瞻档纫恍┏Ｒ姷陌b缺陷，本算法能準(zhǔn)確檢測(cè)出這些缺陷[12]。從表1可以看出，本方法與單純的SIFT方法相比，標(biāo)準(zhǔn)模板圖分別與底板空泡圖、缺?？樟翀D、缺?？瞻祱D進(jìn)行匹配所需時(shí)間相應(yīng)地節(jié)約了13%, 15%, 23%，本方法更符合工業(yè)生產(chǎn)中實(shí)時(shí)、快速的要求。

4 結(jié)語(yǔ)

藥品鋁塑泡罩包裝具有保護(hù)藥品、生產(chǎn)速度快、成本低、儲(chǔ)存占用空間小、重量輕等優(yōu)點(diǎn)，因此，多數(shù)藥品都是采用鋁塑泡罩包裝。針對(duì)藥品鋁塑泡罩包裝缺陷檢測(cè)問題，本文提出了一種基于于LBP直方圖的的SIFT匹配方法。在保證不變性的同時(shí)，在一定程度上減少了運(yùn)算時(shí)間，提高了檢測(cè)效率，更符合工業(yè)生產(chǎn)中的實(shí)際要求。

[1]劉莉，薛凡. 包裝標(biāo)準(zhǔn)化影響因素實(shí)證分析：以長(zhǎng)株潭地區(qū)包裝企業(yè)為例[J]. 包裝學(xué)報(bào)，2012，4(4)：50-54. Liu Li，Xue Fan. Empirical Study of Influencing Factors on Packaging Standardization：Taking Packaging Firms in Chang-Zhu-Tan District as an Example[J]. Packaging Journal，2012，4(4)：50-54.

[2]朱伯誠(chéng). 基于特征點(diǎn)的圖像匹配算法的研究與實(shí)現(xiàn)[D].成都：電子科技大學(xué)，2012. Zhu Bocheng. Research and Implementation of Image Matching Algorithm Based on Feature Points[D]. Chengdu：University of Electronic Science and Technology of China，2012．

[3]李巖琪. 基于SIFT算子的雙目視覺立體匹配算法研究[D]. 西安：西安電子科技大學(xué)，2010. Li Yanqi. Research on an Algorithm for Binocular Stereo Vision Image Matching Based on SIFT Operator[D]. Xi’an：University of Electronic Science and Technology of Xi’an，2010．

[4]王瑋，黃非非，李見為，等. 采用LBP金字塔的人臉描述與識(shí)別[J]. 計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào)，2009，21(1)：94-100．Wang Wei，Huang Feifei，Li Jianwei，et al. Face Description and Recognition by LBP Pyramid[J]. Journal of Computer-Aided Design & Computer Graphics，2009，21(1)：94-100．

[5]Julsing B K. Face Recognition with Local Binary Patterns [D]. Bachelor Assignment：University of Twente，2007.

[6]Frank R. Scattered Data Interpolation：Test of Some Methods[J]. Mathematics of Computation，1982，38(157)：181-200.

[7]Ojala T，Pietik inen M，M enp T. Multiresolution Gray Scale and Rotation Invariant Texture Analysis with Local Binary Patterns[J]. IEEE Transactions on Pattern Analysisand Machine Intelligence，2002，24(7)：971-987.

[8]趙立輝，楊紅喆，郭棟，等. 印品檢測(cè)過程中基于SIFT算法縮小匹配范圍的方法[J]. 包裝工程，2013(9)：104 -107. Zhao Lihui，Yang Hongzhe，Guo Dong，et al. Method to Reduce Matching Range in Print Detection Based on SIFT Algorithm[J]. Packaging Engineering，2013(9)：104-107.

[9]潘子昂. 基于SIFT算法的圖像匹配研究[D]. 西安：西安電子科技大學(xué)，2012. Pan Ziang. Research of Image Matching Based on SIFT Algorithm[D]. Xi’an：Electronic and Science University of Xi’an，2012.

[10]鄭永斌，黃新生，豐松江. SIFT和旋轉(zhuǎn)不變LBP相結(jié)合的圖像匹配算法[J]. 計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào)，2010，22(2)：286-292． Zheng Yongbin，Huang Xinsheng，F(xiàn)eng Songjiang. An Image Matching Algorithm Based on Combination of SIFT and the Rotation Invariant LBP[J]. Journal of Computer Aided Design & Computer Graphics，2010，22(2)：286-292．

[11]Gao Ke，Lin Shouxun，Zhang Yongdong，et al. Attention Model Based SIFT Keypoints Filtration for Image Retrieval// 7th IEEE/ACIS International Conference on Computer and Information Science. [S. l.]：IEEE，2008：191-196.

[12]Sirmacek B，Unsalan C. Urban-Area and Building Detection Using SIFT Keypoints and Graph Theory[J]. IEEE Transactions on Geosciences and Remote Sensing，2009. doi:10.1109/TGRS.2008.2008440.

（責(zé)任編輯：鄧彬）

Pharmaceutical Packaging Defect Detection Method Based on LBP Histogram and SIFT

Chen Caibiao，Yu Huijun，Zhang Faming，Wu Wan，Zhou Zhiwei
（School of Electrical and Information Engineering，Hunan University of Technology，Zhuzhou Hunan 412007，China）

In view of the defect detection of aluminum-plastic blister drug packaging, put forward a matching method based on LBP histogram and SIFT. First, extracted the feature points in the image of aluminum-plastic blister drug packaging, and then calculated the LBP histogram of the surrounding area. Finally matched the feature points to judge if there is defect on the medicine packaging. The test results show that compared to common SIFT algorithm, the method has faster computing speed and meets the demand of industrial production.

LBP histogram；SIFT；key points；defect detection

TP391.413

A

1673-9833(2014)04-0091-05

10.3969/j.issn.1673-9833.2014.04.020

2014-05-29

湖南省科學(xué)計(jì)劃基金資助項(xiàng)目（2012FJ4265）

陳財(cái)彪（1990-），男，湖南郴州人，湖南工業(yè)大學(xué)碩士生，主要研究方向?yàn)樾畔⒓膳c協(xié)調(diào)控制，E-mail：05biao@sina.com