劉孝星， 鄭力新， 周凱汀， 吳哲， 林立峰

(1. 華僑大學(xué) 信息科學(xué)與工程學(xué)院， 福建 廈門 361021； 2. 華僑大學(xué) 工學(xué)院, 福建 泉州 362021)

采用圖像處理的膠囊尺寸缺陷檢測(cè)方法

劉孝星1， 鄭力新2， 周凱汀1， 吳哲2， 林立峰1

(1. 華僑大學(xué) 信息科學(xué)與工程學(xué)院， 福建 廈門 361021； 2. 華僑大學(xué) 工學(xué)院, 福建 泉州 362021)

針對(duì)透明膠囊的成像特點(diǎn)，提出一種實(shí)時(shí)性好、健壯性較強(qiáng)的結(jié)合閾值分割、腐蝕、輪廓提取及區(qū)域填充的圖像提取算法.利用旋轉(zhuǎn)和一階差分分割膠囊本體，通過(guò)最小包圍矩形測(cè)量膠囊的尺寸，并與公認(rèn)標(biāo)準(zhǔn)進(jìn)行對(duì)比，從而判別膠囊是否存在尺寸缺陷.實(shí)驗(yàn)結(jié)果表明：膠囊圖像提取和尺寸缺陷識(shí)別算法的平均漏檢率為6.38%，平均誤檢率為4.13%.

尺寸缺陷； 膠囊； 圖像處理； 區(qū)域分割

Abstract： In view of the characteristics of transparent capsule image, this paper proposed the image extraction algorithm combining with threshold segmentation, corrosion, contour extraction and region filling with good real-time and strong robustness. Then by using rotating and first-order difference divided capsule ontology, through the minimum bounding rectangle measured the size of capsule, compared with generally accepted standards we can distinguish whether capsule exists size defect. The experimental results show that: the average missing rate of capsule image extraction and the size defect recognition algorithm was 6.38%, the average error rate was 4.13%.

Keywords： size defect; capsule; image processing; region segmentation

近年來(lái)，隨著醫(yī)藥行業(yè)的飛速發(fā)展，膠囊以能有效掩蓋藥物不良?xì)馕?、提高藥物穩(wěn)定性、延緩藥物釋放及易于服用等優(yōu)點(diǎn)，廣泛地應(yīng)用于保健品和藥品領(lǐng)域.在空心膠囊的生產(chǎn)過(guò)程中，尺寸缺陷是常見(jiàn)的一種缺陷膠囊.目前，針對(duì)空心膠囊尺寸缺陷的問(wèn)題，國(guó)內(nèi)生產(chǎn)企業(yè)普遍采用人工檢驗(yàn)的方式，檢測(cè)效率極低.機(jī)器視覺(jué)技術(shù)具有非接觸測(cè)量、長(zhǎng)時(shí)間穩(wěn)定工作等優(yōu)勢(shì)，正逐漸應(yīng)用于工業(yè)表面檢測(cè)領(lǐng)域.因此，基于圖像處理的空殼膠囊尺寸缺陷檢測(cè)方法代替?zhèn)鹘y(tǒng)的人工檢測(cè)是膠囊制藥行業(yè)發(fā)展的趨勢(shì).許多學(xué)者對(duì)相關(guān)檢測(cè)算法進(jìn)行了研究[1-3].本文提出一種適合工業(yè)現(xiàn)場(chǎng)的膠囊尺寸缺陷檢測(cè)方法.

1 檢測(cè)方案

利用機(jī)器視覺(jué)技術(shù)對(duì)膠囊尺寸進(jìn)行測(cè)量時(shí)，需要考慮以下5個(gè)問(wèn)題：1) 圖像噪聲的濾除；2) 膠囊自身圖像與背景圖像的分離；3) 膠囊各區(qū)域的分割，包括體(未重合部分，下文統(tǒng)稱為體)、帽(未重合部分，下文統(tǒng)稱為帽)、重合區(qū)；4) 圖像處理算法的實(shí)時(shí)性；5) 算法的健壯性.通過(guò)算法的對(duì)比和研究，設(shè)計(jì)了一套膠囊尺寸缺陷檢測(cè)方案，其算法流程,如圖1所示.

圖1 膠囊尺寸檢測(cè)流程圖Fig.1 Flow chart of capsule size detection

2 膠囊自身圖像提取

2.1ROI設(shè)定及預(yù)處理

膠囊尺寸缺陷識(shí)別算法是整個(gè)缺陷檢測(cè)過(guò)程的核心.在外觸發(fā)方式下，電荷耦合器件(CCD)相機(jī)每次采集的圖像中包含了4個(gè)膠囊檢測(cè)位，每幅圖像中膠囊位置相對(duì)固定.為了便于對(duì)膠囊圖像進(jìn)行分析及減少數(shù)據(jù)運(yùn)算量，在獲取的原始圖像中，設(shè)定4個(gè)感興趣區(qū)域(ROI)，每次提取單一的區(qū)域圖像進(jìn)行處理，如圖2所示.CCD相機(jī)采集的圖像中,常夾雜光子散粒噪聲、暗電流噪聲、讀出噪聲、時(shí)鐘感應(yīng)噪聲等[4]，導(dǎo)致圖像質(zhì)量降低，對(duì)后續(xù)圖像提取、圖像分割和尺寸測(cè)量造成較大影響.因此，采用濾波去噪對(duì)圖像進(jìn)行預(yù)處理.為了保證算法的實(shí)時(shí)性，并最大程度地保持圖像細(xì)節(jié)，采用改進(jìn)型中值濾波去除噪聲[5-6]，使算法的時(shí)間復(fù)雜度從O(n2)降低為O(n)，其效果如圖3所示.

2.2閾值分割及空位判別

背景圖像對(duì)目標(biāo)圖像處理造成很大干擾，需要提取目標(biāo)本體圖像，使其與背景完全分離.相較于不透明膠囊，透光性較強(qiáng)的透明膠囊是膠囊自身圖像提取中的難點(diǎn).透明膠囊的灰度分布不同，灰度值在中部最高，靠近邊緣處較低.假設(shè)透明膠囊所處的灰度區(qū)間為D1，背光部分所處的灰度區(qū)間為D2，則存在一個(gè)非空區(qū)間K使D1∩D2=K.因此，雙閾值分割將中間區(qū)域作為背景處理，使分割后的圖像只剩下膠囊的邊緣部分.雙閾值通過(guò)大量實(shí)驗(yàn)測(cè)試得出，經(jīng)雙閾值分割后的兩種膠囊，如圖4所示.

排料過(guò)程中，由于膠囊在料槽出口處堆積，可能導(dǎo)致傳送鏈條的膠囊槽未被完全填滿.由圖4(b)可知：分割后的圖像仍存在膠囊槽的輪廓.若膠囊槽中有膠囊，則除了輪廓之外，還有膠囊本體；反之，二值圖中僅有輪廓線，如圖5所示.二值圖像中，背景部分的像素值為0，前景部分的像素值為1.槽中有、無(wú)膠囊的兩種情況下，前景的像素?cái)?shù)量相差較多，通過(guò)統(tǒng)計(jì)像素值為1的像素個(gè)數(shù)，并與合適的閾值比較，即可判斷是否為空位.圖5中的膠囊槽輪廓像素為1 291個(gè)，圖4(b)中的像素為10 236個(gè)，若為不透明膠囊，則像素個(gè)數(shù)還會(huì)進(jìn)一步增加.因此，該閾值判別法可準(zhǔn)確進(jìn)行空位判別.

2.3形態(tài)學(xué)處理

為了去除多余的膠囊槽輪廓，對(duì)雙閾值分割后的二值圖像進(jìn)行腐蝕處理.腐蝕處理時(shí)，腐蝕的內(nèi)核大小的選取十分重要，內(nèi)核過(guò)大會(huì)導(dǎo)致膠囊的邊緣被過(guò)多地腐蝕而出現(xiàn)斷裂，如圖6(a)所示.膠囊槽的輪廓寬度通常在3個(gè)像素之內(nèi)，使用稍大的結(jié)構(gòu)元素可對(duì)其進(jìn)行處理.在腐蝕過(guò)程中均選用3×3的方形結(jié)構(gòu)元素處理圖4(b)的殘余背景，盡可能減少對(duì)膠囊邊緣造成的影響，結(jié)果如圖6(b)所示.

2.4膠囊輪廓提取

腐蝕后的二值圖除了膠囊區(qū)域外，還可能有其他小目標(biāo)區(qū)域.為了對(duì)各連通域進(jìn)行分析，必須對(duì)其標(biāo)號(hào).在目標(biāo)區(qū)域較為復(fù)雜時(shí)，像素標(biāo)記法[7-8]、線標(biāo)記法[9]、基于四叉樹(shù)的標(biāo)號(hào)算法[10]等圖像標(biāo)號(hào)算法處理時(shí)間會(huì)迅速增加.膠囊的邊緣區(qū)域因具有較多“U”形或“E”形的復(fù)雜連通域，以上方法并不適用.文中將區(qū)域生長(zhǎng)的思想應(yīng)用于區(qū)域標(biāo)號(hào)中.從圖像左上角開(kāi)始對(duì)像素進(jìn)行逐一掃描，若碰上沒(méi)有標(biāo)號(hào)的像素，則把該像素作為種子點(diǎn)，按照棧的方式存儲(chǔ)，對(duì)其鄰域的像素進(jìn)行標(biāo)記，并同樣存儲(chǔ)標(biāo)記過(guò)的像素，從棧中去除像素，作為新種子點(diǎn)標(biāo)記其鄰域，棧內(nèi)無(wú)像素點(diǎn)時(shí)終止.采用8鄰域方向生長(zhǎng)時(shí)，對(duì)圖像的遍歷次數(shù)能夠從8次減少為4次左右.通過(guò)區(qū)域生長(zhǎng)的方式對(duì)不同的目標(biāo)區(qū)域進(jìn)行逐一標(biāo)號(hào)，實(shí)現(xiàn)各個(gè)區(qū)域之間的相互區(qū)分.標(biāo)號(hào)的最大數(shù)值m，即為目標(biāo)區(qū)域的個(gè)數(shù).

二值圖像中膠囊邊緣有內(nèi)、外兩層輪廓，外層輪廓包含了整個(gè)膠囊所處的區(qū)域. 為了利用外層輪廓

圖7 8鄰域方向Fig.7 8-direction of neighborhood

提取出膠囊本體圖像，并節(jié)省跟蹤內(nèi)層輪廓的時(shí)間，需獲取輪廓線上的像素坐標(biāo)，并對(duì)該輪廓進(jìn)行描述.蟲(chóng)隨法算法簡(jiǎn)單，但易忽略邊緣輪廓上的個(gè)別凸起[11]；光柵掃描法受閾值大小影響大，且掃描次數(shù)不定，難以實(shí)際應(yīng)用[12].文中采用鄰域點(diǎn)邊界跟蹤法可較好地避免以上問(wèn)題.首先，定義8鄰域的方向(圖7)，并設(shè)立集合L和變量dir，分別存儲(chǔ)已跟蹤輪廓所屬的區(qū)域標(biāo)號(hào)和從前一個(gè)邊界元素到下一個(gè)邊界元素的方向.然后，按以下4個(gè)步驟執(zhí)行.

步驟1對(duì)方向變量賦值，使dir=7，并從圖像左上角開(kāi)始從上到下、從左到右進(jìn)行搜索，直至找到第一個(gè)非零像素，且該像素的標(biāo)號(hào)l滿足l?L，則該像素P0是其所在區(qū)域Q1第一列的第一行元素.因此，以P0為區(qū)域輪廓的起始像素，并將該區(qū)域的標(biāo)號(hào)添加到集合L中.

步驟2若dir為偶數(shù)，用(dir+7)除以8的余數(shù)對(duì)其重新賦值；若dir為奇數(shù)，用(dir+6)除以8的余數(shù)對(duì)其重新賦值.以dir為起始方向逆時(shí)針?biāo)褜ぎ?dāng)前像素的8鄰域，找到的第一個(gè)非零像素是當(dāng)前區(qū)域中新的輪廓元素Pn，同時(shí)更新dir，使其等于Pn-1到Pn的方向數(shù)值.

步驟3如果當(dāng)前的輪廓元素Pn等于第二個(gè)輪廓元素P2，且前一個(gè)元素Pn-1等于P0，則進(jìn)行步驟4，區(qū)域Q1的輪廓像素集合為{P0,P1,…,Pn}；否則，返回步驟2.

步驟4統(tǒng)計(jì)當(dāng)前集合L中的元素個(gè)數(shù)num.若num=m，表明圖像中各區(qū)域輪廓均已獲取，結(jié)束操作；若num≠m，返回步驟1，獲取圖像中其他區(qū)域的輪廓.

由于同種膠囊之間存在微小的差異，少數(shù)膠囊在雙閾值分割后邊緣部分較窄，經(jīng)腐蝕處理后出現(xiàn)邊緣斷裂.為了提高算法的魯棒性，解決個(gè)別膠囊因邊緣不完整導(dǎo)致的錯(cuò)誤分割問(wèn)題，在獲取膠囊邊緣輪廓后，進(jìn)一步對(duì)輪廓進(jìn)行凸包的構(gòu)建.膠囊所在區(qū)域Q的輪廓可近似為凸形，重構(gòu)后的輪廓基本不變，如圖8(a)所示；而腐蝕后出現(xiàn)邊緣斷裂時(shí)所獲得的輪廓為凹形，如圖8(b)所示.

若連接斷開(kāi)處的兩個(gè)拐點(diǎn)，并去掉兩個(gè)拐點(diǎn)之間的曲線，即可獲得近似的膠囊輪廓.輪廓上點(diǎn)的集合{P0,P1,…,Pn}已按逆時(shí)針?lè)较蚺判颍訮0為起點(diǎn)從P2開(kāi)始進(jìn)行判斷.首先，得到向量P0P1和P1P2，計(jì)算c=|P0P1×P1P2|/(|P0P1|×|P1P2|)，若c>0，則P1到P2的路徑相對(duì)于P0到P1的路徑是向左轉(zhuǎn)的，表明P2是凸包上的一個(gè)頂點(diǎn)；反之，若c≤0，則P1到P2的路徑相對(duì)于P0到P1的路徑是向右轉(zhuǎn)的，此時(shí)，P2就不是凸包的頂點(diǎn)，將P2從點(diǎn)集中移除，以此對(duì)后續(xù)的點(diǎn)進(jìn)行判斷直至回到P0，得到新的點(diǎn)集{p0,p1,…,pn}，按順序連接這些點(diǎn)并繪制于一幅新的背景圖像,即可得到所需的凸形輪廓，如圖8(c)所示.

2.5區(qū)域填充與膠囊自身圖像提取

漫水填充法能有效完成對(duì)目標(biāo)區(qū)域的提取[13]，但效率較低.文中采用掃描線方法，首先，在輪廓上尋找兩點(diǎn)Pi=(xi,yi)和Pj=(xj,yj)，使yi由yj為凸形，所以線段PiPj端點(diǎn)外的任意一點(diǎn)Pk=(xk,yk)，若Pk?{P0,P1,…,Pn}在輪廓內(nèi)部；反之，則重新尋找.膠囊圖像提取效果,如圖9所示.

3 膠囊邊緣檢測(cè)

3.1圖像旋轉(zhuǎn)

膠囊在槽中的位置不是完全固定的，在圖像中可能出現(xiàn)一定角度的傾斜，將影響后續(xù)的分割.將圖像中的點(diǎn)經(jīng)過(guò)線性變換后重新映射到新的圖像中，實(shí)現(xiàn)膠囊的旋轉(zhuǎn)，可使其側(cè)邊與水平方向垂直.二維圖形以任意點(diǎn)(xc，yc)為旋轉(zhuǎn)中心，以α為旋轉(zhuǎn)角的旋轉(zhuǎn)公式為

(a) 傾斜 (b) 旋轉(zhuǎn)后圖10 膠囊旋轉(zhuǎn)Fig.10 Capsule rotation

進(jìn)行旋轉(zhuǎn)前，首先要確定旋轉(zhuǎn)中心和旋轉(zhuǎn)角度.圖像中膠囊的輪廓是由離散的點(diǎn)構(gòu)成的凸多邊形，其最小面積的外接矩形至少有一個(gè)邊與輪廓上的一個(gè)線段共線.膠囊的外形較為特殊，其最小面積外接矩形的兩條相互平行的邊分別與膠囊兩個(gè)側(cè)邊共線，計(jì)算最小面積外接矩形的中心點(diǎn)坐標(biāo)及其傾斜角即可得到所需的旋轉(zhuǎn)中心和旋轉(zhuǎn)角度，膠囊旋轉(zhuǎn)效果，如圖10所示.

3.2重合區(qū)邊緣檢測(cè)

膠囊體、帽套合時(shí)將產(chǎn)生一個(gè)重合區(qū)域.為了測(cè)量體、帽的長(zhǎng)度，必須將每個(gè)區(qū)域分割出來(lái).常用的區(qū)域分割方法有區(qū)域生長(zhǎng)分割、分水嶺分割.區(qū)域生長(zhǎng)需要先確定種子點(diǎn)位置和生長(zhǎng)準(zhǔn)則，再確定其周圍像素是否屬于同一區(qū)域[14].體、帽的透光率相對(duì)均勻，無(wú)論兩者的顏色是否相同，重合區(qū)的透光率會(huì)低于重合區(qū)外的部分.

因此，體、帽未重合的部分較亮，重合部分較暗，且各部分的灰度基本一致，膠囊區(qū)域內(nèi)自上而下在第一個(gè)重合區(qū)邊緣時(shí)，由亮變暗；在第二個(gè)重合區(qū)邊緣時(shí)，由暗變亮.因此，對(duì)膠囊區(qū)域內(nèi)某一垂直于水平方向的剖面線f(i,j)做差分運(yùn)算，在點(diǎn)(i,j)處沿豎直方向的一階差分可表示為

得到差分曲線的波谷、波峰分別對(duì)應(yīng)自上而下時(shí)重合區(qū)的第一、二個(gè)邊緣，如圖11所示.圖11中：A為灰度；n表示第n個(gè)像素.

圖11 剖面線差分曲線Fig.11 Differential curve of section lines

由于靠近膠囊邊緣的部分亮度與內(nèi)部差異較大，因此，需選取合適的剖面線.假設(shè)原最小面積外接矩形旋轉(zhuǎn)后得到的新矩形左上角的坐標(biāo)為(x1，y1)，寬度為w，高度為h，以x=x1+w/2作為剖面線在水平方向上的位置，并按照固定比例0<λ<1舍棄膠囊兩頭的一部分λh，得到剖面線的起始點(diǎn)坐標(biāo)分別為(x1+w/2,y1+λh)，(x1+w/2,y1+(1-λ)h).

對(duì)該剖面線上的灰度值做差分運(yùn)算后篩選出差分結(jié)果的最大、最小值，獲取它們的坐標(biāo)，即可找到膠囊重合區(qū)的上下兩個(gè)邊緣在圖像中的位置.

4 膠囊本體分割與尺寸缺陷判別

膠囊重合區(qū)的邊緣位置已知，可通過(guò)設(shè)定ROI分割出3個(gè)區(qū)域的圖像.設(shè)圖像旋轉(zhuǎn)后的最小面積包圍矩形的左上角坐標(biāo)為(xleft,ytop)，右上角坐標(biāo)為(xright,ytop)， 右下角坐標(biāo)為(xright,ybottom)， 左下角坐

(a) 第一部分 (b) 第二部分 (c) 第三部分圖12 膠囊本體分割結(jié)果Fig.12 Result of capsule segmentation

標(biāo)為(xleft,ybottom)，若至上而下膠囊第一個(gè)邊緣的位置為yk，第二個(gè)邊緣的位置為yj，以頂點(diǎn)(xleft,ytop),(xright,ytop),(xleft,yk),(xright,yk)的矩形為第一個(gè)ROI，(xleft,yk),(xright,yk),(xleft,yk),(xright,yj)為第二個(gè)ROI，(xleft,yj),(xright,yj),(xright,ybottom),(xleft,ybottom)為第三個(gè)ROI，分割出膠囊的3個(gè)區(qū)域，如圖12所示.膠囊在圖像中豎直放置，3個(gè)ROI的長(zhǎng)度即膠囊3個(gè)區(qū)域的尺寸，可得膠囊兩節(jié)的尺寸為yj-ytop和ybottom-yk，兩者數(shù)值較小的即為膠囊帽尺寸，較大的為膠囊體尺寸.判斷測(cè)量的帽、體尺寸是否在標(biāo)準(zhǔn)的尺寸范圍內(nèi)，即可知膠囊是否存在尺寸缺陷.

5 結(jié)束語(yǔ)

在Intel Core i7 4770k處理平臺(tái)下進(jìn)行實(shí)驗(yàn)測(cè)試，采用任務(wù)并行處理技術(shù)處理3臺(tái)相機(jī)所采集的圖像所花費(fèi)的總時(shí)間平均為7.9 ms.在生產(chǎn)線上隨機(jī)抽取膠囊作為測(cè)試樣本，檢測(cè)完成后由專門的檢測(cè)人員分別從成品和次品中抽樣檢測(cè)，統(tǒng)計(jì)膠囊的漏檢率和誤檢率.5次抽樣結(jié)果顯示：平均漏檢率為6.38%，平均誤檢率為4.13%；膠囊圖像提取和尺寸缺陷識(shí)別算法的健壯性較強(qiáng)，實(shí)時(shí)性較好.

[1] ISLAM M J,AHMADI M,SID-AHMED M A.Image processing techniques for quality inspection of gelatin capsules in pharmaceutical applications[C]∥International Conference on Control, Automation, Robotics and Vision.Washington D C:IEEE Press,2008:862-867.

[2] MURAI T,MORIMOTO M,FUJII K.A visual inspection system for medical capsules[C]∥International Conference on Systems, Man, and Cybernetics.Washington D C:IEEE Press,2012:1433-1437.

[3] 王娟,周永霞,徐冰俏.圖像處理在膠囊外形缺陷檢測(cè)中的應(yīng)用[J].中國(guó)計(jì)量學(xué)院學(xué)報(bào),2012,23(3):239-245.

[4] WANG Dejiang,ZHANG Tao.Noise analysis and measurement of time delay and integration charge coupled device[J].Chinese Physics B,2011,20(8):352-357.

[5] 楊文博,馬天瑋,劉劍.非局部變分修復(fù)法去除高密度椒鹽噪聲[J].中國(guó)光學(xué),2013,6(6):876-884.

[6] 李剛,范瑞霞.一種改進(jìn)的圖像中值濾波算法[J].北京理工大學(xué)學(xué)報(bào)(自然科學(xué)版)，2002,22(3):376-378.

[7] ROSENFELD A,PFALTZ J L.Sequential operations in digital picture processing[J].Journal of the ACM，1966,13(4):471-494.

[8] HARALOCK R M,SHAPIRO L G.Computer and robot vision[M].New Jersey:Prentice Hall,1991:57-64.

[9] IRANI M,ANANDAN P,BERGEN J,etal.Efficient representations of video sequences and their applications[J].Signal Processing: Image Communication，1996,8(4):327-351.

[10] 吳恒山,段雄文,李晨陽(yáng).葉結(jié)點(diǎn)編碼四叉樹(shù)的鄰域?qū)ふ宜惴╗J].計(jì)算機(jī)應(yīng)用，2005,25(11):2624-2626.

[11] 周秀芝,陳洋,胡文婷.基于交叉點(diǎn)的樹(shù)遍歷二值圖像邊界跟蹤算法[J].計(jì)算機(jī)應(yīng)用與軟件，2014,31(2):230-232.

[12] 王福生,齊國(guó)清.二值圖像中目標(biāo)物體輪廓的邊界跟蹤算法[J].大連海事大學(xué)學(xué)報(bào)，2006,32(1):62-64.

[13] ZHOU Zhiwei,LI Linlin,TAN C L.Edge based binarization for video text images[C]∥International Conference on Pattern Recognition.Washington D C:IEEE Press,2010:133-136.

[14] ADAMS R,BISCHOF L.Seeded region growing[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,1994,16(6):641-647.

(責(zé)任編輯： 錢筠英文審校： 吳逢鐵)

DetectionMethodofCapsuleSizeDefectUsingImageProcessing

LIU Xiaoxing1, ZHENG Lixin2, ZHOU Kaiting1, WU Zhe2, LIN Lifeng1

(1. College of Information Science and Engineering, Huaqiao University, Xiamen 361021, China;2. College of Engineering, Huaqiao University, Quanzhou 362021, China)

10.11830/ISSN.1000-5013.201505045

2015-05-25

鄭力新(1967-)，男，教授，博士，主要從事工業(yè)自動(dòng)化技術(shù)的研究.E-mail:1275373176@qq.com.

福建省科技廳資助項(xiàng)目(2013H2002)

TP 391

A

1000-5013(2017)05-0716-05