于玲 杜向軍

1.天津輕工職業(yè)技術(shù)學(xué)院；2.天津工業(yè)大學(xué)

藥品安全一直是人們非常關(guān)心的問題，且藥品的質(zhì)量檢測也是藥品生產(chǎn)過程中的重要環(huán)節(jié)，從而可以保證藥品的安全生產(chǎn)與使用。同時，藥品的外觀檢測也是重要環(huán)節(jié)之一，由于藥品的需求量大，質(zhì)量檢測要求很高，人力檢測具有不確定性，缺乏準(zhǔn)確度。因此，采用機器視覺技術(shù)應(yīng)用于藥品的外觀檢測既克服人工檢測的弊端，又提高了其準(zhǔn)確度與工作效率，同時也能降低企業(yè)的成本，是藥品檢測發(fā)展的趨勢。而隨著藥品檢測標(biāo)準(zhǔn)的提高，以及膠囊藥物越來越大的檢測量，傳統(tǒng)的人工檢法已經(jīng)難以滿足膠囊生產(chǎn)廠家的需求。使用計算機視覺檢測技術(shù)來代替人工已經(jīng)是一種趨勢，機器視覺作為一種無損、非接觸式的檢測手段，能在提高膠囊生產(chǎn)效率的同時，保證膠囊的整體質(zhì)量。

本文提出基于機器視覺的膠囊板缺陷檢測系統(tǒng)，是由光源模塊、攝像頭采集模塊、輸送帶檢測模塊、計算機處理模塊、輸出控制以及報警顯示等模塊組成。采用了攝像頭視頻采集，對視頻文件進(jìn)行去噪、去霧、濾波增強，在HSV 空間提取出膠囊的信息，利用開閉運算、圖像重建、連通域識別獲取膠囊的位置及其外接矩形的大小[1]。對膠囊位置進(jìn)行矩陣式重排列，并利用模板對待檢測的膠囊位置進(jìn)行位置校正、對膠囊的外接矩形大小進(jìn)行校正；利用校正后的膠囊位置和外接矩形將每一個膠囊從原始圖像和中間二值圖像中截取出來原始膠囊圖集和二值膠囊圖集；對二值膠囊圖集中的每一個膠囊進(jìn)行面積檢測，通過判斷面積占比來檢測漏裝膠囊、膠囊泄漏內(nèi)部藥粉、膠囊被擠壓變形這三種缺陷；對原始膠囊圖集中的每一個膠囊進(jìn)行RGB 檢測，通過計算RGB 三個通道的直方圖相似性獲取每一張圖片相互比對后的相似性系數(shù)矩陣，分析矩陣來檢測膠囊放置在錯誤位置的這種缺陷；最后將正確的膠囊標(biāo)綠色方框，錯誤的膠囊標(biāo)紅色方框[2]。

1 檢測裝置組成及工作原理

膠囊生產(chǎn)過程中難免出現(xiàn)缺失、漏粉、磨損、外觀變形等問題，在檢測過程中可能因為人為因素、機器故障、堆壓等因素致使膠囊出現(xiàn)了破損和表面磨損。按照破損和磨損程度的不同，系統(tǒng)必須把那些破損或磨損較大的膠囊剔除出來，從而提高產(chǎn)品質(zhì)量。因此，需要對在線的膠囊進(jìn)行圖像處理與識別，從而實現(xiàn)對膠囊生產(chǎn)的在線檢測[3]。在整個圖像處理過程中，首先要通過CCD 圖像傳感器獲取圖像，并將圖像轉(zhuǎn)換為計算機或微處理器能夠識別且運行的數(shù)字信號，并傳送給專用的圖像處理系統(tǒng)。獲取到圖像后對膠囊藥板進(jìn)行濾波、圖像增強等預(yù)處理，并根據(jù)像素分布和亮度、顏色等信息，轉(zhuǎn)變成數(shù)字化信號，圖像處理系統(tǒng)對這些信號進(jìn)行各種運算來抽取目算法分析；找到所有膠囊的位置，正確的膠囊標(biāo)綠色的方框，錯誤的膠囊標(biāo)紅色。錯誤的膠囊存在如下缺陷：漏裝膠囊、膠囊放置在錯誤的位置、膠囊泄漏內(nèi)部藥粉、膠囊被擠壓變形等。

如圖1 所示，分別代表四種不同的缺陷：（a）為漏裝膠囊；（b）為錯誤的位置；（c）為膠囊漏藥粉；（d）為膠囊變形對應(yīng)的實物圖。系統(tǒng)首先識別出膠囊板的位置，將其進(jìn)行定位并從背景中提取分離出來。再次識別出每一個膠囊的位置，對其進(jìn)行定位并從膠囊板背景中準(zhǔn)確提取出來。提取后，對每一個膠囊進(jìn)行缺陷檢測，并將正確的膠囊標(biāo)綠色方框，錯誤的膠囊標(biāo)記紅色方框，從而實現(xiàn)自動識別功能[4]。

圖1 四種不同的缺陷Fig.1 Four different defects

2 檢測系統(tǒng)的硬件構(gòu)成

2.1 機器視覺檢測系統(tǒng)的構(gòu)成

膠囊缺陷檢測系統(tǒng)的硬件架構(gòu)主要包括機器視覺光學(xué)系統(tǒng)、傳送帶及傳感觸發(fā)裝置、基于PC 的圖像處理平臺、剔除裝置及上下料硬件控制模塊。其中機器視覺光學(xué)系統(tǒng)由三臺工業(yè)相機配上光學(xué)鏡頭及適配的光源組成[5]。圖像處理平臺包括工控上位機、擴(kuò)展圖像采集卡(本系統(tǒng)為千兆網(wǎng)卡)和串口卡。傳送帶與傳感觸發(fā)裝置有序地傳送膠囊進(jìn)入相機視野，膠囊借助底板摩擦滾動，滿足了360°拍攝需要。工控機與外部硬件控制模塊的交互由串口協(xié)議通信完成，包括硬件系統(tǒng)中振動槽的振動、排序輪的轉(zhuǎn)動、傳送帶的啟停及狀態(tài)監(jiān)測的報警等。系統(tǒng)設(shè)計如圖2 所示。

圖2 系統(tǒng)組成Fig.2 System composition

2.2 機器視覺檢測系統(tǒng)的工作原理

正常工作狀態(tài)下，藥物在傳送帶上向前傳遞，工業(yè)相機采集圖像信息，并傳遞給計算機。計算機經(jīng)過檢測算法，可以檢測出正常膠囊板和缺陷膠囊板并做好標(biāo)記。當(dāng)系統(tǒng)檢測出缺陷膠囊后，計算機發(fā)出信號給PLC 控制器，控制器即刻啟動剔除裝置，撥走缺陷膠囊板入次品收集器，并通過顯示模塊在控制平臺上顯示出來[6]。

3 軟膠囊藥板機器視覺檢測軟件系統(tǒng)的研究

進(jìn)行圖像預(yù)處理的目的是為了去除干擾、噪聲和差異，將原始彩色圖像變成適合于計算機進(jìn)行特征提取的形式，以便為特征提取做好必要的準(zhǔn)備。圖像預(yù)處理的質(zhì)量直接影響到整個系統(tǒng)的識別準(zhǔn)確率。

3.1 膠囊板位置獲取

為了提高分辨精度與速度，背景選用對比較強的黑色背板，有利于分離，讀入后的原圖因為是彩色圖像，為了加快運算速度，轉(zhuǎn)后為灰度圖[7]。形態(tài)學(xué)的開閉運算可以有效地實現(xiàn)圖像的運算提取，膨脹與腐蝕運算是一對反動作，可以控制區(qū)域內(nèi)的亮度范圍，再利用開閉運算和連通域識別來獲取膠囊板的位置，具體流程如圖3所示，運行結(jié)果如圖4 所示。

圖3 二值化運算Fig.3 Binarization operation

圖4 膠囊板定位結(jié)果Fig.4 Capsule plate positioning results

3.2 去霧算法增強對比度

對于提取完畢的膠囊板，膠囊板的背景各有不同，彩色膠囊的背景相對復(fù)雜，同時伴有不同程度的反光，從而無法使用RGB 閾值將膠囊從背景中提取出來。并且膠囊板透明的塑料類似于霧，并且對提取精度產(chǎn)生了干擾，本文采用去霧算法來提高膠囊與背景之間的對比度。運行結(jié)果如圖5 所示，去霧后的圖像可以清晰呈現(xiàn)膠囊狀態(tài)，如圖6 所示，有助于后面的膠囊提取。

圖5 去霧及其圖像重構(gòu)Fig.5 Defogging and image reconstructio

圖6 去霧后效果Fig.6 Effect of defogging

去霧后的圖片，由于RGB 顏色閾值難以分辨，且無法提取不同顏色的膠囊，經(jīng)過HSV 轉(zhuǎn)換（HSV 分別是色彩、深度、明暗），按著圖中方向的變化，其對應(yīng)的顏色也會改變，所以利用不同的取值范圍設(shè)定合理的閾值可以有效地用于膠囊提取，轉(zhuǎn)換后的圖形，并對膠囊成分進(jìn)行濾波、圖像重建、二值化處理，從而得到待定位的膠囊圖片，如圖7 所示。

圖7 膠囊顆粒與背景分離結(jié)果Fig.7 Capsule particles and results of background separation

3.3 膠囊位置獲取

經(jīng)過對處理后圖像的研究，發(fā)現(xiàn)膠囊二值化后的圖像上存在很多離散的點，為了獲得一個個鄰域連通的膠囊，只有這樣才能使用連通域識別函數(shù)對每一個膠囊進(jìn)行定位，然后再次利用開閉運算、圖像重建、連通域識別獲取膠囊的位置及其外接矩形的大小,如圖8 所示。

圖8 膠囊重定構(gòu)流程Fig.8 Capsule restructuring process

3.4 膠囊位置校正

本文采用模板標(biāo)記，通過對模板標(biāo)記獲取膠囊的位置以及外接矩尺寸，并將數(shù)據(jù)作為模板來校正待檢測膠囊位置及其外接矩尺寸。

為了模板匹配和待檢測膠囊位置匹配，對膠囊位置進(jìn)行矩陣式重排列，找出待測膠囊的中心點坐標(biāo)，再找出同一行的其他膠囊位置，并將這組膠囊中心坐標(biāo)另存為一組，數(shù)據(jù)表按照列坐標(biāo)由大到小排列，然后將這組膠囊的坐標(biāo)設(shè)為原始坐標(biāo)，其余膠囊重新排列，得到矩陣式重排列后位置。使用模板的位置信息為參考值，以偏移里量為閾值，判斷標(biāo)記待檢測膠囊的位置是否在中心位置，如果不在，中心坐標(biāo)替換模中心坐標(biāo)，同時不在此區(qū)間的圖片外接矩形替換為模板中外接矩形數(shù)據(jù)，完成數(shù)據(jù)的處理變換。通過上述步驟就可以將膠囊的位置進(jìn)行校正，如圖9 所示。

圖9 膠囊定位校準(zhǔn)流程Fig.9 Capsule positioning calibration process

3.5 基于二值圖像面積占比的檢測膠囊缺陷

獲得每個膠囊的圖片，再利用校正后的位置和外接矩形，截取出來二值膠囊圖集，并將每個膠囊從圖片中提取，從而得到原始膠囊圖集。接著通過二值圖像集中每張膠囊圖片統(tǒng)計白色點數(shù)，在整張圖片像素比例來判斷膠囊是否完整，但是在圖像運算的過程中會出現(xiàn)膠囊信息的丟失。如圖10 所示，白色點數(shù)占比達(dá)不到閾值，會判定為缺陷。本文引入基于灰度強度差權(quán)重來分離背景，由此可以得到背景點數(shù)集，再計算面積占比，當(dāng)每一個膠囊的面積占比低于0.45 時，判定為缺陷膠囊。經(jīng)過計算校正后的膠囊位置，以及外接矩形出來的二值膠囊圖集和原始膠囊圖集，經(jīng)過統(tǒng)計，計算每張子圖片中的白色點數(shù)，并且計算截圖中每張圖片的灰度強度差權(quán)重，從而分離背景，然后統(tǒng)計每張子圖片中背景點數(shù)，并計算面積占比，如果膠囊的面積占比不大于0.45 時，判定此圖為缺陷膠囊。

圖10 膠囊信息丟失Fig.10 Capsule information lost

3.6 基于RGB 直方圖相似性的膠囊缺陷檢測

對原始圖形進(jìn)行RGB 直方圖相似性判斷，對于在每一行膠囊，進(jìn)行相似性比對，并對每個膠囊與同行膠囊進(jìn)行RGB 直方圖相似性計算，獲得相似性矩陣。

選取該表中相似性系數(shù)最大的值為參考值，并以(max-0.2,0]U(0.4,0]為閾值區(qū)間判斷相似性，可以得到相似性矩陣，當(dāng)某一列“1”的個數(shù)比行數(shù)少1 時，判斷該列對應(yīng)的膠即為缺陷膠囊。再將面積缺陷檢測和RGB直方圖缺陷檢測的結(jié)果進(jìn)行或運算，從而得到最終的缺陷檢測結(jié)果，并將判定的結(jié)果在原始圖片中標(biāo)記，綠色代表正常膠囊，紅色代表缺陷膠囊，如圖11 所示。

圖11 驗證結(jié)果標(biāo)識Fig.11 Verification result identification

4 實驗和結(jié)果分析

為了驗證膠囊自動檢測系統(tǒng)的測試效果，選用了22板不同程度的膠囊，其中的膠囊分別有漏裝15 顆、錯位20 顆、漏藥20 顆、變形15 顆的膠囊，經(jīng)過五次實驗檢測，結(jié)果如表1 所示，正確率95.63%，識別速度達(dá)1400粒/秒，具有一定的實際應(yīng)用價值。

表1 自動檢測系統(tǒng)的測試效果Tab.1 Testing effectiveness of automatic detection systems

5 結(jié)語

本文提出基于機器視覺的膠囊板缺陷檢測系統(tǒng)，通過攝像頭視頻采集，對視頻文件進(jìn)行去噪、去霧、濾波增強，利用HSV 提取膠囊并進(jìn)行圖像處理運算形成二值圖像，再對二值圖像進(jìn)行計算，檢測出漏裝、漏藥以及變形三種缺陷，利用RGB 通道相似矩陣檢測出錯放缺陷，具有95.63%正確率，1400 粒/秒的運行速度，同時還具有低成本、高效率、維護(hù)簡單、實用性高的特點，擁有一定的實用價值。