張立國 雷璇瑞 金梅 吳文哲 宋炳豪

(燕山大學電氣工程學院 秦皇島 066000)

電路板作為電子設備中的重要組成部分,承載著元器件之間的電氣連接,在電子設備中應用十分廣泛[1]。隨著集成電路產業(yè)的發(fā)展,電路板的集成程度更高、面積更小、層數更多,但經常出現印刷質量問題,比如缺焊、錯焊、漏錫、空洞和短路等等。隨著電路板需求的日益增長,其印刷質量成為重中之重。傳統(tǒng)電路板缺陷檢測依靠人工檢測,隨著需求量的增加人工檢測效率低且成本越來越高,因此,本文設計基于圖像處理的電路板缺陷檢測系統(tǒng)以解決該問題,并將其在硬件上實現。

在檢測算法研究中,文獻[2]提出了一種利用小波變換來濾除噪聲的算法,利用待檢測電路板圖像與模板電路板圖像進行對比來完成電路板缺陷的檢測,可以降低電路板圖像中的噪聲影響,但其方法在精度和速度方面遠達不到生產檢測的需求。文獻[3]把現場可編程門陣列(field-programmable gate array,FPGA)技術引入到了印刷電路板(print circuit board,PCB)缺陷檢測系統(tǒng)中,通過調用FPGA 的函數庫完成檢測系統(tǒng)的設計,可以快速地對PCB 缺陷進行檢測。雖然其方法在速度上有一定的提升,但卻忽略了檢測精度。文獻[4]設計了一款基于擴展特征金字塔網絡模型的PCB 缺陷檢測方法,在公共數據集上檢測精度較高。文獻[5]提出了一種基于機器視覺的PCB 缺陷在線檢測方法,使用改進二分K-means 均值算法(K-means clustering algorithm,Kmeans)聚類結合交并比損失函數確定錨框,解決錨框不適用電路板小目標缺陷檢測的問題,利用多種卷積核進行運算滿足電路板缺陷多類別的檢測要求。該方法檢測精度高,檢測時間相對較短,但該檢測方法依然不能滿足生產線的檢測需求。文獻[6]采用多尺度融合的金字塔模型有效地提高模型的特征識別能力,引入可變形卷積,通過卷積學習偏移量提高模型的特征提取能力來提高PCB 缺陷檢測的精度和速度。上述研究都提出了較好的方法,但是在檢測速度、精度以及成本上都有待提高。

在上述研究的基礎上,本文設計并實現基于圖像處理的電路板缺陷檢測系統(tǒng)。該設計在傳統(tǒng)圖像增強、邊緣檢測和模板匹配算法的基礎上將其進行改進,并在FPGA 上實現并行處理;為加快待檢測板與標準板對比速度提出一種新的去除電路板上多余標識字樣的算法即去除絲印算法,將原始圖像的標識字樣去除減少圖像對比的數量,有效加快缺陷檢測的速度。在多塊包含缺陷的電路板上進行驗證,實驗結果表明,該設計能更高效、快速地定位出電路板的缺陷,檢測速度更快、精度更高。

1 圖像預處理算法

1.1 改進的灰度拉伸變換算法

受采集環(huán)境的影響,采集到的圖像對比度較低。灰度拉伸是通過某種映射關系,將原圖像中的灰度值映射為另一個灰度值,從而達到拉伸或壓縮整個圖像灰度分布的目的[7]。傳統(tǒng)的灰度拉伸算法在實際應用中,其最小灰度級A和最大灰度級B的選取完全基于經驗,且選取固定,對于圖像信息時刻變化的圖像來說,傳統(tǒng)的灰度拉伸處理不具有適應性。

針對上述問題對傳統(tǒng)灰度拉伸算法進行改進,放棄對最小灰度級A和最大灰度級B的選取方式,而是選取圖像每一行像素的最小值和最大值;然后將每一行的最大值和最小值分別相加求取平均值,將最大值的平均值作為最大灰度級Max,將最小值的平均值作為最小灰度級Min,感興趣區(qū)間變?yōu)閇Min,Max]。由于原始像素值可能大于最大灰度級Max,將增益系數設置為255 可能會造成圖像亮點較多,因此結合圖像特點,將增益系數設置為最大灰度級Max,其改進拉伸變換公式如式(1)所示。

其中f(x,y) 為輸入圖像,Min為最小灰度級、Max為最大灰度級,g(x,y) 為變換后最終得到的圖像。改進后的圖像增強模塊分為求最值模塊和拉伸模塊,拉伸模塊具體流程圖如圖1 所示。

圖1 拉伸模塊流程圖

由文獻[8]可知,本文改進的灰度拉伸算法同樣適用于彩色圖像,將式(1)分別應用到紅(red,R)、綠(green,G)、藍(blue,B)分量上,將3 個分量分別看作單獨通道,進行灰度拉伸,最后將拉伸后的三通道合成新的彩色圖像輸出。

1.2 去除絲印算法

由于原始圖像信息中包含電路板上為了方便識別電阻以及芯片型號而標識的字樣,但是這些字樣在模板匹配的過程中并沒有起到任何作用反而會因為其字樣而增加對比時間。為了加快模板匹配的檢測速度,提高匹配的檢測精度,本文提出一種去除絲印算法,即將干擾電路板匹配檢測的標識字樣去掉,替換成電路板的底色。去除絲印算法的步驟如下:

(1)設原圖像灰度級數j:j=0,1,2,…,L-1;L是灰度級的個數,取值范圍在0～255 之間;

(2)統(tǒng)計原圖像灰度級像素個數Ni;

(4)計算累計直方圖Pj=∑p(k),k=0,1,2,…,j;

(5) 找出累計直方圖最多的像素點P=Max{Pj},即每幀圖像出現最多的像素點也就是圖像的底色;

(6)由于標識字樣都為白色,則將在白色范圍內的像素全部替換為最多像素點的像素。

1.3 改進的邊緣檢測算法

傳統(tǒng)的Sobel 邊緣檢測算法計算方法簡單,對噪聲具有平滑作用,但是邊緣精度不高[9]。其檢測算子只對水平方向和豎直方向敏感,閾值的選取也完全依靠人為選定且選取固定,或保留較多或丟失較多圖像信息[10],不能達到預期處理效果。針對上述閾值選取固定和算子模板不能更好體現圖像細節(jié)的問題,本文在傳統(tǒng)Sobel 邊緣檢測算法的基礎上進行改進,其具體改進步驟如下。

(1)設定滾動窗口的大小,選定3 ×3 大小窗口與模板算子進行平面卷積。

(2)確定卷積算子。將卷積算子由原來的2 個擴展成8 個,卷積算子模板如圖2 所示。

圖2 Sobel 8 方向模板算子

(3)根據Sobel 算子計算8 個方向的梯度值。

(4)計算Sobel 邊緣檢測的閾值,采用自適應閾值,使用向量[G0°,G45°,G90°,G135°,G180°,G225°,G270°,G315°]T的范數表示,使用無窮范數化簡后得到最佳閾值T為GMax,GMax如式(2)所示。

(5)得到的梯度G與閾值T進行比較,得到最終的圖像邊緣信息,如式(3)所示。

1.4 改進的模板匹配算法

圖像匹配是指把不同傳感器、不同時間、不同視角、不同成像等條件下得到的圖像進行比較,得到兩幅圖像之間的最佳匹配位置[11],圖像模板匹配流程如圖3 所示。標準圖即檢測系統(tǒng)中的標準電路板圖像,待測圖即檢測系統(tǒng)中待檢測電路板圖像,根據絕對誤差和算法(sum of absolute differences,SAD)來確定兩幅圖像的相似性。

圖3 圖像模板匹配流程圖

SAD 模板匹配算法的優(yōu)點在于原理簡單,更易于FPGA 硬件實現。但是對于背景復雜、光照變化大的情況,該算法會導致匹配率下降[12]。由于本文研究的電路板缺陷檢測系統(tǒng)在攝像頭采集圖像時光照變化較大,采用傳統(tǒng)的SAD 模板匹配算法可能會導致匹配率下降。針對上述問題,本文提出采用去均值法改進傳統(tǒng)SAD 模板匹配算法。

改進的SAD 模板匹配算法原理如下:將待檢測圖S和標準圖T分別去掉均值,即在絕對值差累加時減去平均值后再累加,改進后的SAD 算法如式(4)所示,此方式可以有效減小由于灰度變化明顯時帶來的影響,實現實時跟蹤檢測對比。

其中,待測圖S的大小為M×N;標準圖T的大小為P×Q;x=0,1,…,M-P+1;y=0,1,…,N-Q+1;為待測圖的平均值;為標準圖的平均值。

2 缺陷檢測系統(tǒng)總體設計

電路板缺陷檢測系統(tǒng)包括硬件部分和軟件部分,其中硬件部分包括照明模塊、電路板運動控制模塊、圖像采集模塊和圖像顯示模塊;軟件部分包括圖像預處理模塊、圖像緩存模塊以及缺陷檢測模塊,并控制硬件系統(tǒng)實現協(xié)調運行。系統(tǒng)結構框圖如圖4所示。

圖4 電路板缺陷檢測系統(tǒng)結構框圖

2.1 系統(tǒng)硬件設計

2.1.1 圖像采集模塊

攝像頭的選取對于采集到的圖像質量至關重要。本文選用互補金屬氧化物半導體(complementary metal oxide semiconductor,CMOS)圖像傳感器中的OV5640 圖像傳感器,其感光陣列達到2 592 ×1 944(即500 萬像素),內部集成了圖像處理的功能,同時支持發(fā)光二極管(light emitting diode,LED)補光、移動產業(yè)處理器接口(mobile industry processor interface,MIPI)輸出和數字視頻接口(digital video port,DVP)輸出選擇等功能,DVP 接口采用并口傳輸[13]。

OV5640 圖像傳感器的具體參數如表1 所示,通過串行攝像機控制總線協(xié)議[14]對攝像頭內部寄存器進行配置,進而實現對圖像的輸出。

表1 OV5640 圖像傳感器的相關參數

2.1.2 圖像顯示模塊

經過檢測后的電路板若存在缺陷,則要對存在缺陷的部分進行紅框標記。為了方便質檢人員能快速區(qū)分電路板是否存在缺陷且明確缺陷的位置,需要將紅框標記的帶有缺陷的電路板圖像顯示在顯示器上。本文采用高清多媒體(high definition multimedia interface,HDMI)接口輸出圖像[15],利用Verilog 語言調用FPGA 芯片中的IP 核來完成相關設計,從HDMI 接口輸出電路板檢測后的圖像信息。

2.2 系統(tǒng)軟件設計

系統(tǒng)的軟件設計包括圖像預處理模塊、圖像緩存模塊和缺陷檢測模塊,圖像預處理模塊又包括彩色圖像增強、去除絲印、灰度變換、中值濾波、邊緣檢測和腐蝕。系統(tǒng)的FPGA 實現邏輯框圖如圖5 所示。

圖5 系統(tǒng)軟件部分FPGA 實現邏輯框圖

2.2.1 圖像緩存模塊

本文選用2 個芯片型號為IS61WV51232BLL 的靜態(tài)隨機存取存儲器(static random-access memory,SRAM)。采用2 個SRAM 實現數據讀取的乒乓結構,根據幀數標記(flag)切換2 個Bank 分別存儲待檢測電路板的相鄰兩幀圖像信息,循環(huán)存儲。該方式節(jié)省數據讀取的時間,加快檢測速度,將標準電路板圖像信息存儲在FPGA 內部的隨機存取存儲器(random access memory,RAM)中。存儲器的乒乓操作示意圖如圖6 所示。

圖6 存儲器乒乓操作示意圖

2.2.2 缺陷檢測模塊

本文設計的缺陷檢測系統(tǒng)以SAD 模板匹配算法為核心,待檢測電路板圖像經過預處理后進入模板匹配模塊,與標準電路板圖像進行對比。待檢測電路板圖像信息從外部SRAM 中讀取,與存儲在FPGA 內部RAM 的標準電路板圖像信息進行匹配。若能與標準電路板圖像信息完全匹配則表示待檢測電路板無缺陷,若不能則輸出標準圖坐標,用紅框標記對應待測圖像的方塊,表明待檢測電路板此處有缺陷。

3 FPGA 硬件實現與結果分析

3.1 FPGA 硬件實現

3.1.1 彩色圖像拉伸算法的實現

本文將灰度拉伸算法應用在彩色圖片上:將RGB 圖像分解成R、G、B 3 個分量,然后對3 個分量分別進行灰度拉伸變換,最后將3 個分量的數據同時輸出合成RGB 彩色圖像。圖7 為FPGA 上實現彩色圖像增強的實驗結果。顯然,經過改進算法的圖像對比度更高,色彩更加清晰鮮明。

圖7 圖像增強算法在FPGA 上的實現結果

3.1.2 去除絲印算法的實現

本文所設計的去除絲印算法的主要目的是將干擾電路板匹配檢測的標識字樣去掉,加快圖像匹配的速度。由于去除絲印算法處理的圖像為彩色圖像,因此將圖像分為R、G、B 3個通道分別進行處理,去除絲印算法的實現過程如下。

(1)計算原始圖像的直方圖,采集1 920 ×1 080大小的原始圖像,灰度級共有256 個,并將結果存儲在256 ×21 位的存儲器中,然后統(tǒng)計出最多的像素值。

(2)由于字體表示通常為白色,因此將圖像中大于一定值的像素替換為最多的像素值。統(tǒng)計完成后灰度級L為244,圖8 所示為FPGA 上實現去除絲印算法的實驗結果。

圖8 去除絲印算法在FPGA 上的實現結果

3.1.3 邊緣檢測算法的實現

本文基于改進的8 算子Sobel 邊緣檢測算法其基本思想是基于流水線和并行處理,這種方式既可以快速完成圖像處理又能節(jié)省硬件資源占用率?；诟倪M的Sobel 邊緣檢測算法首先將8 個算子分別與窗口數據進行卷積,得到8 個卷積結果后進行對比,找到最大值與閾值進行對比,得到最終的圖像邊緣。由圖9 實驗結果可知,應用傳統(tǒng)的邊緣檢測算法進行檢測時圖像邊緣存在細節(jié)缺失且邊緣不連續(xù)的問題,而采用本文算法進行邊緣檢測的圖像邊緣細節(jié)更多,且未出現邊緣不連續(xù)現象。

圖9 Sobel 邊緣檢測算法檢測結果

3.1.4 模板匹配模塊算法的實現

基于改進的模板匹配算法在圖像經過邊緣檢測處理后,輸入模板匹配模塊,對待檢測電路板圖像進行匹配。首先將去均值的標準板圖像存儲在FPGA的內部RAM 中,待檢測圖像存儲在外部SRAM 中;將待檢測圖像求取均值與延遲一拍的圖像求取差值,得到待檢測圖像的去均值圖像,然后與去均值標準板圖像進行求差累加,判斷結果的最小值;最后輸出坐標,標記待檢測電路板缺陷處,模板大小選用25 ×25(像素)。具體實現流程如圖10 所示。

圖10 模板匹配算法FPGA 實現框圖

SAD 模板匹配算法缺陷標記實驗結果如圖11所示。由圖可知,缺焊、錯焊、漏錫類型的缺陷均被準確標記,實驗效果良好。

圖11 SAD 模板匹配算法FPGA 實現結果

3.2 實驗結果與分析

本文所設計的電路板缺陷檢測系統(tǒng)選用FPGA芯片為XC7A35TFGG484-2I,通過Vivado 2019.2 綜合器綜合后,得到系統(tǒng)資源使用綜合報告如圖12 所示。由圖可知板上資源占用較少,擴展空間較大。

圖12 缺陷檢測系統(tǒng)資源占用比例綜合報告圖

根據本文設計對系統(tǒng)硬件和軟件分析研究,對系統(tǒng)檢測的正確率和耗時進行線上測試,在良好的實驗環(huán)境下對1 000塊電路板樣品進行缺陷檢測。電路板缺陷主要以缺焊、錯焊、漏錫、短路和空洞為主,而缺焊、漏錫和錯焊占電路板缺陷的96%[16]。因此本文實驗主要針對以上3 種缺陷進行檢測,表2所示為樣本檢測結果。其中,漏檢率為電路板本身不合格但系統(tǒng)未檢測出缺陷從而被判定為合格電路板情況的概率;平均檢測精度為系統(tǒng)檢測正確電路板在所有樣本中的占比;檢測速度為單張150 mm×120 mm 電路板檢測完成所需要的時間。由表2 可知系統(tǒng)的漏檢率為0.30%,誤檢率為1.17%,因此平均檢測精度為98.53%,檢測單張電路板的時間為8.204 s。2020 年,文獻[17]設計了一款電路板表面缺陷檢測系統(tǒng),其漏檢率為1.79%,誤檢率為3.23%,單張電路板檢測時間為8.500 s。2022年,文獻[18]設計了一款印刷電路板缺陷檢測系統(tǒng),其漏檢率為0.95%,誤檢率為3.33%,平均精度為95.72%,單張電路板檢測時間為8.455 s。相較而言,本文系統(tǒng)設計在精度和速度上都有所提高。

4 結論

本文研究設計了一款以圖像處理為基礎、利用FPGA 實現對電路板缺陷準確、高速檢測的系統(tǒng)。其設計在傳統(tǒng)圖像增強、模板匹配、Sobel 邊緣檢測算法的基礎上進行改進,并提出了一種新的去除絲印算法。采用FPGA 作為硬件平臺,在Vivado 開發(fā)環(huán)境下實現Verilog HDL 硬件邏輯語言,下載到FPGA 中實現。實驗結果表明,本文提出的方法比采用傳統(tǒng)圖像處理方法進行檢測在準確度和檢測速度上均有提升。此外,本文設計系統(tǒng)選用芯片價格較低,整體設計靈活,造價在3 萬元以內,相比目前市面上的缺陷檢測系統(tǒng)更具市場優(yōu)勢。