趙慧娟，姜盼松，黃文聰

(青島科技大學(xué) 經(jīng)濟與管理學(xué)院，山東 青島 266061)

隨著制造業(yè)智能化和自動化的成熟與發(fā)展，電子產(chǎn)品的競爭愈演愈烈，消費者對電子產(chǎn)品的要求也越來越高。攝像頭作為電子產(chǎn)品中必不可少的部件，在電子產(chǎn)品中發(fā)揮重要作用。然而，即使是世界頂尖的攝像頭供應(yīng)商，仍然存在圖像傳感器次品率高的問題，其中不恰當?shù)馁|(zhì)量檢測方法是主要原因之一。不恰當?shù)臋z測方法無法完全檢測出不合格的圖像傳感器，使其摻雜于合格品中流向市場，最終導(dǎo)致產(chǎn)品返修甚至退貨，增加企業(yè)生產(chǎn)成本并影響企業(yè)信譽。因此，精確的檢測方法對于圖像傳感器檢測尤為關(guān)鍵，成為提升圖像傳感器合格率的重要影響因素。

目前，大量學(xué)者對質(zhì)量檢測方法的研究已在不同領(lǐng)域取得重大突破[1-6]，智能檢測成為質(zhì)量控制的重要手段。盧榮勝等[7]基于表面缺陷在線自動檢測的背景，運用自動光學(xué)檢測方法，借助自動光學(xué)系統(tǒng)集成中的關(guān)鍵技術(shù)最終實現(xiàn)質(zhì)量的控制。譚奇[8]針對攝像頭測試過程中像素壞點和區(qū)域陰影的問題，采用FT光學(xué)測試將問題找出以達到提升產(chǎn)品質(zhì)量的目的。於文苑等[9]認為圖像識別技術(shù)應(yīng)更多地滿足個性化需求，圖像處理工作逐漸從二維圖像演變到三維圖像,甚至向多維度方向發(fā)展。這種三維圖像處理更能反映出產(chǎn)品特性，檢測結(jié)果更加準確。陳婧[10]通過實驗對比分區(qū)檢測和全面檢測，分區(qū)檢測可以避免像素檢測的運行速度問題，實現(xiàn)小區(qū)域質(zhì)量問題檢測。范宏[11]提出自適應(yīng)的“十字交叉法”對待檢品進行定位，在特征識別方面選用Haar-like特征配合AdaBoost分類器對待檢品進行分類，但分區(qū)檢測和“十字交叉法”這2種方法對于產(chǎn)品特征提取并不全面，因此檢測結(jié)果的可信度不高。

目前，學(xué)者在質(zhì)量控制方法、圖像識別方面的研究為本文研究提供借鑒，但現(xiàn)有研究更多地從技術(shù)角度改進質(zhì)量檢測環(huán)節(jié)，并未采用恰當?shù)臋z測方法。此外，圖像識別技術(shù)應(yīng)用于圖像傳感器的研究較少，該領(lǐng)域仍有較大的發(fā)展空間。鑒于此，本文將圖像識別應(yīng)用于攝像頭圖像傳感器質(zhì)量檢測環(huán)節(jié)，以L公司手機攝像頭質(zhì)量檢測為例，分析其Warpage Test中存在的不足，運用圖像識別算法重新定義，設(shè)計了新的Warpage Test檢測方法，通過Matlab軟件對算法效果進行仿真測試，以期新的檢測方法在提高檢測結(jié)果準確率方面有一定效果。

1 圖像質(zhì)量檢測現(xiàn)狀分析

1.1 手機攝像頭的生產(chǎn)工藝流程

圖像傳感器是手機攝像頭中最為重要的一部分，決定了手機攝像頭的性能高低，其裝配質(zhì)量很大程度上決定整個手機攝像頭的質(zhì)量。所研究案例的生產(chǎn)流程圖如圖1所示。

圖1 手機攝像頭生產(chǎn)工藝流程圖Figure 1 Mobile camera production process flow chart of L

1.2 圖像質(zhì)量檢測現(xiàn)狀

本文所研究案例為H型號手機攝像頭，一次良品通過率僅為80%，為滿足客戶要求的95%良品通過率，需對產(chǎn)品質(zhì)量影響較大的工序，進行綜合改進，以提升產(chǎn)品一次良品通過率，達成質(zhì)量目標，降低制造故障成本。

按現(xiàn)有質(zhì)量控制體系要求，每班次每工序每設(shè)備第一批次生產(chǎn)時，試生產(chǎn)出一定數(shù)量產(chǎn)品后，停止稼動設(shè)備，隨機抽取3個產(chǎn)品進行質(zhì)量檢測，若3個隨機產(chǎn)品均為合格則該班次該工序該設(shè)備可以進行批量生產(chǎn)；若3個產(chǎn)品中存在不合格品，則對設(shè)備進行調(diào)試，再試生產(chǎn)一定數(shù)量產(chǎn)品后，再次進行隨機抽取3個產(chǎn)品進行質(zhì)量檢測。直至隨機抽取3個產(chǎn)品均為合格品為止。質(zhì)量檢測流程如圖2所示。

圖2 質(zhì)量檢測流程Figure 2 Quality testing process of L

本文主要研究的質(zhì)量檢測項目為Warpage Test，即測量圖像傳感器表面平坦度。手機攝像頭生產(chǎn)過程中，若圖像傳感器表面平坦度超過5 μm將對其成像感光性能產(chǎn)生影響，因此生產(chǎn)工序應(yīng)保證其表面平坦度高度差不超過5 μm。目前借助基恩士VR3000 3D輪廓測量儀，獲取圖像傳感器的表面圖像，并借助3D輪廓測量儀配套分析軟件計算圖像傳感器表面高度差，具體分析步驟如下。

1) 選取圖像傳感器的感光區(qū)域，以此作為基準面，自動計算出基準面的平均高度，作為整個區(qū)域的0度基準線，并設(shè)置顯示高度顏色信息，示意圖見圖3。

圖3 現(xiàn)有測量方法步驟1示意圖Figure 3 Schematic diagram of step 1 of the existing

2) 在選取區(qū)域內(nèi)自左上至右下、自左下至右上分別繪制2條直線，線寬為30，即同時繪制均寬的30條直線，得出30條直線所經(jīng)過區(qū)域的高度線，算取平均值作為自左上至右下、自左下至右上所繪制直線的高度線，見圖4。

圖4 現(xiàn)有測量方法步驟2示意圖Figure 4 Schematic diagram of step 2 of the existing measurement method

3) 手動選取繪制直線的中點位置作為參考點，依次手動選取繪制直線的起點、1/4點、3/4點和終點，最終軟件可自動得出參考點與后4點之間的高度差(見圖5中[1]、[2]、[3]、[4])。另一條繪制直線重復(fù)操作。

圖5 現(xiàn)有測量方法步驟3示意圖Figure 5 Schematic diagram of step 3 of the existing measurement method

4) 作業(yè)者查看最終高度差數(shù)據(jù)，其最大值不超過5 μm即判定為良品。

1.3 現(xiàn)有圖像質(zhì)量檢測存在問題

通過與現(xiàn)場作業(yè)者、質(zhì)量監(jiān)管者等溝通，運用頭腦風(fēng)暴等方法總結(jié)出現(xiàn)有測量方法的諸多不足，并基于人機料法環(huán)測—魚骨圖分析法梳理所存在的問題，見圖6。

圖6 現(xiàn)有測量方法不足魚骨圖Figure 6 The existing measurement methods are insufficient for fishbone diagram

1) 現(xiàn)有圖像測量方法不夠科學(xué)，人為主觀性強。圖像識別以感光區(qū)域為主，缺少科學(xué)提取方法。現(xiàn)有檢測采用手動劃線、設(shè)中心點等獲取檢測區(qū)間，不能全面準確反映整體平面圖像特征，容易漏檢。

2) 檢測環(huán)節(jié)不夠科學(xué)。因現(xiàn)有生產(chǎn)工序限制，基座安裝工序無法在保持圖像傳感器表面平坦度不變的前提下直接測試，僅在貼片工序結(jié)束后進行的Warpage Test環(huán)節(jié)，無法保證檢測質(zhì)量的可靠性。

2 基于圖像識別算法的Warpage Test方法改善

針對現(xiàn)有測量方法中存在的不足，在對原始圖像灰度處理后，采用Laplacian微分算子進行圖像邊緣識別檢測，構(gòu)建HSL色彩模型，借助Matlab軟件對圖像特征信息智能提取，最后與標準數(shù)據(jù)進行對比檢測，以實現(xiàn)測量方法的智能化、標準化、精準化，圖像傳感器質(zhì)量檢測流程如圖7所示。

2.1 基于Laplacian算子的圖像邊緣識別

Laplacian算子是最簡單的各向同性微分算子，一個二維圖像函數(shù)的Laplacian變換是各向同性的二階導(dǎo)數(shù)，定義為

圖7 圖像傳感器質(zhì)量檢測流程Figure 7 Quality detection process of image sensor

為應(yīng)用于數(shù)字圖像處理，該方程可表示為離散形式：

Matlab中Laplacian算子邊緣檢測可依靠edge函數(shù)[12]實現(xiàn)，其功能為輸入一個二值化圖像，輸出一個同等大小的二值化圖像，其中函數(shù)檢測到的邊緣為1，其他地方為0，分析過程如下：

1) imread函數(shù)讀取采集到的原始圖像，并對其進行灰度處理；

2) 運行edge函數(shù)，依靠Laplacian算子對灰度處理后的圖像進行邊緣檢測，并剔除干擾點；

3) 對上一步處理后的圖像邊緣進行縱向、橫向膨脹，并剔除干擾點，識別出主要成像區(qū)域與成像區(qū)域邊緣；

4) 對圖像進行黑白色轉(zhuǎn)換，獲取主要成像區(qū)域的像素坐標點；

5) 通過像素坐標點對原始圖像進行裁剪，得到主要成像區(qū)域圖像。

以實測圖像為例，其各步驟運行結(jié)果圖如圖8所示。

2.2 采集圖像的色彩模式轉(zhuǎn)換

圖像識別過程的第2步即為色彩模型的數(shù)字化。RGB色彩模型是目前運用最廣的顏色系統(tǒng)之一，但3個顏色變量之間的變化規(guī)律是極其復(fù)雜的。為使圖像采集變量更可靠簡便，將RGB色彩模型轉(zhuǎn)換為HSL色彩模型。HSL色彩模型中采用H、S、L分別表示顏色的色相、飽和度和亮度，顏色變換只需改變H分量，簡單易行。

RGB與HSL的數(shù)值轉(zhuǎn)換[13]過程如下。r、g、b分別為RGB色彩模型中R、G、B顏色分量，且r,g,b∈[0,1]；h、s、l分別為HSL色彩模型中色相、飽和度、亮度3個分量，且h∈[0,360]，s,l∈[0,1]。max、min 為某像素點r、g、b的中最大值和最小值，則(r,g,b)到 (h,s,l)的轉(zhuǎn)換公式如下。

圖8 圖像邊緣檢測過程圖Figure 8 Image edge detection process diagram

通過對主要測量區(qū)域圖像進行RGB色彩模型轉(zhuǎn)HSL色彩模型，保存圖像色彩數(shù)據(jù)。

2.3 采集圖像的特征信息智能提取

3D輪廓測量儀可得出測量區(qū)域內(nèi)的高度最大值heightmax、最小值 heightmin，其中用紅色表示高度較高區(qū)域，深藍色表示高度較低區(qū)域。對于整個平面的高度特征信息提取則只需要找出圖像數(shù)字化處理后的HSL色彩模型矩陣[H,S,L]中最大色彩數(shù)值(紅色數(shù)值)、最小色彩數(shù)值(藍色數(shù)值)，兩者之間的數(shù)值差距即為整個平面內(nèi)的高度特征信息差距。故整個測量區(qū)域的高度矩陣分量值為

對圖像傳感器測量區(qū)域進行高度特征信息提取，獲得平面高度矩陣后即可將原二維平面圖像轉(zhuǎn)換為三維立體圖像，并利用統(tǒng)計原理對平面高度特征信息進行數(shù)據(jù)分析。以實測圖像為例，對比效果見圖9。

2.4 采集圖像的特征信息數(shù)據(jù)分析

提取出采集圖像的主要測量區(qū)域的高度信息后，對高度信息進行數(shù)據(jù)分析，運用數(shù)據(jù)統(tǒng)計原理中的標準差工具，獲取測量區(qū)域的平坦度評價。其計算公式為

圖9 二維、三維圖像對比效果圖Figure 9 Comparison diagram of 2d and 3d image effect

n、m分 別為圖像主要成像區(qū)域縱向、橫向像素點個數(shù)；為圖像主要成像區(qū)域高度信息的平均值。

3 實例分析

3.1 產(chǎn)品實測實驗設(shè)置

為求出改善后方法測量得到的高度信息的閾值，以確定產(chǎn)品是否為良品，并找出對圖像傳感器表面平坦度影響較大的工序，特設(shè)置產(chǎn)品實測實驗。

此實驗樣本數(shù)量為50，對產(chǎn)品進行編號后分組，因基座安裝工序后對產(chǎn)品Warpage Test需將產(chǎn)品圖像傳感器表面的基座揭掉，整個產(chǎn)品將報廢，無法流至下一工序生產(chǎn)。參考已有生產(chǎn)資料，得到現(xiàn)有生產(chǎn)工序?qū)D像傳感器平坦度影響可能較大的工序為假硬化、加熱硬化、基座安裝、校準粘合、焊錫、測試，故各小組測量設(shè)置如表1所示。前4組實驗測試為相同產(chǎn)品在不同工序后的Warpage Test，后3組實驗測試為不同產(chǎn)品分別在不同工序后的Warpage Test。

前期生產(chǎn)過程中因發(fā)現(xiàn)圖像傳感器表面平坦度不良而保留的9個產(chǎn)品為參照。

表1 實測實驗設(shè)置Table 1 Experimental settings

3.2 產(chǎn)品實測實驗數(shù)據(jù)分析

采用改善后的Warpage Test方法，對各實驗組產(chǎn)品進行測量。其中，22號、39號、40號產(chǎn)品因后續(xù)生產(chǎn)中發(fā)生物理性能變化導(dǎo)致產(chǎn)品不良，無法流至下一工序生產(chǎn)，故測試數(shù)據(jù)中缺失部分22號、39號、40號的數(shù)據(jù)。此次實驗測試中共獲得133組實驗數(shù)據(jù)。

3.2.1 改善方法中高度閾值設(shè)定

選取第1組實驗產(chǎn)品測量結(jié)果，因其為壓焊工序結(jié)束后對產(chǎn)品進行Warpage Test，參考現(xiàn)有生產(chǎn)資料，其測量結(jié)果與正常生產(chǎn)中貼片后的Warpage Test測量結(jié)果無差異，故其可作為正常生產(chǎn)中Warpage Test閾值設(shè)定的參考數(shù)據(jù)。獲得第1組實驗產(chǎn)品的測量結(jié)果，即測量區(qū)域高度矩陣的標準差，樣本數(shù)據(jù)μ=1.852 4、σ=0.314 3，如表2所示。

表2 第1組實驗產(chǎn)品測量結(jié)果Table 2 Measurement results of the first group of experimental products

運用Matlab軟件中 Kolmogorov-Smirnov對該組數(shù)據(jù)進行分布檢驗，驗證其服從正態(tài)分布。其散點圖、直方圖如圖10和圖11所示。

因圖像傳感器表面平坦度具有望小特性，其數(shù)據(jù)越小越好，最小值為0。參考現(xiàn)已有不良品測量結(jié)果(表3)，最小值為2.504 14，故閾值設(shè)定服從2σ原則，測量結(jié)果良品區(qū)間為[0,μ+2σ]，即 [0,2.481]，閾值設(shè)定為2.481，正常生產(chǎn)情況下良品率為97.7%。

3.2.2 影響圖像傳感器表面平坦度工序的確定

基于生產(chǎn)中發(fā)生過貼片工序Warpage Test檢驗為良品，但產(chǎn)品最終裝配完成后測試環(huán)節(jié)卻發(fā)現(xiàn)產(chǎn)品因圖像傳感器表面平坦度發(fā)生變化導(dǎo)致整個產(chǎn)品不良的品質(zhì)事故。其不良品即實驗中的51-59號。故為了徹底避免此類品質(zhì)事故的再次發(fā)生，則需生產(chǎn)技術(shù)人員確定Die Bonding工序后的各個工序中對圖像傳感器表面平坦度影響較大的工序，以此來縮小點檢范圍，找出對圖像傳感器表面平坦度影響的根本原因。

圖10 樣本數(shù)據(jù)散點圖Figure 10 Scatter diagram of sample data

在對Warpage Test測量方法進行改善后，可以對圖像傳感器的整個平面進行高度信息提取和數(shù)據(jù)分析，即可以找出對圖像傳感器表面平坦度影響較大的工序。對比第1組與其余各組在經(jīng)過各個工序裝配前后的Warpage Test 測量結(jié)果，并將測量結(jié)果進行差異顯著性檢驗，結(jié)果如表4所示。

圖11 樣本數(shù)據(jù)直方圖Figure 11 Sample data histogram

表3 不良品測量結(jié)果Table 3 Measurement results of defective products

表4 實測結(jié)果配對t 檢驗Table 4 Paired t-test

通過各組配對t檢驗反映各配對組間的差異顯著性。檢驗結(jié)果表明：第1組與第4組存在極顯著差異(p=0.003＜0.01)，第1組與第2組、第5組、第6組和第7組均存在顯著性差異(p=0.031＜0.05，p=0.037＜0.05，p=0.019＜0.05，p=0.040＜0.05)，而第1組與第3組無顯著性差異(p=0.080＞0.05)。

通過后6組測量結(jié)果與第1組測量結(jié)果進行對比，可得出以下實驗結(jié)論。

1) 第1組與第2、3、4組測量結(jié)果對比標準差分別為：0.173、0.126、0.305。以第1組與第2、4組測量結(jié)果為例，其對比圖如圖12和圖13所示。即在同一產(chǎn)品經(jīng)過假硬化、加熱硬化、基座安裝工序處理后，假硬化、加熱硬化工序?qū)D像傳感器的表面平坦度影響相對較小，基座開裝工序后圖像傳感器的表面平坦度開始發(fā)生變化。

圖12 第1組與第2組測量結(jié)果對比Figure 12 Comparison of measurement results between the first group and the second group

圖13 第1組與第4組測量結(jié)果對比Figure 13 Comparison of measurement results between the first group and the fourth group

2) 第1組與第2組測量結(jié)果對比，第2組數(shù)據(jù)普遍小于第1組數(shù)據(jù)，即同一產(chǎn)品在經(jīng)過假硬化工序后，圖像傳感器的表面平坦度逐漸變平穩(wěn)，說明假硬化工序有助于圖像傳感器的表面趨于平坦。因假硬化工序為對產(chǎn)品進行短暫低溫加熱，對產(chǎn)品其他性能不產(chǎn)生影響，故為使圖像傳感器的表面趨于平坦，可在個別對圖像傳感器表面平坦度影響較大的工序后增加假硬化工序。

3) 第1組與第4、5、6、7組測量結(jié)果對比標準差分別為：0.305、0.382、0.390、0.515。即產(chǎn)品在經(jīng)過基座安裝、校準粘合、焊錫、測試工序后圖像傳感器表面平坦度與最初表面平坦度均發(fā)生了較大變化。故生產(chǎn)技術(shù)人員可重點檢驗開始變化的工序，即基座安裝工序。

3.3 改善方法與原測量方法效果分析

改善方法借助計算機對圖像的智能識別，具有操作自動化、低誤差、低失誤率等優(yōu)點。其與原測量方法進行比較，改善后優(yōu)勢總結(jié)如下。

1) 無需作業(yè)員參與，程序算法可自動進行圖像識別、分析處理、輸出結(jié)果等過程，完全避免了因作業(yè)者操作失誤而出現(xiàn)的質(zhì)量控制問題，也完全避免了檢測過程中人為主觀因素的干擾。

2) 相較于原測量方法，改善方法可輸出整個平面的高度特征信息，而不是僅僅局限于手動繪制直線區(qū)域，能夠更全面地反映出整個圖像傳感器表面平坦度特征。

3) 大大縮短了整個測試過程時間。整個分析過程可實現(xiàn)計算機自運行，整個Warpage Test用時主要取決于3D輪廓測量儀采集圖像的時間，測試時間由5.1 min縮短至2 min。

4) 改善后對每一個工序后的產(chǎn)品進行Warpage Test，通過多組數(shù)據(jù)對表面平坦度進行縱向?qū)Ρ确治觯瑥浹a改善前Warpage Test測量方法的不足。

4 結(jié)束語

本文分析現(xiàn)有測量方法的的不足，基于Laplacian算子圖像識別技術(shù)，并借助Matlab軟件，建立圖像識別模型，實現(xiàn)圖像采集、圖像邊緣智能識別、圖像特征信息智能提取分析功能，通過實例及差異顯著性檢驗驗證了該模型的有效性和準確性。本文研究成果對于類似領(lǐng)域的質(zhì)量檢測具有一定參考價值。但本文中提出的圖像識別算法目前為一個獨立的檢測程序，仍需作業(yè)者去操作3D輪廓測量儀對產(chǎn)品圖像進行采集，下一步改進方向為檢測程序與圖像采集程序相連接以實現(xiàn)整個檢測環(huán)節(jié)智能化。