AZAZ Khan, 江鵬飛, 徐婉晴, 李金屏
(濟(jì)南大學(xué) a. 信息科學(xué)與工程學(xué)院, b. 山東省網(wǎng)絡(luò)環(huán)境智能計(jì)算技術(shù)重點(diǎn)實(shí)驗(yàn)室,c.“信息處理與認(rèn)知計(jì)算”山東省高校重點(diǎn)實(shí)驗(yàn)室,山東 濟(jì)南 250022)
目前傳統(tǒng)的測量方法是利用量規(guī)、 電子夾具等工具進(jìn)行檢測,這些方法具有勞動密集型和耗時(shí)長的特點(diǎn),并且對工件的測量存在誤差和延遲。許多行業(yè)采用計(jì)算機(jī)視覺技術(shù)對工件進(jìn)行尺寸測量以簡化流程,應(yīng)用領(lǐng)域涵蓋建筑、汽車、 物流、 電子等行業(yè)[1-2]。
針對各種工業(yè)應(yīng)用,科研人員提出了許多基于計(jì)算機(jī)視覺的物體尺寸測量方法,主要分為模式識別方法與深度學(xué)習(xí)方法。模式識別方法又可以根據(jù)數(shù)據(jù)來源分為以下3類: 1)三維點(diǎn)云與模式識別相結(jié)合[3-4],即利用三維點(diǎn)云提取物體三維信息坐標(biāo),然后結(jié)合模式識別處理誤差計(jì)算物體尺寸,例如,文獻(xiàn)[3]中設(shè)計(jì)了一種軸類零件尺寸測量系統(tǒng),包括圖像采集、圖像去噪和邊緣檢測,利用Canny算子提取工件邊緣,但是該方法存在精度過低和目標(biāo)檢測難以定位的問題。 2)基于線結(jié)構(gòu)光視覺傳感器與模式識別相結(jié)合[5],例如文獻(xiàn)[5]中利用3個(gè)激光線光源和一臺相機(jī)采集圖像,通過擬合橢圓測量圓鋼的直徑、圓度和直線度,該方法解決了目標(biāo)定位問題,但依然存在較大的測量誤差。 3)基于雙目相機(jī)與傳統(tǒng)模式識別相結(jié)合[6-8],即利用雙目相機(jī)獲取圖像數(shù)據(jù)并進(jìn)行分析處理,測量工件的尺寸,例如文獻(xiàn)[8]中提出了一種基于局部線角輪廓分割的平面零件測量方法,提取出零件的亞像素輪廓,能夠測量復(fù)雜零件的多種尺寸。
深度學(xué)習(xí)方法利用深度學(xué)習(xí)定位物體位置,然后利用激光雷達(dá)計(jì)算物體尺寸,例如文獻(xiàn)[9]中提出了一種線結(jié)構(gòu)光視覺系統(tǒng)來測量盒子的參數(shù)。采用激光三角剖分和深度學(xué)習(xí)方法,利用裁剪-整體嵌套邊緣檢測模型和Hough變換關(guān)鍵點(diǎn)計(jì)算物體尺寸,雖然精度得到了提升,但是存在硬件成本過高的問題。
上述研究是針對大數(shù)據(jù)集和特殊設(shè)備進(jìn)行測量的特定情況,但是,工業(yè)測量亟需低成本且易于實(shí)現(xiàn)的方法來解決尺寸測量問題。為了實(shí)現(xiàn)低成本、高精確度和快速處理的工件測量目標(biāo),本文中提出了一種雙相機(jī)標(biāo)定的物體尺寸測量方法(簡稱雙機(jī)位標(biāo)定法),包括圖像采集、圖像預(yù)處理、目標(biāo)定位、邊緣檢測和尺寸測量5個(gè)步驟。研究內(nèi)容包括:利用低分辨率相機(jī),簡化檢測過程中的計(jì)算量,提高檢測效率;新增輔助攝像頭實(shí)時(shí)更新測量距離,解決目標(biāo)相對相機(jī)位置發(fā)生變化的問題;由于邊緣檢測精度主要受限于光照環(huán)境影響,因此設(shè)計(jì)了環(huán)形照明模塊持續(xù)補(bǔ)光,確保工件邊緣的穩(wěn)定性,并且使用亞像素雙線性插值方法[10]將圖像的大小增大至原圖像的1.7倍。高分辨率相機(jī)價(jià)格昂貴,為了滿足測量精度要求,采用低成本的插值方法來提高圖像分辨率;統(tǒng)計(jì)工件對應(yīng)寬度和長度之間的像素,將像素?cái)?shù)據(jù)代入真實(shí)長度比例系數(shù)模板中,以確定具體物體的尺寸。
圖1 相機(jī)俯視拍攝示意圖
為了提取物體的精細(xì)邊緣,使用圖像增強(qiáng)方法,在圖像的低亮度區(qū)域和高亮度區(qū)域使用灰度級拉伸1%的數(shù)據(jù)飽和度來突出物體的關(guān)鍵信息。同時(shí),將高斯(Gaussian)平滑(模糊)方法(一種二維卷積算子,通過高斯函數(shù)與圖像卷積變換實(shí)現(xiàn))用于模糊圖像以減少噪聲。使用高斯分布[11]的二維圖像可以獲得合適的核,核函數(shù)G(x,y)公式為
(1)
式中:x、y為平面直角坐標(biāo);σ為高斯分布的標(biāo)準(zhǔn)差。在x、y方向上執(zhí)行卷積,可以使用標(biāo)準(zhǔn)差來調(diào)整平滑度,更大的標(biāo)準(zhǔn)差需要較大的卷積核。
加速魯棒特征(speeded-up robust features,SURF)[12]是一種新的特征描述符和檢測器,主要用于識別和圖像分類等任務(wù)。其特征檢測基于Hessian矩陣,特征描述基于Haar小波。該算法分為3個(gè)關(guān)鍵步驟,即特征點(diǎn)檢測、局部特征描述和特征點(diǎn)匹配。圖像特征匹配的任務(wù)可以通過SURF來完成,SURF首先檢測2幅圖像中的特征,然后匹配這些特征,從而成功地完成模板匹配任務(wù)。
Canny邊緣檢測算法是一種廣泛用于邊緣特征提取任務(wù)的新方法,該算法包含4個(gè)步驟。
步驟1高斯濾波以去除噪聲和虛假邊緣。采用卷積核大小為(2k+1)×(2k+1)的卷積運(yùn)算。高斯濾波器的計(jì)算公式為
(2)
式中:Hij為高斯濾波器;i、j分別為圖像像素橫坐標(biāo)、 縱坐標(biāo);k為內(nèi)核大小。大卷積核濾波器具有較好的降噪性能。大多數(shù)情況下,尺寸為5×5卷積內(nèi)核是最佳選擇。
步驟2通過查找水平和垂直方向的一階導(dǎo)數(shù),使用Sobel核計(jì)算梯度,計(jì)算公式為
(3)
θ=arctan 2(Gx,Gy),
(4)
式中:G為像素位置的梯度;Gx、Gy分別為像素位置x、y方向的梯度;θ為梯度方向。使用式(3)、 (4)可以查找單個(gè)像素的邊緣梯度和方向,在水平、垂直和斜對角線方向上獲得最終邊緣方向。
步驟3使用非極大值抑制方法移除不屬于邊緣的像素。在梯度方向上查找其相鄰像素的局部最大值。如果像素具有局部最大值,則將它視為邊緣,否則將像素填充為零。
步驟4滯后閾值化, 確定邊緣。 若某一像素位置的梯度大于高閾值, 則該位置被保留。 若某一像素位置的梯度小于低閾值, 則該位置被刪除。 若某一像素位置的梯度處于高閾值與低閾值之間, 則該像素在連接到一個(gè)大于高閾值像素時(shí)被保留。
雙機(jī)位標(biāo)定法基于相機(jī)標(biāo)定實(shí)現(xiàn)工業(yè)尺寸測量。圖2為測量方法流程圖。
圖2 測量方法流程圖
使用一個(gè)1 200萬像素的手機(jī)攝像頭,圖像尺寸為4 032像素×3 024像素。獲取參考點(diǎn)物體和待測工件同時(shí)出現(xiàn)在一幀內(nèi)的場景圖像,然后在初始位置對系統(tǒng)進(jìn)行標(biāo)定。
由于圖像采集時(shí)存在光照影響和其他噪聲,圖像質(zhì)量可能會受到影響,因此需要對圖像進(jìn)行處理。首先,將圖像進(jìn)行灰度化;然后,在高強(qiáng)度和低強(qiáng)度下進(jìn)行1%數(shù)據(jù)飽和度的灰度拉伸;再后,通過亞像素插值來增大圖像的尺寸,提高邊緣檢測的精度,利用高斯模糊濾波平滑去除隨機(jī)噪聲;最后,利用形態(tài)學(xué)方法填充邊緣之間的空隙。
應(yīng)用基于特征的目標(biāo)檢測技術(shù)(模板匹配[13])進(jìn)行待檢目標(biāo)的定位。模板匹配是一種基于特征點(diǎn)匹配的快速魯棒的模板匹配算法,采用隨機(jī)抽樣一致(random sample consensus, RANSAC)來估計(jì)目標(biāo)位置的信息[14]。SURF特征點(diǎn)匹配技術(shù)是許多計(jì)算機(jī)視覺任務(wù),例如目標(biāo)檢測、圖像配準(zhǔn)和三維重建的魯棒性算法。
邊緣檢測是計(jì)算機(jī)視覺中的一項(xiàng)基本技術(shù),用于檢測圖像中對象的邊界。 邊緣檢測的準(zhǔn)確性對于檢測物體的精細(xì)邊界至關(guān)重要,這是該領(lǐng)域的一個(gè)具有挑戰(zhàn)性的問題。 本文中將重點(diǎn)介紹使用Canny邊緣檢測算法來提取對象的邊界。
2.5.1 相機(jī)校準(zhǔn)方法
使用一個(gè)尺寸已知的標(biāo)準(zhǔn)對象測量其他工件的尺寸。首先需要建立像素和真實(shí)單位(mm)之間的對應(yīng)關(guān)系;然后,利用這些信息將設(shè)備進(jìn)行校準(zhǔn),以測量工件相對于相機(jī)移動時(shí)的尺寸。標(biāo)準(zhǔn)對象類似于數(shù)字圖像中的比例尺,它是一個(gè)以毫米為單位的標(biāo)準(zhǔn)尺寸的物品。
為了對每個(gè)對象進(jìn)行標(biāo)記并確定其區(qū)域范圍,需要提取每個(gè)對象(參考對象和工件)的邊界。圖3為基于像素與真實(shí)長度比例系數(shù)測量方法示意圖。將該測量值與參考對象的原始長度進(jìn)行比較,以獲得像素與真實(shí)長度之間的比例系數(shù)。圖4為基于標(biāo)準(zhǔn)件的尺寸測量方法流程圖。獲取參考對象兩側(cè)任意兩點(diǎn)之間的距離單位為像素,計(jì)算參考對象像素(reference object pixel,ROP)之間的像素距離。
圖3 基于像素比例系數(shù)測量方法示意圖
圖4 基于標(biāo)準(zhǔn)件的尺寸測量方法流程圖
在獲得圖像中每個(gè)像素對應(yīng)實(shí)際長度的比例系數(shù)后,需要對系統(tǒng)進(jìn)行校準(zhǔn),并進(jìn)一步使用這個(gè)校準(zhǔn)值來計(jì)算物體相對于相機(jī)的位置。該方法將像素的長度轉(zhuǎn)換為真實(shí)長度,計(jì)算公式為
(5)
(6)
式中:R為像素與真實(shí)長度比例系數(shù);ROP為標(biāo)準(zhǔn)件像素長度;ROL為標(biāo)準(zhǔn)件實(shí)際長度;TOL為實(shí)際測量結(jié)果;TOP為測量目標(biāo)像素長度。
受成像模型和三角形相似性方法[15]的啟發(fā),只要獲得從物體到相機(jī)的焦距,就可以測量出從相機(jī)到物體的距離以及物體的真實(shí)尺寸,因此,只要物體在固定點(diǎn)位置被校準(zhǔn),就可以計(jì)算物體在其他不同位置的尺寸。此外,可以在校準(zhǔn)時(shí)測量物體和相機(jī)之間的距離。圖5為自動更新測量距離的標(biāo)定方法示意圖。通過增加第2臺相機(jī)來確保測量距離的準(zhǔn)確性,當(dāng)工件沿著工作距離移動時(shí),利用第2臺相機(jī)讀取工件位于標(biāo)尺的刻度,從而正確計(jì)算出物體的測量距離,不必手動更新。第2臺相機(jī)將記錄物體的新位置,并將信息發(fā)送到主系統(tǒng),主系統(tǒng)將利用它來確定物體的尺寸。計(jì)算位置D0處物體的像素,其寬度W也是已知的,ΔD表示物體的位移,使用三角形相似性的式(7)來計(jì)算位置D0處的焦距。
D—物體與相機(jī)鏡頭之間的距離;D0、D1—物體移動前后的位置; ΔD—物體的位移; P0、 P1—物體移動前后的像素。圖5 自動更新測量距離標(biāo)定方法示意圖
(7)
式中:F為焦距;D為物體和相機(jī)鏡頭之間的距離;P為物體在位置D0的像素(圖像上的尺寸,單位為像素)。
然后,將目標(biāo)移動到D1位置,并計(jì)算目標(biāo)在D1位置處的像素P1,通過式(8)可計(jì)算出新位置處目標(biāo)的寬度。當(dāng)3個(gè)參數(shù)都已知時(shí)就可以計(jì)算D、W、P、F等其他參數(shù)。
(8)
綜上所述,首先基于參考對象獲得圖像中每個(gè)像素對應(yīng)實(shí)際長度的比例系數(shù),然后利用該比例系數(shù)對系統(tǒng)進(jìn)行校準(zhǔn),以獲得不同位置的測量尺寸。
2.5.2 光照變化對工件邊緣檢測的影響
工件的邊緣檢測對準(zhǔn)確的尺寸測量非常重要。測量結(jié)果的精確度取決于邊緣檢測的效果,而邊緣檢測對于實(shí)驗(yàn)環(huán)境中的光照非常敏感。發(fā)光二極管(LED)照明環(huán)是一種標(biāo)準(zhǔn)的照明源,可以消除檢測環(huán)境中的不均勻照明效應(yīng)。由于檢測空間是封閉且處于控制之下,因此必須保持合適的照明條件。一個(gè)由60個(gè)LED組成的環(huán)形燈排列成一個(gè)圓,固定在相機(jī)的鏡頭上。照明模塊如圖6所示。環(huán)形燈中的LED燈的數(shù)量和圓的半徑取決于待檢工件的大小。隨著照明強(qiáng)度的變化,所有數(shù)字圖像的像素灰度值都會相應(yīng)地改變,因此,照明條件對于確定物體的邊界至關(guān)重要,既要避免照明過度,又要防止照明不足的情況。
圖6 照明模塊示意圖
利用雙機(jī)位標(biāo)定法對特定工件進(jìn)行測量。測試的工件是2張卡片,因?yàn)樗鼈兙哂袕?fù)雜的邊緣,且都不是完美的形狀,所以實(shí)驗(yàn)結(jié)果能夠體現(xiàn)出雙機(jī)位標(biāo)定法是否可以針對復(fù)雜的工件給出精確的尺寸估計(jì)。其中一張方形卡片,邊長約為39.5 mm;另一張為矩形卡片,長度、寬度分別約為74、 57 mm。
完成圖像采集和圖像處理后, 利用SURF特征在圖像中定位工件位置。 當(dāng)圖像中包含多個(gè)其他對象時(shí), 特定目標(biāo)的定位就十分關(guān)鍵。 圖7為基于SURF特征點(diǎn)的目標(biāo)檢測過程示意圖。 圖7(a)為相機(jī)距離待測卡片約28 cm拍攝的原始圖像; 圖7(b)為在整個(gè)圖像中定位目標(biāo)的模板圖像; 圖7(c)為視野域與模板對應(yīng)的相同特征, 左側(cè)為視野域圖像, 右側(cè)為模板圖像; 利用匹配好的特征對實(shí)現(xiàn)待檢目標(biāo)的定位, 如圖7(d)所示。
檢測到目標(biāo)后,使用高斯函數(shù)對原圖進(jìn)行去噪, 過程如圖8所示。 圖8(a)為輸入原始圖像; 圖8(b)為高斯平滑處理后的圖像,需要進(jìn)行邊緣檢測以提取2張卡片的邊界; 圖8(c)為2張卡片的邊緣,利用該邊緣信息,通過像素對應(yīng)實(shí)際長度的比例系數(shù)可以測量卡片的實(shí)際邊緣之間的尺寸; 圖8(d)為卡片的測量結(jié)果。
方形卡片是標(biāo)準(zhǔn)件,其尺寸已知。為了獲得參考對象的像素?cái)?shù),需要使用式(5)、(6)來測量第2個(gè)對象的尺寸。本實(shí)驗(yàn)中相機(jī)與待檢物體在豎直方向上沒有完全對齊,相機(jī)的視角對結(jié)果影響很大。
當(dāng)相機(jī)與待檢物體在豎直方向完美對準(zhǔn)時(shí),尺寸測量結(jié)果將會得到明顯改進(jìn), 垂直面測量中間結(jié)果如圖9所示。圖9 (a)為待測量的2個(gè)物體,分別為矩形卡片和方形卡片;圖9(b)為方形卡片對應(yīng)的真實(shí)尺寸,邊長為39.5 mm;圖9(c)、 (d)為矩形卡片對應(yīng)的真實(shí)尺寸, 長度為74 mm, 寬度為57 mm; 圖9(e)為2個(gè)待測物體的邊界;圖9(f)為計(jì)算所得的物體的尺寸。
結(jié)果表明,在相機(jī)與待檢物體在豎直方向?qū)?zhǔn)時(shí),測量效果達(dá)到最好,因此為了達(dá)到良好的效果,相機(jī)的最佳位置應(yīng)該垂直于待檢物體。
針對物體相對于相機(jī)的位置發(fā)生改變的情況進(jìn)行尺寸測量實(shí)驗(yàn), 實(shí)驗(yàn)測量中間結(jié)果如圖10所示。 圖10(a)為相機(jī)距離待測物體約28 cm拍攝所得的圖像; 圖10(b)為相機(jī)距離待測物體約51 cm拍攝所得的圖像; 圖10(c)為需要測量的對象, 目標(biāo)是當(dāng)物體從一個(gè)位置變化到另一個(gè)位置時(shí), 從2個(gè)不同的位置測量方形卡片的尺寸; 圖10(d)、 (e)分別為距離該待測物體約28、 51 cm位置所拍攝計(jì)算出的精細(xì)邊緣。 在距離約28 cm拍攝的圖像上計(jì)算方形卡片的像素?cái)?shù), 然后通過相機(jī)距離物體的像素?cái)?shù)P、 物體的寬度W和相機(jī)距物體的實(shí)際距離D, 使用式(7)計(jì)算相機(jī)的焦距。 從距離待測卡片約51 cm的位置拍攝所得的圖像中計(jì)算出相同物體的像素?cái)?shù), 利用焦距信息使用式(8)計(jì)算物體的尺寸, 如圖10(f)所示。
表1為雙機(jī)位標(biāo)定法在上述3種條件下對物體尺寸的測量結(jié)果??梢钥闯?當(dāng)相機(jī)視角不垂直于檢測平面時(shí),實(shí)際值與測量值之間的測量誤差較大;當(dāng)視角與檢測表面垂直時(shí),測量精度有較大提升,相對誤差最小,因此,為了獲得高精度的檢測結(jié)果,相機(jī)中軸線應(yīng)該垂直于檢測表面;當(dāng)相機(jī)與待檢物體垂直對齊并且改變相對位置時(shí),在距離相機(jī)有限的距離內(nèi)估計(jì)物體在變化位置的實(shí)際尺寸。多數(shù)工業(yè)相機(jī)都不是固定在檢測表面的一個(gè)位置,因此,表1得出針對移動的目標(biāo)仍然可以準(zhǔn)確地測量其尺寸。上述結(jié)果表明,雙機(jī)位標(biāo)定法可以在相對誤差較小的情況下成功測量目標(biāo)的尺寸。
表1 不同條件下雙相機(jī)標(biāo)定的尺寸測量方法的物體尺寸測量結(jié)果
表2為雙機(jī)位標(biāo)定法與其他方法測量誤差對比。由表可知,與基于擬合橢圓的工件測量方法[5]和基于局部線角輪廓分割的工件測量方法[8]相比,雙機(jī)位標(biāo)定法性能更好。與激光三角測量方法[9]相比,雙機(jī)位標(biāo)定法需要較少的訓(xùn)練數(shù)據(jù)和較少的計(jì)算資源來快速計(jì)算測量結(jié)果。
表2 不同測量方法對比實(shí)驗(yàn)結(jié)果
設(shè)置不同光照強(qiáng)度的對比實(shí)驗(yàn), 驗(yàn)證光照對提取的物體邊緣準(zhǔn)確性的影響。LED環(huán)形燈的亮度取決于電壓的變化,對圖像的質(zhì)量有很大的影響。表3為不同照明強(qiáng)度下的圖像邊緣灰度級分布,圖11為不同灰度級示意圖??梢钥闯? 隨著照明強(qiáng)度的變化,數(shù)字圖像中邊緣像素的灰度值也會按比例變化,即在低光照強(qiáng)度下,亮度太低,灰度值也很低,因此背景和物體不能相互區(qū)分,當(dāng)提高光照強(qiáng)度時(shí),亮度也會增加,圖像質(zhì)量提高,潛在邊界可以從背景中區(qū)分出來。如果光照強(qiáng)度太高,圖像又會變得太亮,物體不能與背景分開,因此,在完全黑暗的條件和過于明亮的條件下,物體和背景都是無法區(qū)分的,從而可以得出結(jié)論:最佳照明是區(qū)分物體和背景的必要條件,邊緣檢測效果取決于照明條件。
表3 不同照明強(qiáng)度下的邊緣灰度級分布
圖11 不同灰度級圖像示意圖
通過誤差分析可以有效提高檢測精度。從理論上估計(jì)工件的尺寸,取決于幾個(gè)因素,例如相機(jī)內(nèi)部參數(shù),包括傳感器尺寸、分辨率和焦距,使用高分辨率成像設(shè)備時(shí),較小的物體尺寸將以更高的像素來表示,并且測量精度也將提高。影響測量精度的其他因素包括照明強(qiáng)度、相機(jī)旋轉(zhuǎn)角度和振動等,為了消除這些因素的影響,必須從操作設(shè)計(jì)的角度考慮,包括相機(jī)分辨率的選擇、光源設(shè)計(jì),以區(qū)分物體與背景,獲取物體的完整視野。
工件尺寸自動測量在工業(yè)產(chǎn)品檢測中具有十分重要的意義。工件尺寸測量中存在的問題包括工件邊界的精確定位、結(jié)果計(jì)算時(shí)間過長以及相機(jī)與物體的相對位置協(xié)調(diào)問題。本文中提出的雙機(jī)位標(biāo)定法有助于解決這些問題,并且以最少的資源實(shí)現(xiàn)工件尺寸檢測。該方法在數(shù)字圖像中自動估計(jì)工件的尺寸,具有自適應(yīng)和低成本的特點(diǎn),解決了工件尺寸測量中測量精度、計(jì)算時(shí)間和相對位置變化問題。實(shí)驗(yàn)結(jié)果表明,該方法能減小測量誤差,相對誤差為0.7%,具有測量精度高、處理速度快、對相對位置變化適應(yīng)性強(qiáng)等優(yōu)點(diǎn)。