陳澤琦，范偉軍，郭 斌，江文松

(1. 中國計量大學，浙江 杭州 310018；2. 杭州沃鐳智能科技股份有限公司，浙江 杭州 310018)

1 引 言

粗集料是瀝青混合料的重要組成材料。在建筑工程中，級配不合格的集料會影響瀝青混凝土的強度，危害建筑質(zhì)量[1]。目前工程中，通常采用振動篩分法對集料進行級配檢測[2]，該方法在篩分過程中容易堵塞篩孔，影響篩分結果，降低篩分效率。隨著機器視覺技術的快速發(fā)展，圖像處理技術在土木工程中的應用越來越廣泛[3]。2007年，汪海年等[4]研制了粗集料形態(tài)研究系統(tǒng)，采用圖像處理技術對平鋪的靜態(tài)集料進行級配分析。2013年，Prudêncio等[5]提出了一種簡化的數(shù)字圖像處理方法，用于分析集料的形狀。2014年，史源[6]對平鋪的靜態(tài)集料顆粒進行背光拍攝，使用LabVIEW開發(fā)了一套集料顆粒形態(tài)特征提取系統(tǒng)。2017年，羅曼等[7]對不同運動狀態(tài)下的集料進行研究，并對比不同的光源安裝方式，總結得到了較優(yōu)的集料拍攝方法。對靜態(tài)集料進行視覺級配分析，需要提前將集料平鋪于視場中，且每次檢測的集料數(shù)量有限，導致檢測效率低下，無法適應工程檢測需求。而對下料過程中的動態(tài)集料進行在線級配檢測，能夠提高效率，滿足工程檢測需求。在動態(tài)集料的圖像中，圖像上下邊緣存在不完整的集料顆粒，且每個集料顆粒會重復出現(xiàn)在連續(xù)的圖像中，影響集料數(shù)據(jù)統(tǒng)計。針對此問題，陳思嘉[8]和楊建紅等[9～10]采用周長面積之比判斷集料顆粒是否完整，并提出輪廓匹配方法對重復出現(xiàn)的顆粒進行識別。利用周長面積之比判斷集料顆粒是否完整，需要對圖像中的每個集料顆粒進行遍歷操作，效率較低；在集料下落過程中，集料會發(fā)生旋轉，導致集料在前后圖像中的輪廓不一致，影響輪廓匹配的成功率。

基于上述分析，本文對下料過程中的集料圖像進行研究，尋找可行的動態(tài)集料級配視覺檢測方法。針對圖像邊界處存在不完整顆粒和顆粒重復出現(xiàn)的問題，提出形態(tài)重建和反向跟蹤的圖像處理方法；將等效橢圓Feret短徑作為等效粒徑，分析集料的粒徑分布；對像素尺寸與實際尺寸之間的關系進行優(yōu)化，提高集料級配檢測的準確性。

2 實驗臺的搭建及ROI的形態(tài)重建

2.1 檢測實驗臺的搭建

檢測實驗臺如圖1所示。集料通過振動下料機均勻分散的落下，工業(yè)相機采用背光拍攝方式[11]，對下料過程中的集料進行圖像采集，并將圖像數(shù)據(jù)傳輸給工控機進行粒徑分析。使用的實驗相機為合肥?？乒怆娍萍加邢薰镜腡S4MCL-180M/C高速工業(yè)相機，有效像素4×106，最高幀率180幀/s，鏡頭型號為HC2505A，焦距為25 mm。試驗中的有效拍攝面尺寸為210 mm×210 mm。

圖1 檢測實驗臺的搭建Fig.1 The testing experimental bench

對運動狀態(tài)下的集料進行圖像采集，需要選擇合適的曝光時間，根據(jù)集料下落的速度，曝光時間設為500 μs，采集的運動粗集料圖像如圖2所示。

圖2 運動粗集料圖像Fig.2 The image of the moving coarse aggregates

2.2 基于形態(tài)重建的ROI圖像提取

首先對圖像進行二值化處理[12]，將集料顆粒與背景分離。在穩(wěn)定的檢測環(huán)境中，通常采用基于先驗概率的閾值分割方法。在運動集料的圖像采集過程中，存在部分集料顆粒下部分進入視場而上部分未進入視場，或下部分離開視場而上部分未離開視場的情況，導致圖像上下界邊緣處存在形態(tài)不完整的集料顆粒。如圖3所示，在二值化圖像的上邊緣處，存在一顆不完整的集料顆粒。

圖3 形態(tài)不完整的集料顆粒圖像Fig.3 The image with an incomplete aggregate particle

若將不完整的集料顆粒納入數(shù)據(jù)統(tǒng)計，會影響統(tǒng)計結果的準確性。為了避免這些集料顆粒對數(shù)據(jù)統(tǒng)計的影響，通過掩膜算子提取感興趣(reqion of interst,ROI)圖像，過濾圖像上下邊界處的集料顆粒，然后采用形態(tài)重建方法對ROI圖像上下邊界處的不完整集料顆粒進行形態(tài)修復，保證ROI圖像中的集料顆粒都具備完整的形態(tài)。

2.2.1 基于掩膜的ROI提取方法

為了過濾圖像上下邊界處不完整的集料顆粒，本文通過掩膜算子對原二值化圖像的上下邊界進行遮蓋。遮蓋的高度由集料顆粒在圖像中出現(xiàn)的最大像素高度決定。本文中，圖像的分辨率為 2 048 pixel×2 048 pixel，視場大小為210 mm×210 mm，可得比例系數(shù)K:

(1)

在本工程中，粗集料的最大徑不超過35 mm。通過比例系數(shù)K可得，粗集料在像素坐標中的最大徑不超過341.33 pixel，考慮到特殊集料顆粒的存在，掩膜算子的遮罩高度h取400 pixel，即ROI上下邊界范圍設定為[400,1 648]。對圖3進行ROI提取，設圖3為g(x,y)，掩膜算子為t(x,y)，則ROI圖像k(x,y)為:

k(x,y)=g(x,y)·t(x,y)

(2)

ROI提取效果如圖4所示，圖4(a)為掩膜算子，圖4(b)為提取后的ROI圖像?？梢杂^察到，圖4(b)中，ROI上下邊緣處的集料顆粒形態(tài)被破壞。

圖4 掩膜提取ROI效果Fig.4 ROI image extraction

2.2.2 ROI邊緣顆粒的形態(tài)重建

對于ROI圖像中新出現(xiàn)的不完整顆粒，采用區(qū)域生長方法[13]對其進行形態(tài)重建。在ROI圖像k(x,y)中，從ROI邊界顆粒的任意一個像素開始，以二值圖像g(x,y)為遮罩，根據(jù)4近鄰準則向外填充像素，實現(xiàn)不完整顆粒的形態(tài)修復。圖5為形態(tài)重建圖，設圖5(a)的4近鄰算子為C(x,y)。

首先，4近鄰算子從ROI上邊界位置開始，在原二值化圖像g(x,y)上自左向右移動。當4近鄰算子在原二值圖像中的位置為(n,m)時，其覆蓋下的原二值化圖像子區(qū)域為gn,m(x,y)。將4近鄰算子與原二值化圖像子區(qū)域進行矩陣點乘，得到填充算子d(x,y)，計算公式為

d(x,y)=C(x,y)·gn,m(x,y)

(3)

將填充算子放置在ROI圖像k(x,y)中的目標位置，并乘以目標位置中心的像素值得到新的填充算子D(x,y)，其計算公式為

D(x,y)=k(n,m)·d(x,y)

(4)

令填充算子覆蓋下的ROI子區(qū)域為α(k)，將其與新填充算子D進行或運算，得到重構后的ROI子區(qū)域β(k):

β(k)=α(k)·D

(5)

然后，4近鄰算子繼續(xù)向右移動對該像素行進行重建。在完成該像素行的重建后，重新對其進行上述操作并多次循環(huán)，直至該像素行不再出現(xiàn)新像素，結束該像素行的重建。

最后，4近鄰算子向上移動，重復以上操作，直至圖像中不再出現(xiàn)新的像素，完成ROI圖像上邊界顆粒的形態(tài)重建。重復上述操作對ROI下邊界顆粒進行向下的形態(tài)重建，最終重建得到的ROI圖像如圖5(b)所示，圖5(b)中的每個集料顆粒都具備完整的形態(tài)。

圖5 形態(tài)重建Fig.5 Morphological reconstruction

3 基于反向跟蹤的重復顆粒處理方法

3.1 圖像幀采樣間隔的確定

本文中圖像采集幀率為149幀/s，在形態(tài)重建后的ROI圖像序列中，集料顆粒會重復出現(xiàn)，包括在ROI圖像提取過程中被濾除的集料顆粒。為了避免同一集料顆粒的重復統(tǒng)計，需要對連續(xù)的ROI圖像進行間隔采樣。每個集料顆粒的尺寸、下料初始速度各不相同，每個集料顆粒在圖像中出現(xiàn)的次數(shù)存在差異，采樣間隔過長將導致部分集料顆粒丟失。采樣間隔過小將增加集料顆粒出現(xiàn)的次數(shù)，降低圖像處理的效率。對100個集料顆粒在重建后的ROI圖像中出現(xiàn)的次數(shù)進行統(tǒng)計，結果如圖6所示。

圖6 顆粒重復次數(shù)統(tǒng)計Fig.6 The number of every particle’s frames

由圖6可知，同一個集料顆粒在連續(xù)的圖像中至少出現(xiàn)10次，最多12次，圖像幀采樣間隔取為10幀，每間隔10幀ROI圖像進行一次圖像采樣，保證每個集料顆粒必定出現(xiàn)在采樣圖像中，且至多出現(xiàn)2次。對于重復出現(xiàn)的集料顆粒，提出反向跟蹤算法進行識別，避免數(shù)據(jù)重復統(tǒng)計。

3.2 重復顆粒區(qū)域的確定

為了確定重復顆粒出現(xiàn)的區(qū)域，對圖像建立像素坐標系，如圖7所示，○為首次出現(xiàn)的顆粒，△為重復出現(xiàn)的顆粒。圖像左上角為原點，水平方向為x軸，豎直方向為y軸。第2次重復出現(xiàn)的顆粒均在圖像下方，即其質(zhì)心坐標y值較大。

圖7 重復顆粒分布情況Fig.7 Particle distribution

圖7中，圖像由上至下被劃分為檢測區(qū)和重復顆粒識別區(qū)兩個區(qū)域。重復顆粒識別區(qū)中的集料顆粒需要進行識別，判斷其是否為重復顆粒，是反向跟蹤算法的識別對象；檢測區(qū)中的集料顆粒為首次出現(xiàn)的顆粒，是算法的匹配對象。

為了確定檢測區(qū)域和重復顆粒識別區(qū)域的邊界線，需要對第2次出現(xiàn)在采樣圖像中的集料顆粒進行坐標分析，將其最小質(zhì)心y坐標作為參考數(shù)據(jù)。集料顆粒的質(zhì)心y坐標數(shù)據(jù)統(tǒng)計如圖8所示。

圖8 顆粒重復出現(xiàn)位置預測統(tǒng)計情況Fig.8 Recurring particles’y-coordinate data.

在統(tǒng)計數(shù)據(jù)中，重復出現(xiàn)的集料顆粒的最小的質(zhì)心坐標ymin=1 282.49 pixel。本文以1 250 pixel分界線，若顆粒目標的質(zhì)心坐標y值小于 1 250 pixel，則為檢測區(qū)中的顆粒，若y值大于1 250 pixel，則為重復顆粒識別區(qū)中的顆粒，如圖9所示。

圖9 區(qū)域劃分情況圖Fig.9 Regional division

區(qū)域劃分后，對于檢測區(qū)圖像中的集料顆粒，直接進行粒徑分析；對于識別區(qū)圖像中的集料顆粒，需要進行反向跟蹤，與上一個檢測區(qū)圖像中的集料顆粒匹配，判斷其是否為重復出現(xiàn)的集料顆粒。若是，則將前后圖像中的兩次粒徑結果取較大值，若不是，則直接進行粒徑分析。

3.3 反向跟蹤方程

下料口位于視場上方距離為y，集料在離開下料機進入下料口后，在豎直方向上近似為勻加速直線運動，初速度為v0，算法根據(jù)顆粒在第N+10幀圖像中的位置，以及前后間隔10幀圖像之間的固定時間變化Δt，推測顆粒在第N幀圖像中出現(xiàn)的位置，為目標匹配提供位置推測基礎。顆粒的豎直方向位置變化與時間的關系如圖10所示。

圖10 顆粒位置與時間關系圖Fig.10 Particle position and time diagram

圖10中，yN為顆粒在第N幀中出現(xiàn)的豎直位置，tN為顆粒從下料口運動至yN處所用的時間，根據(jù)初速度v0、加速度g以及時間tN，可得到豎直方向位移yN，同理得到y(tǒng)N+10:

(6)

(7)

將Δt=tN+10-tN代入公式(7)，經(jīng)整理可得到y(tǒng)N關于yN+10的表達式:

(8)

(9)

根據(jù)公式(9)，對80組(yN+10,y′)組數(shù)據(jù)進行分析，采用數(shù)據(jù)擬合方法建立y′與yN之間的關系[14]。本系統(tǒng)中，下料口位于視場上方50 mm，由公式(1)將y0轉化成像素距離為487.80 pixel，得到二次擬合結果如圖11所示，二次函數(shù)如等式(10)所示。由試驗數(shù)據(jù)分析，二次擬合函數(shù)的最大誤差δmax=46.475 pixel。

圖11 二次函數(shù)擬合效果Fig.11 Quadratic fitting function.

11 062.75

(10)

在實際下落過程中，目標顆粒在水平方向上同樣存在位移。為避免水平方向的位移對位置跟蹤的影響，本文對上述顆粒的80組水平方向位置移動Δx數(shù)據(jù)進行分析，如圖12所示。

圖12 水平位置移動距離統(tǒng)計圖Fig.12 Statistical of horizontal moving distance

目標顆粒在下落運動過程中，水平方向位移絕對值最大|Δxmax|=32.83 pixel，小于豎直方向上的最大誤差δmax，可認為

xN=xN+10

(11)

綜上分析，間隔10幀的圖像中，同一集料顆粒在第N幀與第N+10幀的位置關系如式(10)和式(11)所示。

3.4 基于接觸式關聯(lián)門的反向跟蹤

根據(jù)式(10)和式(11)，基于第N+10幀識別區(qū)中集料顆粒的坐標，可以反向推測出集料顆粒在第N幀圖像檢測區(qū)中出現(xiàn)的位置，如圖13所示。算法以反向推測位置為圓點，以半徑d設置圓形關聯(lián)門，在關聯(lián)門內(nèi)搜索到目標即為匹配成功，判定該顆粒第2次重復出現(xiàn)；反之，判定為首次出現(xiàn)，為非重復顆粒。

圖13 目標匹配分析示意圖Fig.13 Target tracking diagram

圖13中，集料顆粒的實際位置與反向推測位置存在偏差，其附近可能存在其他顆粒，這些因素要求關聯(lián)門半徑不能過大或過小。由豎直方向最大誤差以及水平方向最大位移可得最大預測偏差:

(12)

考慮最大預測偏差以及鄰近顆粒的影響，設置關聯(lián)門半徑略大于最大預測偏差，其為70 pixel，搜索方式采用接觸式,在跟蹤匹配過程中，關聯(lián)門與任意目標發(fā)生接觸，即為匹配成功，反之，匹配失敗。匹配示意圖如圖14所示。

圖14 反向匹配示意圖Fig.14 Reverse tracking diagram

在圖14(a)中，關聯(lián)門與顆粒1接觸，即被測目標與顆粒1匹配成功，為同一顆粒；在圖14(b)中，顆粒3、顆粒4均與關聯(lián)門無接觸，則被測目標無匹配對象，為非重復出現(xiàn)顆粒。

算法跟蹤識別效果如圖15所示。圖15(a)和圖15(b)中，顆粒a和顆粒f為同一個顆粒目標。顆粒在下落過程中存在旋轉，導致在前后圖像中的成像顆粒a與顆粒f輪廓不同，此時輪廓匹配會失效，本文算法根據(jù)圖15(d)中顆粒f的位置進行反向跟蹤，在圖15(c)中設置關聯(lián)門，此時顆粒a與關聯(lián)門接觸，成功匹配到顆粒a，能順利識別出顆粒a與顆粒f為同一顆粒。

4 集料粒徑分布計算方法

4.1 等效粒徑表征參數(shù)

集料顆粒常用的表征參數(shù)有等效矩形長短軸、等效橢圓長短徑以及等效橢圓Feret短徑[15]，本文選擇與篩分法結果最為相近的等效橢圓Feret短徑作為等效粒徑[16]。如圖16所示，以集料圖像的最大Feret徑dF為長軸，作與集料圖像面積相同的等效橢圓，其短徑de即為等效橢圓Feret短徑。

圖16 等效橢圓Feret短徑Fig.16 The Feret minor axis of equivalent ellipse

對于未重復出現(xiàn)的顆粒，其等效橢圓Feret短徑即為粒徑結果；對于重復顆粒，其前后2次成像的粒徑較大值即為最終粒徑結果。

4.2 尺寸轉化關系優(yōu)化

在集料圖像采集過程中，由于集料粒徑不同，每個集料顆粒的成像平面也不同。以小球成像分析為例(見圖17)，大尺寸小球的成像平面比小尺寸小球的成像平面更靠前。在圖像獲取過程中，為了獲得清晰的集料圖像，通常將中等尺寸集料顆粒的下落平面作為拍攝平面。在其他條件不變的情況下，物距越小，公式(1)中的比例系數(shù)K越小。盡管在實際情況中，不同尺寸的集料顆粒的下落平面差異較小，但直接根據(jù)公式(1)計算集料的粒徑會引入一定的誤差。

圖17 小球成像分析Fig.17 Globule imaging analysis

為了探究小球的像素尺寸與實際尺寸之間的關系，對小球尺寸進行了定性分析，如圖18所示。

圖18 尺寸變換分析Fig.18 Analysis of dimensional transformation relationship

為了減小此類計算偏差對粒徑分布結果的影響，本文對K進行修正，并引入偏置b，使粒徑計算結果更接近真實情況。據(jù)此，像素大小與實際大小的關系可以表示為:

xα=Kxβ+b

(13)

式中:xβ、xα分別為顆粒的實際尺寸和像素尺寸。

為了確定式(13)中最佳的K和b，選擇4種規(guī)格的集料區(qū)間(4.75～9.5 mm，9.5～16 mm，16～19 mm，19～26 mm)進行實驗，每個規(guī)格的集料樣本數(shù)為200，使用不同的K和b計算集料的粒徑，并根據(jù)式(14)計算不同K和b下集料級配的準確率P:

(14)

式中:ni是第i規(guī)格顆粒的檢測數(shù)量；mi是第i規(guī)格顆粒的實際數(shù)量。級配準確率分布如圖19所示，當K=0.093 6，b=0.67時，集料級配的準確率P=0.936 25。

圖19 粒徑分布準確率Fig.19 The accuracy under different combinations of K and b

5 結果分析

5.1 反向跟蹤的識別率

本文對500顆粗集料進行圖像采集，連續(xù)采集7 147幀圖像，從中間隔采樣715幀ROI圖像，人工方式發(fā)現(xiàn)有104個目標顆粒重復出現(xiàn)2次。分別采用輪廓匹配法、反向跟蹤法對圖像中的重復顆粒進行識別，結果如表1所示。

由表1可知，與輪廓匹配法相比，本文的反向跟蹤法對重復出現(xiàn)的集料顆粒的識別率更高。

表1 目標顆粒識別比較Tab.1 Target particle recognition comparison

5.2 集料粒徑計算的的準確性

為了驗證等效粒徑的計算方法，選擇了4種規(guī)格(4.75～9.5 mm，9.5～16 mm，16～19 mm，19～26.5 mm)的集料樣本進行實驗，每種規(guī)格的集料數(shù)量為200顆，分別通過方法1(xα=Kxβ，K=0.102 5)和方法2(xα=Kxβ+b，K=0.093 6，b=0.67)計算集料粒徑進行級配檢測，結果如表2所示。

表2 粒徑分析結果Tab.2 The results of aggregate particle size distribution

從表2可以看出，根據(jù)第2種方法計算的顆粒尺寸進行級配的結果比第2種方法更準確，其集料級配檢測的準確性為95.59%。

6 總 結

本文針對粗集料的級配檢測，提出了集料在運動狀態(tài)下的圖像檢測方法。使用基于掩膜的ROI區(qū)域提取方法，結合形態(tài)重建方法，解決了圖像中存在不完整顆粒的數(shù)據(jù)統(tǒng)計問題；使用基于接觸式“關聯(lián)門”的反向跟蹤算法，對采樣圖像中的集料顆粒進行跟蹤識別，避免了前后采樣圖像中同一集料顆粒被重復統(tǒng)計的情況；使用等效橢圓Feret短徑作為等效粒徑對集料進行粒徑分析，并對像素尺寸和實際尺寸的轉換關系進行優(yōu)化，提高級配結果的準確性。實驗證明，反向跟蹤算法對重復出現(xiàn)的集料顆粒識別的準確率為98.08%；集料級配檢測的準確率為95.59%。