楊露露，秦華偉

(杭州電子科技大學(xué)機(jī)械工程學(xué)院，杭州 310018)

0 引 言

采用計(jì)算機(jī)視覺(jué)技術(shù)進(jìn)行圖像檢測(cè)具有無(wú)損壞、速度快等優(yōu)點(diǎn)，在農(nóng)業(yè)領(lǐng)域應(yīng)用廣泛，如谷物的品質(zhì)檢驗(yàn)、農(nóng)產(chǎn)品分類分級(jí)等。近年來(lái)，計(jì)算機(jī)視覺(jué)技術(shù)逐步應(yīng)用于玉米穗性狀參數(shù)的自動(dòng)測(cè)量，但有些測(cè)量方法需要將玉米穗擺放整齊，降低了測(cè)量效率[1-2]。玉米考種過(guò)程中，玉米穗隨意平鋪，相互接觸粘連，如對(duì)粘連圖像不進(jìn)行分割處理，就會(huì)導(dǎo)致玉米穗計(jì)數(shù)錯(cuò)誤，影響種質(zhì)評(píng)估和產(chǎn)量預(yù)測(cè)。針對(duì)圖像粘連問(wèn)題，Nee等[3]提出一種基于形態(tài)學(xué)和分水嶺結(jié)合的分割算法，游迎榮等[4]提出一種基于距離變換的分水嶺算法，Song等[5]提出一種凹點(diǎn)檢測(cè)與改進(jìn)分水嶺相結(jié)合的分割算法，謝忠紅等[6]提出一種凹點(diǎn)快速定位和重疊果實(shí)識(shí)別檢測(cè)算法，荀一等[7]提出一種基于公共區(qū)域和輪廓分割點(diǎn)查找算法，Bai等[8]提出一種基于凹點(diǎn)和橢圓擬合的粘連細(xì)胞分割算法，李冰等[9]提出一種基于背景骨架特征的米粒粘連分割算法。Lin等[10]通過(guò)計(jì)算區(qū)域邊緣輪廓的曲率極小值來(lái)確定凹點(diǎn)和凸點(diǎn)，實(shí)現(xiàn)匹配分割。對(duì)于特定的形狀結(jié)構(gòu)，上述算法均取得了較好的分割效果，但當(dāng)分割目標(biāo)形狀發(fā)生較大改變時(shí)，分割效果不佳。玉米穗粘連復(fù)雜多樣，為此，提出一種基于凹點(diǎn)檢測(cè)的玉米穗粘連圖像分割算法，通過(guò)提取玉米穗連通域的凹區(qū)域，迭代計(jì)算兩兩凹區(qū)域輪廓的最小歐氏距離，根據(jù)粘連形式不同，設(shè)定相應(yīng)距離閾值，通過(guò)兩次分割處理，實(shí)現(xiàn)了粘連玉米穗的有效分離。

1 玉米穗粘連圖像分割算法

1.1 玉米穗粘連形式

玉米穗隨機(jī)擺放在平臺(tái)，如圖1(a)所示。玉米穗粘連現(xiàn)象一般分為以下幾種形式：(1)粘連線較短的玉米穗如圖1(b)所示，玉米穗的頭部或尾部與其他玉米穗輕微接觸，接觸部分較少；(2)環(huán)狀粘連玉米穗如圖1(c)所示，多個(gè)玉米穗兩兩相互粘連，形成一個(gè)閉環(huán)形式，在玉米穗中間形成孔洞區(qū)；(3)粘連線較長(zhǎng)的玉米穗如圖1(d)所示，玉米穗側(cè)面相互粘連或者其它長(zhǎng)粘連形式，粘連形式大致為一條線。

圖1 玉米穗粘連形式

1.2 玉米穗圖像預(yù)處理

受外界影響，圖像的采集伴有噪聲等干擾因素，為了改善圖像的視覺(jué)效果，抑制無(wú)用信息，提高圖像的使用價(jià)值，需要進(jìn)行預(yù)處理。

1.2.1 灰度處理

灰度處理的目的是為了減小圖像原始數(shù)據(jù)量，更好地反映圖像的形態(tài)特征。由于采集的原RGB圖像背景為藍(lán)色，而玉米穗藍(lán)色分量很少，故采用分量法進(jìn)行灰度處理。提取R，G，B三通道灰度圖，分別統(tǒng)計(jì)其灰度直方圖，結(jié)果如圖2所示。圖2(a)中，R通道直方圖有距離較遠(yuǎn)的雙峰結(jié)構(gòu)，為了便于后續(xù)處理，將R通道灰度圖作為灰度處理圖。

圖2 三通道灰度圖和灰度直方圖

1.2.2 閾值分割

設(shè)定相應(yīng)的閾值，將圖像分為灰度值只有0和255的二值圖。本文中，閾值分割精度的要求不需太高，R通道灰度圖的前景和背景灰度等級(jí)相差較大，故選取處理效率高的全局閾值分割進(jìn)行二值化操作。由圖2(a)可知，背景灰度值在0～50之間，玉米穗灰度值在100～255之間，灰度值在50～100之間的出現(xiàn)頻率幾乎沒(méi)有，因此，分割閾值選擇50～100之間便可將玉米穗和背景區(qū)分，本文選取分割閾值為70，閾值分割結(jié)果如圖3所示。

圖3 閾值分割結(jié)果

1.2.3 開(kāi)操作處理

從圖3可以看出，閾值分割后，有部分脫落玉米粒白點(diǎn)，還有玉米穗造成的邊緣細(xì)小毛刺。開(kāi)操作主要是對(duì)圖像進(jìn)行先腐蝕后膨脹處理，不僅可以有效消除細(xì)小物體和平滑邊緣，還能保留主體區(qū)域。根據(jù)脫落玉米粒的大小，選取3種內(nèi)核尺寸5×5，9×9，15×15進(jìn)行開(kāi)操作處理，結(jié)果如圖4所示。

圖4 開(kāi)操作處理結(jié)果

從圖4可以看出，內(nèi)核尺寸為5×5時(shí)，無(wú)法消除全部白點(diǎn)干擾；內(nèi)核尺寸為15×15時(shí)，部分玉米穗圖像的主體結(jié)構(gòu)有缺損；內(nèi)核尺寸為9×9時(shí)，即能消除白點(diǎn)干擾又能保留玉米穗圖像的主體區(qū)域，效果最好。

1.3 玉米穗粘連圖像一次分割

在數(shù)學(xué)領(lǐng)域中，凹點(diǎn)指形狀邊界上曲率大且向內(nèi)凹陷的點(diǎn)[11-12]。對(duì)于玉米穗連通域的輪廓邊界而言，內(nèi)凹點(diǎn)只會(huì)出現(xiàn)在粘連處，并且是以凹點(diǎn)對(duì)的形式出現(xiàn)，如圖5所示，因此，粘連玉米穗的分割關(guān)鍵是檢測(cè)出連通域中的凹點(diǎn)對(duì)。

圖5 粘連玉米穗凹點(diǎn)

1.3.1 凹區(qū)域提取

首先，采用OpenCV的輪廓查找算法依次提取所有玉米穗連通域的輪廓信息，判斷提取的連通域輪廓是否有父輪廓，若有父輪廓，則認(rèn)定該輪廓為子輪廓，先不予繪制填充；若無(wú)父輪廓，則先填充白色，再判斷內(nèi)部是否有子輪廓，若有子輪廓，則填充黑色，若無(wú)子輪廓，則不用考慮，最終獲得玉米穗單個(gè)連通域圖像p0。其次，對(duì)提取的玉米穗連通域進(jìn)行凸包計(jì)算，獲得凸包圖像p1。然后，將獲取的凸包圖像與原連通域圖像進(jìn)行比較，取其差值，即p1-p0，獲得初步的凹區(qū)域圖像。最后，采用基于區(qū)域面積閾值方法去除凹區(qū)域圖像中因凸包檢測(cè)誤差導(dǎo)致的邊緣區(qū)域，設(shè)置面積閾值為200像素，將小于面積閾值的邊緣區(qū)域設(shè)置為背景色予以去除?？紤]到未粘連單玉米穗沒(méi)有凹點(diǎn)，即不存在凹區(qū)域，不會(huì)對(duì)其連通域進(jìn)行分割。

不同粘連形式的玉米穗圖像的凹區(qū)域提取結(jié)果如圖6所示，左圖為粘連玉米穗連通域，右圖為提取的凹區(qū)域。

圖6 凹區(qū)域提取結(jié)果

1.3.2 凹點(diǎn)匹配

提取凹區(qū)域后，對(duì)凹點(diǎn)進(jìn)行檢測(cè)。與通過(guò)檢測(cè)目標(biāo)輪廓角點(diǎn)來(lái)判斷凹點(diǎn)的方法[13-15]不同，本文的凹點(diǎn)檢測(cè)匹配提取的是凹區(qū)域輪廓。對(duì)于凹區(qū)域輪廓而言，每個(gè)輪廓上至少有1個(gè)凹點(diǎn)與其他輪廓的凹點(diǎn)進(jìn)行匹配，如圖7所示。對(duì)于2個(gè)凹區(qū)域輪廓A和B，通過(guò)遍歷輪廓上的每一個(gè)點(diǎn)，迭代計(jì)算兩兩輪廓各點(diǎn)之間的歐氏距離，直到取得最小距離，即圖7中點(diǎn)a和點(diǎn)b的距離，則a和b分別為輪廓A，B的凹點(diǎn)。a和b之間的距離表示為：

圖7 凹點(diǎn)檢測(cè)匹配

(1)

式中，(xa,ya)和(xb,yb)分別為凹點(diǎn)a和凹點(diǎn)b的坐標(biāo)。

對(duì)于圖6(b)中的環(huán)狀粘連形式，其凹區(qū)域個(gè)數(shù)不只2個(gè)。比如，凹區(qū)域1和凹區(qū)域2不存在需匹配的凹點(diǎn)對(duì)，對(duì)兩者進(jìn)行凹點(diǎn)匹配時(shí)，出現(xiàn)不相干凹區(qū)域過(guò)匹配錯(cuò)誤，導(dǎo)致過(guò)分割現(xiàn)象。為了避免這類錯(cuò)誤的發(fā)生，設(shè)定距離閾值dmin。若da-b≤dmin，說(shuō)明凹點(diǎn)匹配有效，可以儲(chǔ)存；若da-b>dmin，則定為非凹點(diǎn)，不予儲(chǔ)存。最后，用背景色直線將所有儲(chǔ)存的凹點(diǎn)連接起來(lái)，畫(huà)出分割線，完成一次分割處理。本文采用不同閾值進(jìn)行大量的對(duì)比實(shí)驗(yàn)，結(jié)果如圖8所示。從圖8可以看出，當(dāng)dmin閾值設(shè)定過(guò)大時(shí)，不相干凹區(qū)域過(guò)度匹配，出現(xiàn)過(guò)分割現(xiàn)象；當(dāng)dmin閾值設(shè)定過(guò)小時(shí)，無(wú)法分割大量的短粘連玉米穗，出現(xiàn)欠分割現(xiàn)象；當(dāng)dmin閾值為單玉米穗寬度的3/4時(shí)，既不會(huì)出現(xiàn)過(guò)分割現(xiàn)象，又能分割短粘連玉米穗，因此，本文將dmin設(shè)為單玉米穗寬度的3/4。

圖8 不同閾值dmin分割結(jié)果

1.4 玉米穗粘連圖像二次分割

一次圖像分割之后，仍有部分玉米穗沒(méi)有匹配到凹點(diǎn)對(duì)，如圖9所示。圖9(a)中，環(huán)狀粘連形式的玉米穗C和D凹區(qū)域輪廓上存在2對(duì)凹點(diǎn)對(duì)c-d和e-f，因?yàn)橐淮畏指钪豢紤]最短歐氏距離，所以只匹配到1對(duì)凹點(diǎn)對(duì)e-f，遺漏了凹點(diǎn)對(duì)c-d；圖9(b)中，長(zhǎng)粘連線形式的玉米穗E和F凹區(qū)域輪廓之間的距離大于一次分割所設(shè)定的距離閾值dmin，無(wú)法進(jìn)行凹點(diǎn)匹配分割。因此，需要進(jìn)行再次分割。

圖9 未匹配的凹點(diǎn)對(duì)

1.4.1 凹區(qū)域提取

為了提高圖像二次分割的效率，先計(jì)算一次分割后所有玉米穗連通域的平均面積A，將面積大于A的連通域記為粘連玉米穗，對(duì)其進(jìn)行連通域提?。粚⒚娣e小于A的直接舍去，不予處理。后續(xù)操作和一次分割一致。

1.4.2 凹點(diǎn)匹配

一次分割后，未分割部分通常是由2個(gè)玉米穗粘連形成的，其凹區(qū)域的凹點(diǎn)通常只有1對(duì)。檢測(cè)凹區(qū)域個(gè)數(shù)，若凹區(qū)域小于2個(gè)，可能是因?yàn)橛衩姿氩灰?guī)則引起邊緣凹陷形成的凹區(qū)域，將其視為單玉米穗，不存在凹點(diǎn)，不予考慮；若凹區(qū)域?yàn)?個(gè)，直接迭代計(jì)算這2個(gè)凹區(qū)域輪廓之間的歐式距離極小值，并匹配分割；若凹區(qū)域大于2個(gè)，經(jīng)實(shí)驗(yàn)發(fā)現(xiàn)，只有2個(gè)凹區(qū)域才有凹點(diǎn)對(duì)，其他都是由于玉米穗邊緣籽粒脫落或者玉米形狀不規(guī)則引起的，比如圖10中的凹區(qū)域3即為干擾區(qū)域，所以，可以將凹區(qū)域的面積進(jìn)行排序，取面積最大的2個(gè)凹區(qū)域進(jìn)行凹點(diǎn)匹配分割，其余部分忽略不計(jì)。

圖10 缺陷粘連玉米穗

2 實(shí)驗(yàn)結(jié)果與分析

圖像采集裝置由本文研究團(tuán)隊(duì)搭建，主要包括：整體支架、相機(jī)、LED燈、背景板以及顯示屏及電腦主機(jī)等，如圖11所示。相機(jī)放在整個(gè)支架頂部的中間位置，并在相機(jī)等距的4個(gè)角上放置LED燈用于補(bǔ)充光源，背景板水平置于支架底部，玉米穗放在背景板中部，將采集到的圖像傳輸?shù)接?jì)算機(jī)進(jìn)行分析。相機(jī)為Basler acA4600-10uc面陣相機(jī)，光源采用白色LED燈，功率為5 W，背景板為藍(lán)色帆布，玉米樣品來(lái)自2019年產(chǎn)于山東菏澤的干玉米棒。

圖11 圖像采集裝置

將玉米穗隨機(jī)平鋪在采集平臺(tái)上，通過(guò)相機(jī)采集3次不同擺放形式的玉米穗圖像，分別采用直接凹點(diǎn)匹配算法、基于距離變換的分水嶺算法[4]、Mask RCNN實(shí)例分割算法[16]、本文提出的算法進(jìn)行圖像分割。采用Mask RCNN實(shí)例分割算法時(shí)，backbone為Resnet50，采集的圖像數(shù)量有限，故對(duì)訓(xùn)練樣本做了飽和度變換、亮度變換、噪聲添加以及圖像幾何變換等數(shù)據(jù)增強(qiáng)操作，共標(biāo)記200張圖像樣本用于模型訓(xùn)練，再?gòu)?00張圖像樣本中隨機(jī)挑選20張用于不同樣本集的對(duì)比實(shí)驗(yàn)，其中訓(xùn)練集與測(cè)試集的比例為7∶3。網(wǎng)絡(luò)使用coco訓(xùn)練集上預(yù)訓(xùn)練的模型，學(xué)習(xí)率為0.001，并采用step方式對(duì)學(xué)習(xí)率進(jìn)行調(diào)度；考慮玉米分類是簡(jiǎn)單的二分類問(wèn)題，為避免網(wǎng)絡(luò)過(guò)擬合，凍結(jié)Resnet50網(wǎng)絡(luò)結(jié)構(gòu)前4個(gè)block，只對(duì)最后1個(gè)block進(jìn)行訓(xùn)練，優(yōu)化器采用SGD，momentum設(shè)置為0.9，weight_decay為0.000 1，訓(xùn)練的epoch為500。實(shí)驗(yàn)結(jié)果如圖12所示。

圖12(b)中，直接凹點(diǎn)匹配算法無(wú)法完全分割環(huán)狀粘連玉米穗，存在欠分割和過(guò)分割現(xiàn)象。圖12(c)中，出現(xiàn)部分過(guò)分割現(xiàn)象，同時(shí)對(duì)于長(zhǎng)粘連線的玉米穗，無(wú)法正確標(biāo)記粘連玉米穗的連通域，產(chǎn)生欠分割現(xiàn)象。采用Mask RCNN算法進(jìn)行分割時(shí)，樣本數(shù)為200的圖12(d)中，可以分割識(shí)別出大部分玉米穗，但分割出的玉米穗不規(guī)則，不利于后期玉米穗表型參數(shù)的提取，樣本數(shù)為20的圖12(e)中，只有極少數(shù)玉米穗被分割出來(lái)，效果不佳，說(shuō)明訓(xùn)練樣本的數(shù)量對(duì)準(zhǔn)確率影響極大。圖12(f)為采用本文算法的分割結(jié)果，可以看出，對(duì)粘連玉米穗進(jìn)行了有效分割，過(guò)分割和欠分割情況極少，分割邊緣平滑且無(wú)鋸齒狀，有利于后期玉米穗表型參數(shù)的提取。

為了更直觀的比較分割算法的性能，將欠分割率、分割準(zhǔn)確率作為衡量粘連玉米穗分割效果的性能指標(biāo)。欠分割率定義為：

(2)

準(zhǔn)確率定義為：

(3)

式中，M為單玉米穗個(gè)數(shù)，N為分割后仍粘連的玉米穗個(gè)數(shù)，R為分割后完整的單玉米穗個(gè)數(shù)。

隨機(jī)挑選28個(gè)玉米穗，隨意平鋪擺放在采樣平臺(tái)上，采集3次不同擺放形式的圖像，記為樣本1、樣本2和樣本3，分別采用直接凹點(diǎn)匹配算法、分水嶺算法[4]、本文算法進(jìn)行分割，結(jié)果如表1所示。

表1 不同分割算法比較

從表1可以看出，本文算法的平均欠分割率最低，平均分割準(zhǔn)確率最高，算法運(yùn)行時(shí)間適中，分割效果最佳，說(shuō)明本文提出的算法更適用分割復(fù)雜粘連形式玉米穗圖像。

3 結(jié)束語(yǔ)

針對(duì)玉米穗粘連的復(fù)雜多樣性，本文提出一種基于凹點(diǎn)檢測(cè)的玉米穗粘連圖像的分割算法。對(duì)采集的玉米穗RGB彩色圖像進(jìn)行兩次分割，有效降低了欠分割率，提高了分割準(zhǔn)確率，分割處理后的玉米穗圖像邊緣平滑，為后期玉米穗外形參數(shù)(長(zhǎng)度、寬度等)的提取提供有效保障。但是，因?yàn)椴糠终尺B玉米穗的凹區(qū)域只有1個(gè)，易被忽略，無(wú)法實(shí)現(xiàn)匹配分割，后期將針對(duì)單個(gè)凹區(qū)域粘連玉米穗圖像展開(kāi)研究，進(jìn)一步提高分割準(zhǔn)確率。