摘 要：在檳榔的自動(dòng)化加工工藝中去核與點(diǎn)鹵是非常重要的環(huán)節(jié)，為提高生產(chǎn)效率，需要準(zhǔn)確檢測(cè)出檳榔核中心的位置，才能高效地實(shí)現(xiàn)檳榔的去核與點(diǎn)鹵。針對(duì)目前檳榔自動(dòng)化生產(chǎn)過程中檳榔內(nèi)輪廓檢測(cè)效率不高、檢測(cè)結(jié)果適用性差等問題，提出了一種基于計(jì)算機(jī)視覺技術(shù)的檳榔核中心自動(dòng)化檢測(cè)方法。采集到的檳榔圖片經(jīng)過預(yù)處理后，采用自適應(yīng)閾值分割的方法獲取檳榔的前景信息并檢測(cè)檳榔的邊緣信息，在此基礎(chǔ)上根據(jù)檳榔橢圓形狀的代數(shù)描述計(jì)算出檳榔核中心位置坐標(biāo)。結(jié)果表明，該方法可以精確檢測(cè)出不同背景下多種形貌的檳榔核中心位置，在擺盤的檳榔圖片中，檳榔核中心位置的檢出率為100%，平均檢測(cè)時(shí)間為0.39 ms，檢測(cè)效果良好。

關(guān)鍵詞：計(jì)算機(jī)視覺；檳榔核中心檢測(cè)；canny邊緣檢測(cè)；形態(tài)學(xué)運(yùn)算

中圖分類號(hào)：TP391 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1674-0033（2024）04-0043-07

引用格式：李杰，張樂.基于計(jì)算機(jī)視覺技術(shù)的檳榔核中心檢測(cè)方法研究[J].商洛學(xué)院學(xué)報(bào)，2024，38（4）：43-49.

A Study on Betel Nut Kernel Center Detection Method Based on Computer Vision Technology

LI Jie， ZHANG Le

（College of Electronic Information and Electrical Engineering， Shangluo University， Shangluo" 726000， Shaanxi）

Abstract：" In the automated processing of betel nuts， the processes of dehusking and dipping are crucial. To enhance production efficiency， it is imperative to accurately detect the position of the betel nut kernel center， enabling efficient dehusking and dipping. Addressing the issues of low efficiency in contour detection and poor applicability of detection results in the current automated production process of betel nuts， a computer vision-based method for automated detection of betel nut kernel centers is proposed. Betel nut images collected are preprocessed， and the foreground information of the betel nut is obtained through adaptive threshold segmentation. The edge information of the betel nut is then detected， based on which the coordinates of the betel nut kernel center are calculated using algebraic descriptions of the betel nut's elliptical shape. Results indicate that the method can accurately detect the kernel center positions of betel nuts with various shapes under different backgrounds. In the betel nut images with varying orientations， the detection accuracy of the recall factor is 100%， with an average detection time of 0.39 ms， demonstrating excellent detection performance.

Key words： computer vision; areca nut core center detection; canny edge detection; morphological operation

檳榔是熱帶地區(qū)廣泛種植的一種經(jīng)濟(jì)作物，其果實(shí)中含有豐富的生物堿，具有一定的藥用價(jià)值，在檳榔的去核與點(diǎn)鹵加工過程中，需要精確地檢測(cè)出檳榔的核中心位置，這對(duì)于提升產(chǎn)品質(zhì)量和加工效率至關(guān)重要。目前我國關(guān)于檳榔的研究主要集中在檳榔的分級(jí)和識(shí)別檢測(cè)等方面。舒軍等[1]設(shè)計(jì)了一個(gè)基于YOLACT++深度學(xué)習(xí)算法的檳榔檢測(cè)模型，將改進(jìn)的Res2Net[2]模塊加入到模型中，有效提升了檳榔分級(jí)的準(zhǔn)確率。許月明等[3]根據(jù)提取出的檳榔形狀、紋理等特征，將主成分分析法和支持向量機(jī)應(yīng)用于檳榔的分級(jí)檢測(cè)中，檳榔級(jí)別識(shí)別的正確率達(dá)到了90.38%。李志臣等[4]設(shè)計(jì)了一種基于卷積神經(jīng)網(wǎng)絡(luò)的檳榔分級(jí)方法，將優(yōu)化的SCNN應(yīng)用于網(wǎng)絡(luò)模型中，將檳榔分級(jí)的準(zhǔn)確率提升到98.05%。趙夢(mèng)軍等[5]設(shè)計(jì)了基于細(xì)粒度和特征參數(shù)的檳榔檢測(cè)算法，在提取的局部特征中加入了空間注意力機(jī)制，檳榔識(shí)別的準(zhǔn)確率達(dá)到94.5%。朱澤敏等[6]提出了一種基于語義分割的檳榔內(nèi)輪廓檢測(cè)方法，將淺層特征與深層特征進(jìn)行融合得到最終的識(shí)別模型，該方法對(duì)檳榔輪廓識(shí)別的準(zhǔn)確率達(dá)到98.79%。代云等[7]提出了一種基于YOLOv3[8]模型的檳榔檢測(cè)方法，利用多尺度檢測(cè)尺寸對(duì)模型進(jìn)行改進(jìn)，可以實(shí)現(xiàn)在復(fù)雜環(huán)境下檳榔的快速檢測(cè)。余錦淼等[9]將獲取的高精度檳榔3D點(diǎn)云信息與檳榔圖像進(jìn)行融合，完成檳榔的姿態(tài)識(shí)別與定位，在定位精度與穩(wěn)定性方面表現(xiàn)良好。綜上所述，目前研究檳榔的檢測(cè)較多，但總體上偏向于檳榔的分級(jí)研究和識(shí)別研究，在檳榔內(nèi)輪廓的檢測(cè)算法中存在檢測(cè)效率不高、適用性差等問題，對(duì)于檳榔的生產(chǎn)加工中檳榔去核、點(diǎn)鹵過程中核中心位置的檢測(cè)研究較少。鑒于此，本文利用計(jì)算機(jī)視覺技術(shù)在已有基礎(chǔ)上展開研究，探索快速、精準(zhǔn)檢測(cè)出檳榔核中心位置坐標(biāo)的方法，為檳榔去核、點(diǎn)鹵工藝中存在的關(guān)鍵問題提供解決方案。

1" 算法總體設(shè)計(jì)

在檳榔核中心檢測(cè)中最本質(zhì)的問題是在提取出檳榔最真實(shí)的邊緣后利用相關(guān)算法計(jì)算出核中心位置的坐標(biāo)。受到拍攝環(huán)境和檳榔形狀不規(guī)則的影響，在獲取檳榔的邊緣信息時(shí)會(huì)出現(xiàn)邊緣不真實(shí)、噪聲多且大的問題，為檳榔真實(shí)邊緣的提取帶來了困難。因此，針對(duì)檳榔核中心檢測(cè)最關(guān)鍵的問題在于如何得到檳榔圖像最真實(shí)的邊緣及計(jì)算檳榔核中心在圖像中的坐標(biāo)。為解決這種問題，本文設(shè)計(jì)一種基于計(jì)算機(jī)視覺技術(shù)的檳榔核中心檢測(cè)方法。該方法可以利用拍攝的二維檳榔圖片快速、精準(zhǔn)地獲取到檳榔的邊緣信息，并根據(jù)邊緣信息計(jì)算出檳榔核中心在圖像中的坐標(biāo)。算法的總體設(shè)計(jì)如圖1所示。

1.1 算法流程

算法流程主要分為三部分：先對(duì)采集到的檳榔圖像進(jìn)行預(yù)處理，得到檳榔的灰度化圖像。然后對(duì)灰度化的檳榔圖片進(jìn)行圖像分割處理，得到二值化的檳榔圖像。再根據(jù)二值化的檳榔圖像提取出檳榔最真實(shí)的邊緣信息，利用邊緣信息計(jì)算出檳榔的核中心位置坐標(biāo)，得到最終結(jié)果。

1.2 圖像預(yù)處理

先采用伽馬變換[10]對(duì)采集到的檳榔圖像進(jìn)行增強(qiáng)以提高圖像的對(duì)比度，利用灰度化加權(quán)平均法對(duì)圖像進(jìn)行灰度化處理，再使用高斯濾波得到降噪后的檳榔灰度化圖像。

1.3 檳榔邊緣信息提取

在得到檳榔的灰度化圖像后，采用自適應(yīng)閾值分割[11]的方法對(duì)圖像進(jìn)行閾值分割，利用形態(tài)學(xué)方法和面積計(jì)算的方法去除掉多余的前景噪聲，從而得到真實(shí)的檳榔前景圖像信息。在得到檳榔真實(shí)的前景圖像信息后，利用Canny邊緣檢測(cè)算法[12]提取出檳榔的邊緣信息，并根據(jù)邊緣信息畫出最小外接矩形以識(shí)別檳榔。

1.4 核中心位置計(jì)算

根據(jù)檳榔最小外接矩形四條邊中心點(diǎn)位置的坐標(biāo)求解檳榔邊緣所對(duì)應(yīng)的橢圓參數(shù)，對(duì)此橢圓求解中心即可得到檳榔的核中心位置坐標(biāo)。

2" 檳榔核中心檢測(cè)算法

2.1 檳榔圖像預(yù)處理

在采集到檳榔圖像后要對(duì)圖像進(jìn)行預(yù)處理，檳榔圖像采集的環(huán)境較為復(fù)雜，采集的圖像對(duì)比度不明顯，需要對(duì)圖像進(jìn)行增強(qiáng)以突出檳榔的主要信息。由于伽馬變換方法具有簡(jiǎn)單、適用性強(qiáng)等特性，本文采用伽馬變換對(duì)圖像進(jìn)行增強(qiáng)，其函數(shù)表達(dá)式：

s=crγ（1）

其中，s和r分別為輸出圖像像素信息和輸入圖像像素信息，c和γ為變換參數(shù)，該方法通過對(duì)圖像中檳榔區(qū)域進(jìn)行壓縮、對(duì)其他區(qū)域進(jìn)行拉伸以實(shí)現(xiàn)圖像的增強(qiáng)。

為提升檢測(cè)效率，便于圖像的后續(xù)處理，需要對(duì)圖像進(jìn)行灰度化處理，本文采用加權(quán)平均法實(shí)現(xiàn)圖像的灰度化。加權(quán)平均法是圖像灰度化中常用的方法之一，能夠在保留圖像的主要信息的情況下將彩色圖像轉(zhuǎn)換為灰度圖像。其原理是根據(jù)彩色圖像每個(gè)像素點(diǎn)的RGB值按照設(shè)定好的比例進(jìn)行加權(quán)處理，得到一個(gè)灰度值，其表達(dá)式：

H=0.299×R+0.587×G+0.114×B（2）

圖像灰度化處理后存在一些噪聲，如果不去除會(huì)對(duì)后續(xù)圖像分割的準(zhǔn)確性產(chǎn)生影響，由于噪聲較小且不連續(xù)，本文采用高斯濾波的方法。具體過程：用一個(gè)制定的模板掃描圖像中每一個(gè)像素點(diǎn)，類似于神經(jīng)網(wǎng)絡(luò)模型的卷積過程，用模板內(nèi)像素的加權(quán)平均灰度值代替中心點(diǎn)像素的值，實(shí)現(xiàn)對(duì)噪聲的濾除，其表達(dá)式：

Ig f （x，y）=（3）

其中，Wx，y表示模板的鄰域，wd為空間距離相似度權(quán)重因子。

圖2（a）是檳榔原圖，經(jīng)過伽馬變換、灰度化處理、高斯濾波等處理得到的灰度圖如圖2（b）所示。

2.2 檳榔圖像分割

為了從檳榔圖像中提取出檳榔的邊緣信息，必須對(duì)圖像進(jìn)行分割，將檳榔所在區(qū)域視為前景，其余區(qū)域視為背景，根據(jù)檳榔圖像預(yù)處理結(jié)果，將檳榔前景信息從背景中分割開。本文采用自適應(yīng)閾值分割的方法對(duì)檳榔圖像進(jìn)行閾值分割，與全閾值圖像分割方法相比，自適應(yīng)閾值中的每一個(gè)像素點(diǎn)的閾值不是固定的，通常根據(jù)周圍鄰域內(nèi)的像素值來確定，將鄰域內(nèi)圖像像素點(diǎn)進(jìn)行加權(quán)平均計(jì)算得到，閾值像素值較高的區(qū)域圖像分割的閾值會(huì)較高一些，像素值低的區(qū)域圖像分割的閾值會(huì)小一些，采用這種方法處理的圖像效果會(huì)更加明顯。

在對(duì)圖像進(jìn)行閾值分割后會(huì)有一些小的孔洞和連通區(qū)域存在。這些小孔洞和連通區(qū)域會(huì)對(duì)檳榔的識(shí)別定位產(chǎn)生影響，對(duì)于小孔洞，采用形態(tài)學(xué)的方法能較好地去除掉這些小孔洞。本文采用開運(yùn)算的方法，即先腐蝕運(yùn)算后膨脹運(yùn)算，其公式如式（4）和式（5）所示，膨脹會(huì)使目標(biāo)區(qū)域擴(kuò)大了一點(diǎn)，而腐蝕運(yùn)算會(huì)使目標(biāo)區(qū)域縮小一點(diǎn)，在對(duì)分割后的檳榔圖像進(jìn)行開運(yùn)算后，可以在不改變?cè)心繕?biāo)區(qū)域大小的情況下去除掉小孔洞。

AB={Z|（B）Z?A（4）

AB={Z|（）Z∩A≠?}（5）

如圖3（a）所示，灰度圖經(jīng)過閾值分割與形態(tài)學(xué)運(yùn)算后仍存在比較大的連通區(qū)域，用普通的方法很難去除掉，故本文設(shè)計(jì)基于面積計(jì)算的方法去除較大的連通區(qū)域。計(jì)算分割后圖像中所有連通區(qū)域的面積，設(shè)定一個(gè)面積閾值，面積較小連通區(qū)域的像素值設(shè)定與背景一樣，通過設(shè)置合適的面積閾值，使圖像中僅有檳榔的前景目標(biāo)信息，如圖3（b）所示。

在獲取到完整的檳榔前景圖像后，需要得到檳榔的邊緣信息。目前邊緣檢測(cè)的方法有多種，而基于Canny邊緣檢測(cè)算子的檢測(cè)方法因其算法簡(jiǎn)潔、實(shí)時(shí)性好、邊緣檢測(cè)精度高等特點(diǎn)受到人們的青睞。具體步驟：

1）高斯濾波

選用高斯函數(shù)表達(dá)式：

S（x，y）=exp（-）（6）

將高斯分布函數(shù)與原圖卷積運(yùn)算得到：

H（x，y）=S（x，y）×I（x，y）（7）

2）計(jì)算梯度的幅值和方向

x（i， j）=[l（i， j+1）-l（i， j）+l（i+1， j+1）-l（i+1， j）]/2

（8）

?（i， j）=[l（i， j）-l（i+1， j）+l（i， j+1）-l（i+1， j+1）]/2

（9）

（i， j）=（10）

θ（i， j）=arctan [ ] [ ]（11）

所求得梯度的幅值和方向分別為 （i， j）和θ（i， j）。

3）非極大值抑制

通過非極大值抑制將邊緣檢測(cè)中弱小的邊緣去除，使多余的邊緣消失。

4）雙閾值檢測(cè)和連接邊緣

選用高低兩個(gè)閾值來檢測(cè)強(qiáng)邊緣和弱邊緣，并對(duì)不連續(xù)的邊緣進(jìn)行連接。

如圖4（a）所示，在提取到檳榔真實(shí)的邊緣后，繪制出檳榔的最小外接矩形以識(shí)別檳榔，其結(jié)果如圖4（b）所示。

2.3 檳榔核中心位置檢測(cè)

檳榔的邊緣信息與橢圓類似，因此只要求出檳榔的邊緣所對(duì)應(yīng)橢圓的中心位置坐標(biāo)就可求出檳榔的核中心位置坐標(biāo)。對(duì)于橢圓的代數(shù)描述：

Ax2+Bxy+Cy2+Dx+Ey+F=0（12）

選取檳榔外接矩形邊上中心的幾個(gè)點(diǎn)代入式（12）求取橢圓的系數(shù)，根據(jù)式（13）和式（14）求取橢圓的中心位置坐標(biāo)xc和yc：

xc=（13）

yc=（14）

圖5（a）是檳榔原圖，在經(jīng)過圖像預(yù)處理、圖像分割、核中心位置檢測(cè)等過程后，可以識(shí)別檳榔并計(jì)算出其對(duì)應(yīng)橢圓的中心位置坐標(biāo)，該坐標(biāo)即為檳榔的核中心位置坐標(biāo)，檢測(cè)結(jié)果如圖5（b）所示。

3" 試驗(yàn)結(jié)果與分析

3.1 檳榔檢測(cè)

為驗(yàn)證基于計(jì)算機(jī)視覺技術(shù)的檳榔核中心檢測(cè)方法的有效性，針對(duì)不同背景下采集到的多種形貌的檳榔進(jìn)行檢測(cè)試驗(yàn)，檢測(cè)結(jié)果如圖6所示。

圖6中的（d）（e）（f）分別是圖6中的（a）（b）（c）的檢測(cè)結(jié)果，可以看出在白色背景下，由于檳榔像素與背景像素的對(duì)比度較大，在進(jìn)行閾值分割時(shí)能夠提取較為完整的檳榔邊緣信息。圖6中的（j）（k）分別是圖6中的（g）（h）的檢測(cè)結(jié)果，可以看出對(duì)于黑色背景下切開的檳榔，由于切口處的像素值與背景像素值的對(duì)比度比較明顯，獲取檳榔的邊緣信息也比較完整。如圖6中的（i）和（l）所示，相較于白色背景，對(duì)于未切開的多目標(biāo)檳榔，黑色背景下提取的檳榔邊緣信息存在失真的情況，這是由于黑色背景與未切開檳榔像素的對(duì)比度較小，在進(jìn)行閾值分割時(shí)較難分割出完整的檳榔前景信息，進(jìn)行邊緣提取時(shí)也容易將檳榔表面的紋理當(dāng)作真實(shí)的邊緣，使得獲取檳榔的邊緣信息存在失真的情況，但在這種情況下仍能精準(zhǔn)地識(shí)別檳榔并檢測(cè)出檳榔的核中心位置。從圖6可以看出，無論在白色背景還是黑色背景下，基于計(jì)算機(jī)視覺技術(shù)的檳榔核中心核檢測(cè)方法都能識(shí)別出任意形貌的檳榔并檢測(cè)出檳榔的核中心位置在圖像中的坐標(biāo)。

3.2 檳榔檢測(cè)效率分析

為驗(yàn)證基于計(jì)算機(jī)視覺技術(shù)的檳榔核中心檢測(cè)方法在實(shí)際生產(chǎn)過程中的適用性，本文對(duì)擺盤后的檳榔進(jìn)行了試驗(yàn)，結(jié)果如圖7所示。圖7（a）為裝盤后的檳榔原圖，圖7（b）為裝盤后的檳榔核中心位置的檢測(cè)結(jié)果，從圖7（b）可以看出，基于計(jì)算機(jī)視覺技術(shù)的檳榔核中心檢測(cè)方法能夠識(shí)別出圖7（a）中的80顆檳榔并檢測(cè)出每顆檳榔的核中心位置。為進(jìn)一步驗(yàn)證基于計(jì)算機(jī)視覺技術(shù)的檳榔核中心檢測(cè)方法的檢測(cè)效果，針對(duì)擺盤后的檳榔進(jìn)行了6次試驗(yàn)，每次擺盤的檳榔數(shù)目都不同，并對(duì)檳榔識(shí)別精度、核中心位置檢出率、檢測(cè)效率等方面進(jìn)行分析，結(jié)果如表1所示。

從表1的檳榔識(shí)別檢測(cè)參數(shù)統(tǒng)計(jì)可以看出，基于計(jì)算機(jī)視覺技術(shù)的檳榔核中心檢測(cè)方法，在檳榔的識(shí)別精度與核中心位置檢出率方面均達(dá)到100%，檢測(cè)時(shí)間控制在0.45 ms以內(nèi)，檢測(cè)效果較好，能夠滿足實(shí)際工業(yè)生產(chǎn)需求。

4" 結(jié)論

針對(duì)檳榔去核、點(diǎn)鹵工藝中核中心位置檢測(cè)困難的問題，本文提出了一種基于計(jì)算機(jī)視覺技術(shù)的檳榔核中心位置檢測(cè)方法，對(duì)采集到的圖像進(jìn)行預(yù)處理、閾值分割、邊緣檢測(cè)等操作，根據(jù)檳榔橢圓形狀的代數(shù)描述計(jì)算出檳榔核中心位置坐標(biāo)。研究發(fā)現(xiàn)，基于計(jì)算機(jī)視覺技術(shù)的檳榔核中心檢測(cè)方法可以快速、精準(zhǔn)地識(shí)別檳榔并檢測(cè)出檳榔的核中心位置坐標(biāo)，檢測(cè)效果較好，可以滿足實(shí)際工業(yè)生產(chǎn)需求。在未來的工作中，計(jì)劃在檳榔擺放角度等信息開展檢測(cè)研究，為檳榔自動(dòng)化擺盤工藝中存在的問題提供解決方案。

參考文獻(xiàn)：

[1]" 舒軍，王祥，舒心怡.基于YOLACT++的檳榔檢測(cè)算法研究[J].湖北工業(yè)大學(xué)學(xué)報(bào)，2022，37（4）：29-35.

[2]" YANG C， WANG X Z， YAO L N， et al. Attentional gated Res2Net for multivariate time series classification[J].Neural Processing Letters，2022，55（2）：1371-1395.

[3]" 許月明，蔡健榮，龔瑩輝.基于計(jì)算機(jī)視覺的檳榔分級(jí)研究[J].食品與機(jī)械，2016，32（8）：91-94，102.

[4]" 李志臣，凌秀軍，李鴻秋.基于卷積神經(jīng)網(wǎng)絡(luò)的檳榔分級(jí)方法研究[J].中國農(nóng)機(jī)化學(xué)報(bào)，2023，44（10）：194-200，230.

[5]" 趙夢(mèng)軍.關(guān)于細(xì)粒度和特征參數(shù)的檳榔品相分級(jí)算法研究[D].長沙：湖南大學(xué)，2022：10-49.

[6]" 朱澤敏，張東波，張瑩，等.基于語義分割的檳榔內(nèi)核輪廓檢測(cè)[J].計(jì)算技術(shù)與自動(dòng)化，2019，38（4）：105-112.

[7]" 代云，盧明，何婷，等.基于改進(jìn)型YOLO的密集環(huán)境下檳榔果實(shí)的快速識(shí)別方法[J].食品與機(jī)械，2023，39（4）：83-88.

[8]" SUN S N， HAN L S，WEI J， et al. ShuffleNetv2-YOLOv3： a real-time recognition method of static sign language based on a lightweight network[J].Signal， Image and Video Processing，2023，17（6）：2721-2729.

[9]" 余錦淼，吳靜靜.基于結(jié)構(gòu)光3D視覺的檳榔姿態(tài)識(shí)別與定位系統(tǒng)[J].激光與光電子學(xué)進(jìn)展，2023，60（16）：331-341.

[10] 胡茄乾，何超群，龔翼飛，等.基于融合伽馬變換全卷積神經(jīng)網(wǎng)絡(luò)的火星地貌分割方法[J].上海航天（中英文），2023，40（1）：11-18.

[11] 尹震宇，尹聰，張飛青，等.結(jié)合自適應(yīng)閾值與動(dòng)態(tài)ROI的地標(biāo)線檢測(cè)方法[J].小型微型計(jì)算機(jī)系統(tǒng)，2024，45（2）：345-350.

[12] FAHEEM Z B， ISHAQ A， RUSTAM F， et al. Image watermarking using least significant bit and canny edge detection[J].Sensors，2023，23（3）：1210-1210.