王萬(wàn)亮 江高飛 嚴(yán)江偉 薛衛(wèi)

摘要：? 針對(duì)花粉、孢子圖像特征復(fù)雜，樣本稀缺及種類繁多制約圖像檢測(cè)識(shí)別效果的問(wèn)題，建立基于自適應(yīng)閾值分割的pix2pix圖像增廣模型。首先基于卷積評(píng)價(jià)改進(jìn)自適應(yīng)閾值分割算法，擇優(yōu)選取語(yǔ)義分割圖像;其次構(gòu)建pix2pix圖像增廣模型，將語(yǔ)義分割圖像和原始圖像建立標(biāo)簽映射用于模型訓(xùn)練，根據(jù)語(yǔ)義分割圖像生成仿真圖像，擴(kuò)充樣本數(shù)據(jù)集。結(jié)果表明，以149種花粉、孢子圖像為樣本，通過(guò)圖像增廣模型生成的花粉、孢子圖像整體相似度達(dá)到85.40%;圖像增廣前Faster RCNN、YOLOv3檢測(cè)模型的檢測(cè)精準(zhǔn)率分別為86.18%、85.64%，使用增廣后的樣本訓(xùn)練模型，檢測(cè)精準(zhǔn)率分別達(dá)到92.16%、90.57%，提升5.98個(gè)百分點(diǎn)和4.93個(gè)百分點(diǎn)。

關(guān)鍵詞：? 花粉檢測(cè); 圖像增廣; 圖像分割; pix2pix網(wǎng)絡(luò)

中圖分類號(hào)：? S126??? 文獻(xiàn)標(biāo)識(shí)碼： A??? 文章編號(hào)：? 1000-4440（2021）05-1190-09

Augmented algorithm for pollen and spore images based on convolution evaluation and pix2pix network

WANG Wan-liang? 1 ， JIANG Gao-fei? 2 ， YAN Jiang-wei? 3 ， XUE Wei? 1

（1.School of Artificial Intelligence， Nanjing Agricultural University， Nanjing 210095， China; 2.College of Resources and Environmental Sciences， Nanjing Agricultural University， Nanjing 210095， China; 3.School of Forensic Medicine， Shanxi Medical University， Taiyuan 030001， China）

Abstract：? Aiming at the problems such as complex image features of pollens and spores， scarcity of image samples， restricted detection and recognition effects of various images of pollens and spores， a pix2pix image augmentation model based on adaptive threshold segmentation was built. Firstly， the adaptive threshold segmentation algorithm was improved based on convolution evaluation to select the optimal semantic segmentation images of pollens and spores. Secondly， the pix2pix image augmentation model was constructed， the semantic segmentation images and the original images were used to establish label mapping for model training， and emulational pollen and spore images were generated based on semantic segmentation images to extend sample dataset. The results showed that， the overall similarity of 149 pollen and spore images generated by the image augmentation model reached 85.40%. Before image enlargement， the detection accuracies of Faster RCNN and YOLOv3 detection models were 86.18% and 85.64%， respectively. After using the enlarged sample training model， the accuracies reached 92.16% and 90.57%， which increased by 5.98 and 4.93 percentages.

Key words：? pollen detection; image augmentation; image segmentation; pix2pix network

花粉、孢子種類多，常見(jiàn)的花粉、孢子類別鑒別手段基于細(xì)胞學(xué)檢測(cè)? [1] 。但即便是從事花粉學(xué)研究的植物學(xué)家、法醫(yī)專家和一線科技工作者，也很難有效識(shí)別如此繁多的花粉類型?？紤]到顯微鏡下人工觀察統(tǒng)計(jì)玻片的工作量較大，通過(guò)計(jì)算機(jī)圖像處理技術(shù)實(shí)現(xiàn)快速、高效花粉、孢子檢測(cè)就具有重要的現(xiàn)實(shí)意義，將會(huì)給予該領(lǐng)域?qū)W者的研究工作提供較大幫助。

近年來(lái)，國(guó)內(nèi)外針對(duì)花粉、孢子圖像的計(jì)算機(jī)檢測(cè)識(shí)別方法屢見(jiàn)不鮮。劉惠等? [2] 選取了3種紋理特征、3種顏色特征和5種形狀特征，基于PCA與BP神經(jīng)網(wǎng)絡(luò)識(shí)別萬(wàn)壽菊黑斑病病菌孢子。謝永華等? [3] 利用離散二進(jìn)小波變換獲取圖像突變點(diǎn)，并計(jì)算具有方向的鄰域幾何約束關(guān)系，最后通過(guò)直方圖統(tǒng)計(jì)特征描述識(shí)別花粉圖像。上述方法主要針對(duì)少量類別孢子識(shí)別檢測(cè)，首先對(duì)花粉、孢子圖像進(jìn)行預(yù)處理，其次提取花粉、孢子圖像的紋理、邊緣、顏色等特征，最后應(yīng)用經(jīng)驗(yàn)知識(shí)及機(jī)器學(xué)習(xí)算法進(jìn)行判別。此類方法依賴設(shè)計(jì)者人工選取合適的特征進(jìn)行參照，面對(duì)多類別的花粉、孢子時(shí)效果不夠理想，通用性不高。

深度學(xué)習(xí)? [4-9] 的發(fā)展給目標(biāo)檢測(cè)識(shí)別提供了新的思維和方法，研究最為廣泛的就是卷積神經(jīng)網(wǎng)絡(luò)? [10-17] ，在花粉、孢子檢測(cè)領(lǐng)域已經(jīng)有所應(yīng)用。Ramon等通過(guò)標(biāo)記花粉、孢子圖像，提出了利用卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)建立深度學(xué)習(xí)模型檢測(cè)花粉、孢子，精準(zhǔn)率達(dá)到89%? [18] 。Voactor等在卷積神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上，研究了基于遷移學(xué)習(xí)，基于特征提取，基于遷移學(xué)習(xí)和特征提取的孢子檢測(cè)方法，并進(jìn)行了論證比較? [19] 。上述方法通過(guò)卷積神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)了10余種花粉、孢子的檢測(cè)并取得了較高的準(zhǔn)確率，涵蓋的花粉、孢子類別有所擴(kuò)展但不夠豐富，用于構(gòu)建深度學(xué)習(xí)模型的孢子圖像數(shù)據(jù)集存在一些缺陷，表現(xiàn)為花粉、孢子種類少、數(shù)據(jù)不平衡及圖像質(zhì)量差。深度學(xué)習(xí)算法的優(yōu)良性能依賴于全面的訓(xùn)練數(shù)據(jù)集，數(shù)據(jù)集缺陷使得孢子檢測(cè)更加困難。

為了解決花粉、孢子數(shù)據(jù)集缺陷和多類別孢子檢測(cè)問(wèn)題，本研究基于深度學(xué)習(xí)的圖像增廣模型，利用pix2pix網(wǎng)絡(luò)構(gòu)建孢子的圖像增廣模型擴(kuò)充孢子的樣本數(shù)據(jù)集，通過(guò)深度學(xué)習(xí)的方法增強(qiáng)花粉孢子的樣本，提升花粉檢測(cè)的效果。

1 材料和方法

1.1 花粉、孢子圖片數(shù)據(jù)集

本研究中花粉、孢子圖片主要來(lái)自于PalDat（https：//www.paldat.org）和Global Pollen Project（https：//globalpollenproject.org）? [20] ?，總計(jì) 1 980 類別， 14 055 張花粉、孢子圖像。使用labelImg工具標(biāo)記花粉、孢子，生成PASCAL VOC格式文件，便于后續(xù)花粉、孢子圖像的定位及增廣和花粉、孢子識(shí)別模型的訓(xùn)練。剔除重復(fù)、不清晰及有效花粉、孢子數(shù)量小于5的樣本數(shù)據(jù)，最終確定Protium、Serjania和Anadenanthera等 3個(gè)門類、13個(gè)科、149種不同類型的花粉、孢子圖像作為數(shù)據(jù)源，總計(jì) 1 181 張圖像，標(biāo)記 2 246 個(gè)花粉、孢子，其中單類別花粉、孢子最少有5張圖像。花粉、孢子族譜關(guān)系自上而下可以分為門（phylum）、綱（class）、目（order）、科（family）、屬（genus）、種（Species）等。由于篇幅有限，將149種花粉、孢子類別按照所屬綱目進(jìn)行歸類，統(tǒng)計(jì)數(shù)據(jù)見(jiàn)圖1，其中Angiospermae綱目包含的花粉、孢子圖像及孢子類別數(shù)最多，Equisetopsida綱目包含的花粉、孢子圖像及花粉、孢子類別數(shù)最少。

1.2 算法流程

算法包括數(shù)據(jù)集制作、語(yǔ)義分割，圖像增廣與花粉、孢子檢測(cè)4個(gè)方面，整體流程如圖2所示。首先采集花粉、孢子圖像，標(biāo)注花粉、孢子制作數(shù)據(jù)集;其次通過(guò)語(yǔ)義分割，提取花粉、孢子的多尺度語(yǔ)義分割圖像;每個(gè)花粉、孢子的部分語(yǔ)義分割圖像與原始圖像構(gòu)成語(yǔ)義映射標(biāo)簽作為圖像增廣模型的訓(xùn)練數(shù)據(jù)集，另一部分語(yǔ)義分割圖像用于生成花粉、孢子的仿真圖像，達(dá)到擴(kuò)充樣本目的;最后使用擴(kuò)充后的樣本來(lái)訓(xùn)練和驗(yàn)證花粉、孢子檢測(cè)模型。

1.3 基于卷積評(píng)價(jià)的自適應(yīng)閾值分割方法

精準(zhǔn)語(yǔ)義分割圖像是花粉、孢子圖像增廣模型的基礎(chǔ)?；诰矸e評(píng)價(jià)的自適應(yīng)圖像分割算法分為2步：自適應(yīng)閾值分割圖與卷積評(píng)價(jià)。如圖3所示，首先根據(jù)原始圖像生成灰化圖，使用不同的鄰域分割灰化圖自適應(yīng)閾值，生成若干張二值化分割圖;再利用卷積模板分別提取原始灰化圖像和二值化分割圖像的特征，并計(jì)算分割圖與灰化圖的矩陣距離，擇優(yōu)保留距離差較小的分割圖像。

1.3.1 自適應(yīng)閾值分割圖? 自適應(yīng)閾值分割主要基于圖像的局部特征，計(jì)算出最佳的分割閾值，不同鄰域的局部特征迥異，分割閾值存在差異。本研究使用遍歷法，設(shè)置鄰域范圍為1至輸入圖像尺寸的1/8，鄰域步長(zhǎng)為2，不斷迭代生成若干張不同的二值化分割圖像。

1.3.2 卷積評(píng)價(jià)? 分別基于高斯卷積? [21] 模板和拉普拉斯卷積? [22] 模板提取灰化圖像和各個(gè)分割圖像的特征，使用曼哈頓距離公式計(jì)算卷積提取特征的距離差，選取距離差較小的分割圖像作為最佳語(yǔ)義分割。

其中高斯卷積將接近中心的點(diǎn)賦予較大的權(quán)重，遠(yuǎn)離中心的點(diǎn)賦予較小的權(quán)重，能夠降低圖像噪點(diǎn)的敏感性，高斯卷積模板如下：

1 2 1 2 4 2 1 2 1? （1）

拉普拉斯卷積反映圖像某個(gè)像素的鄰域突變程度，增強(qiáng)圖像的細(xì)節(jié)，能夠突出圖像的邊緣和鄰域特征，拉普拉斯卷積模板如下：

-1 -1 -1 -1? 8? -1 -1 -1 -1? （2）

曼哈頓距離公式計(jì)算簡(jiǎn)單，處理速率較快。基于灰化圖和分割圖，分別計(jì)算高斯卷積模板及拉普拉斯卷積模板下的特征距離差。建立度量評(píng)價(jià)體系，最終保留總距離差較小的分割圖像。特征距離計(jì)算公式為：

d（x，y）=|g（x）-g（y）|+|l（x）-l（y）|? （3）

式中 g（x） 、 g（y） 分別為灰化圖、分割圖的高斯卷積特征矩陣， l（x） 、 l（y） 分別為灰化圖、分割圖的拉普拉斯卷積特征矩陣，兩類特征間的距離差取絕對(duì)值相加之后即為總距離差。

1.3.3 圖像分割結(jié)果? 常見(jiàn)的圖像分割方法主要基于區(qū)域、閾值和邊緣檢測(cè)對(duì)圖像進(jìn)行分割? [23] 。相較于上述分割方法，本研究的算法分割圖像能夠更加接近花粉、孢子圖像的主體框架和輪廓，應(yīng)對(duì)不同類型的花粉、孢子圖像具有更強(qiáng)的魯棒性，分割效果如圖4f所示。圖4b為Otsu閾值法? [24] 分割效果，利用圖像的灰度特性，尋找圖像的前景和背景的最大類間差，確定最佳的分割閾值?；ǚ?、孢子圖像前景特征豐富，難以確定有效的分割閾值。圖4c為區(qū)域生長(zhǎng)算法? [25] 分割效果，選取某個(gè)像素點(diǎn)作為種子點(diǎn)，將具有相似特性的像素連接起來(lái)形成區(qū)域?；ǚ?、孢子圖像紋理復(fù)雜，很多場(chǎng)景該算法只能分割出花粉、孢子圖像的部分輪廓。圖4d是Canny邊緣檢測(cè)? [26] 效果，利用邊緣信息將變化的邊界分割出來(lái)?；ǚ?、孢子圖像有比較復(fù)雜的連通區(qū)域，邊緣分割產(chǎn)生大量小區(qū)域，破壞花粉、孢子的整體框架。圖4e為自適應(yīng)閾值法? [27] 分割效果，根據(jù)像素點(diǎn)鄰域提取圖像的部分區(qū)域，分析區(qū)域內(nèi)圖像特征，進(jìn)行分割。受限于花粉、孢子圖像的鄰域及閾值不同，使用固定的鄰域及閾值無(wú)法求得每種花粉、孢子圖像分割的最優(yōu)解，分割容易產(chǎn)生大量小噪點(diǎn)，輪廓缺失。針對(duì)每個(gè)花粉、孢子圖像，保留評(píng)價(jià)最佳的6個(gè)語(yǔ)義分割圖像，用于后續(xù)的圖像增廣。選取4組花粉、孢子（圖5），語(yǔ)義分割圖像與原始圖像的基本輪廓一致，噪點(diǎn)及紋理細(xì)節(jié)存在微小區(qū)別。

1.4 基于pix2pix網(wǎng)絡(luò)的圖像增廣算法

pix2pix網(wǎng)絡(luò)? [28] 圖像增廣算法基于生成對(duì)抗思想，結(jié)合條件生成網(wǎng)絡(luò)，通過(guò)成對(duì)匹配的語(yǔ)義映射關(guān)系，實(shí)現(xiàn)2個(gè)領(lǐng)域中匹配圖像直接轉(zhuǎn)換。輸入為語(yǔ)義分割圖和對(duì)應(yīng)的原始圖像，生成器根據(jù)分割圖生成仿真圖像。分割圖像和仿真圖像作為判別器的輸入，生成器和判別器互相博弈，使生成的仿真圖像不斷接近真實(shí)圖像。基于語(yǔ)義分割圖，針對(duì)每個(gè)花粉、孢子圖像，選取其中20%語(yǔ)義分割圖像和原始圖像建立標(biāo)簽映射關(guān)系。然后以標(biāo)簽映射作為圖像合成的約束條件分別作為pix2pix網(wǎng)絡(luò)圖像增廣模型的訓(xùn)練數(shù)據(jù)集和驗(yàn)證數(shù)據(jù)集。最后使用剩余80%語(yǔ)義分割圖調(diào)用pix2pix網(wǎng)絡(luò)圖像增廣模型生成仿真的花粉、孢子圖像，擴(kuò)充花粉、孢子圖像的數(shù)據(jù)集。

1.4.1 生成器? 生成器的輸出為花粉、孢子的仿真圖像，其網(wǎng)絡(luò)模型基于U-net結(jié)構(gòu)，該結(jié)構(gòu)參照具有對(duì)稱性的編碼-解碼模型設(shè)計(jì)。U-Net結(jié)構(gòu)的不同之處是將第 i 層和第 n-i 層連接起來(lái)，其中 n 是總層數(shù)，這種連接方式稱為跳過(guò)連接。U-Net結(jié)構(gòu)通過(guò)卷積和池化下采樣提取特征信息，使用轉(zhuǎn)置卷積來(lái)上采樣并裁剪之前的低層特征圖進(jìn)行融合用來(lái)生成仿真圖像，U-Net圖像細(xì)節(jié)提升明顯。編碼部分采用8個(gè)卷積核大小為4、步長(zhǎng)為2的卷積層，不斷對(duì)特征圖進(jìn)行下采樣操作以進(jìn)行編碼，使用BN層歸一化從而加速網(wǎng)絡(luò)的收斂，再通過(guò)Relu函數(shù)對(duì)特征圖進(jìn)行激活操作。解碼部分采用8個(gè)卷積核大小為4、步長(zhǎng)為2的反卷積層，不斷對(duì)特征進(jìn)行空間擴(kuò)充，使其恢復(fù)為原始的輸入大小，再通過(guò)Tanh函數(shù)對(duì)特征圖進(jìn)行激活操作。

1.4.2 判別器? pix2pix判別器使用patchGAN結(jié)構(gòu)，將圖像等分成若干個(gè)固定大小的patch，分別判斷每個(gè)patch的真假，再取平均值作為判別器的輸出。該判別器使用步長(zhǎng)為2的跨步卷積與普通卷積操作不斷對(duì)圖像進(jìn)行下采樣，最終得到一個(gè)大小為30×30的patch，該patch對(duì)應(yīng)著原圖30×30個(gè)圖像塊，patch中每個(gè)位置的取值代表判別器對(duì)其對(duì)應(yīng)塊的判別結(jié)果。

1.4.3 圖像增廣評(píng)價(jià)

1.4.3.1 結(jié)構(gòu)相似性 用結(jié)構(gòu)相似性模型（SSIM）? [29] 將失真信息建模為圖像亮度信息、對(duì)比度信息和結(jié)構(gòu)信息的組合。亮度信息 l（x，y） 、對(duì)比度信息 c（x，y） 和結(jié)構(gòu)信息 s（x，y） 分別用下列公式計(jì)算：

l（x，y）= 2μ xμ y+C 1 μ 2 x+μ 2 y+C 1 ??（4）

c（x，y）= 2σ xσ y+C 2 σ 2 x+σ 2 y+C 2 ??（5）

s（x，y）= σ? xy +C 3 σ xσ y+C 3 ??（6）

式中 μ? x? 和 μ? y? 反映花粉、孢子圖像的亮度均值信息， σ? x? 和 σ? y? 反映花粉、孢子圖像的對(duì)比度方差， σ? xy? 是反映兩幅圖像的結(jié)構(gòu)信息相關(guān)系數(shù)， C? 1? 、 C? 2? 和 C? 3? 為常量系數(shù)。綜合上述3類信息計(jì)算2幅圖的結(jié)構(gòu)相似性（ SSIM ）：

SSIM（x，y，z）=[l（x，y）] α[c（x，y）] β[s（x，y）] γ? （7）

1.4.3.2 增廣結(jié)果? 利用pix2pix網(wǎng)絡(luò)對(duì)花粉孢子的原始圖像（圖6a）進(jìn)行增廣生成仿真圖像。如圖6b～6e所示，pix2pix模型生成的仿真圖像與原始圖像存在較高的相似性，前景、背景基本一致?；ǚ?、孢子數(shù)據(jù)集由最初的 1 181 張圖像、擴(kuò)充至 5 905 張圖像;單個(gè)類別最少的花粉、孢子圖像由5張擴(kuò)充至25張，數(shù)據(jù)樣本得到顯著增廣。

使用結(jié)構(gòu)相似性模型計(jì)算原始圖像與仿真圖像的相似度，整體平均相似度達(dá)到85.4%;綱目Pinopsida相似度平均值最高，達(dá)到91.48%;綱目Campanulids相似度平均值最低，達(dá)到81.1%;綱目Pinopsida相似度中位值最高，達(dá)到93.28%;綱目Basal core eudicots相似度中位值最低，達(dá)到79.44%。各個(gè)花粉、孢子綱目相似度分布如圖7所示。

2 結(jié) 果

基于花粉、孢子圖像增廣數(shù)據(jù)集，選取Faster RCNN? [30] 、YOLOv3? [31] 模型建立花粉、孢子檢測(cè)算法，用來(lái)驗(yàn)證本文圖像增廣算法對(duì)于提升花粉、孢子檢測(cè)效果的有效性。

Faster RCNN是兩階段目標(biāo)檢測(cè)算法，基于CNN? [32] 的方法可以從花粉、孢子圖像樣本中學(xué)習(xí)特征，提取與圖像更相符的特征，提高檢測(cè)準(zhǔn)確度。VGG16網(wǎng)絡(luò)? [33] 的結(jié)構(gòu)相對(duì)簡(jiǎn)單，性能比較高效。具體工作流程為：輸入花粉、孢子圖像并調(diào)整尺寸大小后送入卷積層，通過(guò)卷積層獲得花粉、孢子圖像的特征圖，RPN從特征圖中生成若干個(gè)候選框。再通過(guò)ROI pooling層提取候選框和卷積層輸出的特征圖。最后將其送入全連接層進(jìn)行分類和回歸。

另一種以YOLOv3為代表的單階段目標(biāo)檢測(cè)算法，YOLOv3算法基于Darknet53網(wǎng)絡(luò)結(jié)構(gòu)，借鑒殘差網(wǎng)絡(luò)思想優(yōu)化特征提取過(guò)程，輸出多尺度特征; YOLOv3算法采用多尺度預(yù)測(cè)網(wǎng)絡(luò)，將提取的特征進(jìn)行回歸，確定目標(biāo)邊框的位置、類別、置信度，最后使用非極大值抑制算法保留置信度高的預(yù)測(cè)框。

2.1 檢測(cè)評(píng)價(jià)指標(biāo)

為了檢驗(yàn)花粉、孢子的識(shí)別效果，采用機(jī)器學(xué)習(xí)常見(jiàn)的3種指標(biāo)，分別為準(zhǔn)確率（ Accuracy ）、精準(zhǔn)率（ Precision ）、召回率 （Recall ），計(jì)算公式如下：

Accuracy = ?TP+TN TP+TN+FP+FN? ?（8）

Precision=?? TP TP+FP? ?（9）

Recall = ?TP TP+FN? ?（10）

上述公式中 TP 為正確識(shí)別正樣數(shù)量， FP 為錯(cuò)誤識(shí)別正樣本數(shù)量， TN 為正確識(shí)別負(fù)樣本數(shù)量， FN 為錯(cuò)誤識(shí)別負(fù)樣本數(shù)量。

2.2 花粉、孢子檢測(cè)結(jié)果

為了驗(yàn)證花粉、孢子圖像增廣對(duì)花粉、孢子識(shí)別的影響，基于149種花粉、孢子分別構(gòu)建了增廣前和增廣后的數(shù)據(jù)集，分別按照 8∶ 2劃分訓(xùn)練數(shù)據(jù)集和測(cè)試數(shù)據(jù)集。再使用檢測(cè)模型對(duì)比圖像增廣前后花粉、孢子檢測(cè)效果。由于篇幅有限，本研究?jī)H列舉部分花粉、孢子類別作為示意圖。以Faster RCNN檢測(cè)模型為例，主要列舉ilex aquifolium、asplenium hemionitis、andryala pinnatifida、gevuina avellana等10種花粉、孢子的檢測(cè)效果，其中圖8a、圖8c為圖像增廣前花粉、孢子檢測(cè)效果，圖8b、圖8d為為增廣后花粉、孢子檢測(cè)效果。

以YOLOv3檢測(cè)模型為例，主要列舉soldanella alpina、salacia chlorantha、mitraria coccinea、atriplex portulacoides等10種花粉、孢子的檢測(cè)效果，其中圖9a、圖9c為圖像增廣前花粉、孢子檢測(cè)效果，圖9b、圖9d為增廣后花粉、孢子檢測(cè)效果。

從圖8、圖9中對(duì)比可以得出，經(jīng)過(guò)圖像增廣后，原有無(wú)法識(shí)別或錯(cuò)誤識(shí)別的部分花粉、孢子圖像能夠被準(zhǔn)確檢測(cè)，圖像檢測(cè)結(jié)果對(duì)比顯示經(jīng)過(guò)增廣后花粉、孢子圖像的識(shí)別效果顯著提高?；贔aster RCNN檢測(cè)模型，經(jīng)過(guò)增廣后圖像識(shí)別的準(zhǔn)確率、精準(zhǔn)率、召回率分別提升3.81個(gè)百分點(diǎn)、5.98個(gè)百分點(diǎn)、2.06個(gè)百分點(diǎn);基于YOLOv3檢測(cè)模型，經(jīng)過(guò)增廣后圖像識(shí)別的準(zhǔn)確率、精準(zhǔn)率、召回率則分別提升3.58個(gè)百分點(diǎn)、4.93個(gè)百分點(diǎn)、2.22個(gè)百分點(diǎn)（圖10）。

3 討 論

本研究建立卷積評(píng)價(jià)機(jī)制改進(jìn)自適應(yīng)閾值的花粉、孢子圖像分割算法? [27] ，利用圖像卷積計(jì)算后的距離差為度量標(biāo)準(zhǔn)擇優(yōu)選取語(yǔ)義分割圖像，相對(duì)于常見(jiàn)的Otsu閾值分割法、區(qū)域生長(zhǎng)閾值分割法、Canny邊緣分割法和自適應(yīng)閾值分割法有更高的分割精準(zhǔn)度，有助于圖像增廣模型生成細(xì)節(jié)更逼真的孢子圖像。

基于Pix2Pix網(wǎng)絡(luò)? [28] 的花粉、孢子圖像增廣模型，生成器使用U-Net結(jié)構(gòu)，能夠多層次提取特征并綜合;判別器借鑒PatchGAN結(jié)構(gòu)，能夠突出圖像細(xì)節(jié)。而傳統(tǒng)圖像增廣主要通過(guò)旋轉(zhuǎn)、翻轉(zhuǎn)、平移等方式擴(kuò)充樣本數(shù)據(jù)集，本質(zhì)是同一張圖像，獲得的信息增益有限。相對(duì)于GAN、CAGN、ACGAN模型，結(jié)合語(yǔ)義分割圖像的Pix2Pix增廣模型，生成的花粉、孢子圖像輪廓、紋理、主體結(jié)構(gòu)更加逼真。

利用圖像增廣后的樣本數(shù)據(jù)集訓(xùn)練Faster RCNN、YOLOv3花粉、孢子檢測(cè)模型，能夠有效提升花粉、孢子檢測(cè)效果。此前基于神經(jīng)網(wǎng)絡(luò)的花粉、孢子檢測(cè)? [18] 主要涉及10余種類別，精準(zhǔn)率89%，拓展花粉、孢子類別后精準(zhǔn)率有所下降。本研究算法在149種類別花粉、孢子的基礎(chǔ)上，基于Faster RCNN及YOLOv3檢測(cè)模型的檢測(cè)精準(zhǔn)率分別達(dá)到92.16%、90.57%，拓展花粉、孢子檢測(cè)類別的背景下能夠取得更高的精準(zhǔn)率。

本研究算法解決了實(shí)際應(yīng)用中花粉、孢子采樣難、樣本少、種類繁多的難題，為基于圖像處理技術(shù)的花粉、孢子或其他顯微鏡下目標(biāo)檢測(cè)提供了科學(xué)依據(jù)，具有較高的研究應(yīng)用價(jià)值。但是當(dāng)前的算法涉及階段多，工作流程長(zhǎng)。后續(xù)研究中將把花粉、孢子圖像增廣模型和花粉、孢子圖像檢測(cè)模型融合，建立圖像增廣與花粉、孢子檢測(cè)一體化模型。

參考文獻(xiàn)：

[1]? 吳瑞民，李朝獻(xiàn)，李妤蓉. 5種快速方法檢測(cè)真菌孢子的比較[J]. 國(guó)際檢驗(yàn)醫(yī)學(xué)雜志，2015，36（9）：1257-1258.

[2] 劉 惠，冀榮華，祁力鈞，等. 基于PCA和BP神經(jīng)網(wǎng)絡(luò)的萬(wàn)壽菊黑斑病孢子識(shí)別[J].中國(guó)農(nóng)業(yè)大學(xué)學(xué)報(bào)，2015，20（6）：263-268.

[3] 謝永華，趙賢國(guó)，王 琢. 基于突變點(diǎn)幾何約束直方圖的花粉圖像識(shí)別[J]. 計(jì)算機(jī)仿真， 2018，35（12）：411-416.

[4] GEETHA N K， BRIDJESH P. Overview of machine learning and its adaptability in mechanical engineering[J]. Materials Today： Proceedings，2020，9：611-617.

[5] RONG C. A summary of research on deep learning in time series learning methods[J]. International Core Journal of Engineering， 2020， 6（9）：24-30.

[6] LECROSNIER L， KHEMMAR R， RAGOT N， et al. Deep learning-based object detection， localisation and tracking for smart wheelchair healthcare mobility[J]. International Journal of Environmental Research and Public Health，2020， 18（1）：91-99.

[7] YANG J， LI S B， WANG Z， et al. Using deep learning to detect defects in manufacturing： A comprehensive survey and current challenges[J]. Materials （Basel， Switzerland），2020， 13（24）：55-57.

[8] MING-FONG T， HUNG-JU T. Enhancing the identification accuracy of deep learning object detection using natural language processing[J]. The Journal of Supercomputing，2021，20（3）：525-527.

[9] ITO S， ANDO K， KOBAYASHI K， et al. Automated detection of spinal schwannomas utilizing deep learning based on object detection from magnetic resonance imaging[J]. Spine， 2021， 46（2）：195-200.

[10] ZENG Y N， DUAN Q W， CHEN X R， et al. UAVData： A dataset for unmanned aerial vehicle detection[J]. Soft Computing，2021， 25：5385-5393.

[11] HU J Y， RICHARD S C J， ZHANG J S. Saliency-based YOLO for single target detection[J]. Knowledge and Information Systems，2021，63 ：717-732.

[12] KARIM S， ZHANG Y， YIN S L， et al. Auxiliary bounding box regression for object detection in optical remote sensing imagery[J]. Sensing and Imaging，2021， 22（1）：305-315.

[13] SONG Z N， SUI H G， LI H. A hierarchical object detection method in large-scale optical remote sensing satellite imagery using saliency detection and CNN[J]. International Journal of Remote Sensing， 2021， 42（8）：2827-2847.

[14] ZHOU S R， JIA Q. Enhanced SSD with interactive multi-scale attention features for object detection[J]. Multimedia Tools and Applications，2021，80（11）：539-556.

[15] LI H， DONG Y， XU L W， et al. Object detection method based on global feature augmentation and adaptive regression in IoT[J]. Neural Computing and Applications，2021， 33（4）：119-131.

[16] OMARA I， HAGAG A， MA G Z， et al. A novel approach for ear recognition： learning Mahalanobis distance features from deep CNNs[J]. Machine Vision and Applications，2021， 38（20）：1155-1160.

[17] GAO J F， QUMMAR S， ZHANG J M， et al. Ensemble framework of deep CNNs for diabetic retinopathy detection[J]. Computational Intelligence and Neuroscience， 2020，8（6）：698-709.

[18] RAMON G C，CARLOS J G O， ANTONIO G M， et al. Precise pollen grain detection in bright field microscopy using deep learning techniques [J].Sensors， 2019， 19（3）： 583-595.

[19] VOACTOR S， JOSE A L， AZNARTE I D. Improving classification of pollen grain images of the POLEN23E dataset through three different applications of deep learning convolutional neural networks[J]. PLoS One，2018，13（9）： 107-120.

[20] 潘浩晨，舒軍武. 第四紀(jì)主要孢粉數(shù)據(jù)庫(kù)評(píng)述[J]. 微體古生物學(xué)報(bào)，2020，37（2）：188-196.

[21] PANG Y T， ZHOU X Y， HE W， et al. Uniform design-based gaussian process regression for data-driven rapid fragility assessment of bridges[J]. Journal of Structural Engineering，2021， 147（4）：387-399.

[22] WANG J H， GUO Y， WANG Z H， et al. Advancing graph convolution network with revised laplacian matrix[J]. Chinese Journal of Electronics，2020， 29（6）：1134-1140.

[23] ZOU L， SONG L T， WEISE T， et al. A survey on regional level set image segmentation models based on the energy functional similarity measure[J]. Neurocomputing， 2020，45（2）：606-622.

[24] HUANG C Y， LI X R， WEN Y L. An OTSU image segmentation based on fruitfly optimization algorithm[J]. Alexandria Engineering Journal，2021， 60（1）：183-188.

[25] JIANG Y K， QIAN J H， LU S J， et al. LRVRG： a local region-based variational region growing algorithm for fast mandible segmentation from CBCT images[J]. Oral Radiology，2021， 9（1）：201-210.

[26] HUANG C， JIN W， XU Q， et al. Sub-pixel edge detection algorithm based on canny-zernike moment method[J]. Journal of Circuits， Systems and Computers，2020， 29（15）：273-285.

[27] WANG T， WANG X F， GEORGE S L， et al. Design and analysis of biomarker-integrated clinical trials with adaptive threshold detection and flexible patient enrichment[J]. Journal of Biopharmaceutical Statistics， 2020，30（6） ：1060-1076.

[28] WEN P， CARLOS T V， MICHAEL J P. Stochastic pix2pix： A new machine learning method for geophysical and well conditioning of rule-based channel reservoir models[J]. Natural Resources Research， 2020， 30：1319-1345.

[29] 張偌雅，李珍珍.數(shù)字圖像質(zhì)量評(píng)價(jià)綜述[J].現(xiàn)代計(jì)算機(jī)，2017（29）：78-81.

[30] MA S L， HUANG Y， CHE X J， et al. Faster RCNN-based detection of cervical spinal cord injury and disc degeneration[J]. Journal of Applied Clinical Medical Physics，2020， 21（9）：235-243.

[31] AHMED I， JEON G， CHEHRI A， et al. Adapting Gaussian YOLOv3 with transfer learning for overhead view human detection in smart cities and societies[J]. Sustainable Cities and Society， 2021， 10（70）：290-298.

[32] HE F， CHUN R K M， QIU Z C， et al. Choroid segmentation of retinal OCT images based on CNN classifier and fitter[J]. Computational and Mathematical Methods in Medicine，2021，33（5）：108-119.

[33] ZHANG Z P， HE J， ZHANG Z W， et al. Emotion recognition algorithm based on panorama-plane mapping dataset and VGG16 in prison monitoring system[J]. Journal of Physics： Conference Series，2020， 16（27）：120-130.

（責(zé)任編輯：張震林）