摘要：將病毒注入蛋胚培養(yǎng)疫苗時(shí)，針頭沖擊使注射孔周?chē)a(chǎn)生裂紋導(dǎo)致培養(yǎng)失敗。為解決目前人工手持照蛋器在暗室通過(guò)肉眼檢測(cè)蛋胚裂紋效率低、誤判率高這一問(wèn)題，提出一種結(jié)合多光譜通道注意（MSCA）機(jī)制與并行堆疊拓?fù)洌≒ST）模塊的帶孔蛋胚裂紋檢測(cè)方法。首先搭建帶孔蛋胚裂紋檢測(cè)黑箱，采集病毒注射后帶孔蛋胚的線(xiàn)形、網(wǎng)狀、星形裂紋和帶孔完好蛋胚圖像并建立數(shù)據(jù)集；接著以ResNet-50為骨干模型，將其后4層的第一個(gè)殘差模塊替換為PST模塊，以增加模型初期圖像表達(dá)能力；最后在每個(gè)PST模塊與殘差模塊后引入MSCA機(jī)制，MSCA機(jī)制通過(guò)二維離散余弦變換（2DDCT）壓縮數(shù)據(jù)得到各通道頻率分量，采用神經(jīng)結(jié)構(gòu)搜索（NAS）方式得到最佳頻率分量，即對(duì)權(quán)重重新分配，增加裂紋特征權(quán)重比例，以確保模型快速、精準(zhǔn)識(shí)別帶孔蛋胚裂紋。結(jié)果表明，改進(jìn)的網(wǎng)絡(luò)模型對(duì)帶孔蛋胚裂紋檢測(cè)時(shí)間為0.42 s/枚，檢測(cè)精度為96.43%，檢測(cè)效率高于人工作業(yè)。與原始ResNet-50相比，檢測(cè)精度提高3.66%，優(yōu)于其他經(jīng)典卷積網(wǎng)絡(luò)模型，改進(jìn)模型可用于疫苗培育前帶孔蛋胚裂紋自動(dòng)檢測(cè)。

關(guān)鍵詞：裂紋檢測(cè)；帶孔蛋胚；改進(jìn)殘差網(wǎng)絡(luò)；多光譜通道注意機(jī)制；并行堆疊拓?fù)淠K

中圖分類(lèi)號(hào)：TP391.4

文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：20955553 （2024） 070201

09

Detection method of egg embryo crack with hole based on improved ResNet

Li Yunliang， Zhao Mingyan， Wang Xin， Yan Hongshuo， Li Yuchan

（College of Mechanical and Electronical Engineering， China Jiliang University， Hangzhou， 310018， China）

Abstract：

In the process of injecting the virus into the egg embryo to culture the vaccine， the impact of the needle caused cracks around the injection hole and" the culture failed. In order to solve the problem of low efficiency and high misjudgment rate in the detection of egg embryo cracks by the naked eye in the darkroom， a method for detecting cracks in egg embryos with holes combined with a multispectral channel attention mechanism （MSCA） and parallel stacking topology modules （PST） was proposed. Firstly， a black box for crack detection of perforated egg embryos was built， and the images of linear cracks， mesh cracks， star-shaped cracks and intact egg embryos with holes after virus injection was collected and a data set was established， then ResNet-50 was used as the backbone model. The first residual module of the next 4 layers was replaced by the PST module to increase the image expression ability of the model at the beginning， finally， the MSCA mechanism was introduced after each PST module and the residual module， and the MSCA mechanism compressed the data through two-dimensional discrete cosine transform （2D DCT），" and the neural architecture search selection （NAS） method obtained the optimal frequency components， which could redistribute the weights to increase the proportion of crack feature weights. Thus the microporous egg embryos could be identified quickly and accurately by the model. The results show that the improved network model has a detection time of 0.42 s/piece for cracks in egg embryos with holes， a detection accuracy of 96.43%， and a higher detection efficiency than manual operations. Compared with the original ResNet-50， the detection accuracy has been improved by 3.66%， which is superior to other classical convolutional network models. It is proved that the improved model can be used for the automatic detection of cracks in egg embryos with holes before vaccine cultivation.

Keywords：

crack detection; egg embryo with hole; improved ResNet; multispectral attention mechanism; parallel stacking topology

0 引言

流感、狂犬等病毒通常在9～11日齡受精蛋胚內(nèi)繁殖，病毒在蛋胚尿囊腔（培養(yǎng)基）發(fā)育成熟后，經(jīng)提純、滅活等工序得到相應(yīng)疫苗［13］。然而將病毒注入蛋胚尿囊腔時(shí)，針頭的沖擊導(dǎo)致蛋胚注射部位（鈍端氣室處）出現(xiàn)裂紋，致使外界病菌進(jìn)入蛋胚內(nèi)部并導(dǎo)致培育失敗，且在收獲階段污染同批病毒。由于針頭沖擊及部分胚殼薄厚不均，病毒注射后的蛋胚裂紋普遍為線(xiàn)形裂紋，這種線(xiàn)形裂紋對(duì)病毒的繁殖影響極小。但實(shí)際生產(chǎn)時(shí)，針頭因高頻沖擊產(chǎn)生微彎、疲勞損傷等狀況，最終在沖擊孔周?chē)a(chǎn)生星形、網(wǎng)狀裂紋，這兩種裂紋縫隙較大，破壞了殼膜等蛋胚重要保護(hù)層，導(dǎo)致培育中的病毒被污染，因此必須將上述裂紋蛋（廢胚）剔除。由于微裂紋檢測(cè)難度較大，目前仍靠人工肉眼檢測(cè)裂紋（手持照蛋器在暗室進(jìn)行），存在檢測(cè)效率低、誤判率高等問(wèn)題。

現(xiàn)階段針對(duì)受精蛋胚培養(yǎng)病毒（生產(chǎn)疫苗）方面的研究，聚焦于蛋胚成活性檢測(cè)［4， 5］方面，而對(duì)蛋殼裂紋檢測(cè)方面的研究主要集中在食用雞蛋加工生產(chǎn)、品質(zhì)檢測(cè)、等級(jí)劃分、運(yùn)輸保存等領(lǐng)域，研究對(duì)象為食用雞蛋磕碰、撞擊、跌落等導(dǎo)致的裂紋，且以裂紋的有無(wú)作為檢測(cè)標(biāo)準(zhǔn)。檢測(cè)方法包括機(jī)器視覺(jué)檢測(cè)法［68］、聲學(xué)特性檢測(cè)法［9， 10］、多技術(shù)融合檢測(cè)法［11， 12］等，其中以聲學(xué)振動(dòng)檢測(cè)與機(jī)器視覺(jué)檢測(cè)為主。

基于雞蛋蛋殼聲學(xué)特性檢測(cè)裂紋方面，為提高裂紋檢測(cè)準(zhǔn)確率，研究人員通過(guò)外部加壓的方法增大雞蛋微小裂紋信息［13］、對(duì)雞蛋多個(gè)位置進(jìn)行敲擊［14］等方法，以提高雞蛋裂紋檢測(cè)準(zhǔn)確率。但增壓、敲擊均會(huì)對(duì)孵化中的蛋胚造成二次損傷；另外由于蛋胚氣室的影響，穿孔后裂紋蛋胚與穿孔后完好蛋胚聲學(xué)響應(yīng)信號(hào)差異較小，二者難以判別。因此上述用于檢測(cè)食用雞蛋的聲學(xué)方法不適用于檢測(cè)帶注射孔的裂紋蛋胚。

機(jī)器視覺(jué)檢測(cè)裂紋方面，傳統(tǒng)方法通過(guò)形態(tài)學(xué)操作提取裂紋特征［15］。在批量檢測(cè)時(shí)，因蛋殼厚度及雞胚發(fā)育狀況不同，導(dǎo)致圖像亮度不一致、干擾特征過(guò)多，形態(tài)學(xué)操作對(duì)微裂紋特征提取效果不佳。隨著視覺(jué)技術(shù)的發(fā)展，機(jī)器學(xué)習(xí)、深度學(xué)習(xí)也逐漸被應(yīng)用于雞蛋裂紋檢測(cè)。趙祚喜等［16］提出一種基于YOLOv4網(wǎng)絡(luò)的破損雞蛋檢測(cè)方法，通過(guò)對(duì)比不同破損比例、不同移動(dòng)速度下的裂紋檢測(cè)試驗(yàn)，準(zhǔn)確率分別達(dá)到86.22%、84.91%，該研究主要針對(duì)縫隙較大的破損蛋殼裂紋，無(wú)法判別微小裂紋。張健等［17］對(duì)粒子群算法進(jìn)行改進(jìn)，通過(guò)余弦函數(shù)調(diào)節(jié)慣性權(quán)重、粒子反向?qū)W習(xí)等算法對(duì)網(wǎng)狀裂紋、線(xiàn)形裂紋進(jìn)行檢測(cè)，雖然對(duì)明顯裂紋檢測(cè)準(zhǔn)確率達(dá)到96.4%、94.7%，但非明顯裂紋檢測(cè)準(zhǔn)確下降至89.2%、87.5%。上述研究盡管對(duì)不同類(lèi)型裂紋進(jìn)行了檢測(cè)，但只是應(yīng)用原有模型或優(yōu)化后的模型存在準(zhǔn)確率不高的缺陷。且9～11日受精蛋胚與食用雞蛋（非受精卵）圖像存在顯著差異，無(wú)關(guān)特征干擾多，現(xiàn)階段相關(guān)研究成果不適用于檢測(cè)帶孔蛋胚裂紋。

為檢測(cè)不同類(lèi)型帶孔蛋胚裂紋并提高檢測(cè)準(zhǔn)確率，本文提出一種改進(jìn)ResNet的帶孔蛋胚的裂紋檢測(cè)方法。以ResNet-50為骨干模型，為弱化蛋胚背光下的干擾特征，使用并行堆疊拓?fù)洌≒arallel Stacking Topology，PST）結(jié)構(gòu)提升模型初期對(duì)蛋胚圖像表達(dá)能力，同時(shí)添加多光譜通道注意（Multispectral Channel Attention，MSCA）機(jī)制，提高模型對(duì)裂紋特征的提取，以實(shí)現(xiàn)對(duì)帶孔完好蛋胚及三種帶孔裂紋蛋胚的檢測(cè)。根據(jù)實(shí)際生產(chǎn)情況，搭建帶孔蛋胚裂紋檢測(cè)裝置，在可實(shí)時(shí)檢測(cè)并剔除帶孔線(xiàn)形、星形、網(wǎng)狀裂紋蛋胚的同時(shí)，能夠根據(jù)檢測(cè)結(jié)果，判斷對(duì)應(yīng)位置的注射針頭是否需要更換，減少因針頭異常導(dǎo)致的廢胚。

1 材料與方法

1.1 試驗(yàn)材料

試驗(yàn)所用蛋胚均來(lái)自江蘇宿遷某雞胚孵化場(chǎng)青腳紅瑤雞受精蛋胚，其長(zhǎng)徑、短徑分別在48～53 mm與36～41 mm之間。將受精蛋胚尖端朝下靜置24 h，對(duì)氣室與胚體進(jìn)行正位。使用溫水清洗蛋胚表面污漬，并在比例為1∶1 000的高錳酸鉀水溶液中浸泡1 min進(jìn)行消毒處理，最后自然晾干。按照50枚每批次將消毒后的蛋胚放入蛋胚孵化箱中孵化9日，最終獲取9日齡蛋胚以備試驗(yàn)，孵化箱具體孵化參數(shù)如表1所示。

為模擬實(shí)際疫苗自動(dòng)化生產(chǎn)中打孔、注射工藝，使用外徑2.0 mm、長(zhǎng)35 mm的獸用針頭豎直對(duì)9日齡蛋胚進(jìn)行打孔操作。得到帶孔完好蛋胚、帶孔線(xiàn)形裂紋蛋胚、帶孔網(wǎng)狀裂紋蛋胚、帶孔星形裂紋蛋胚等樣本，以備后續(xù)試驗(yàn)需要。

1.2 圖像采集、預(yù)處理與數(shù)據(jù)集建立

1.2.1 圖像采集

圖像采集裝置見(jiàn)圖1，主要由檢測(cè)黑箱、500萬(wàn)像素工業(yè)相機(jī)、蛋胚底座、24 V 5 W照蛋冷光源、計(jì)算機(jī)等部分組成。將孵化至9日齡并處理好的帶孔裂紋蛋胚置于蛋胚底座上，合閉檢測(cè)黑箱并打開(kāi)照蛋冷光源，工業(yè)相機(jī)豎直對(duì)背光照射的帶孔裂紋蛋胚進(jìn)行圖像采集，并上傳至計(jì)算機(jī)。

1.2.2 圖像預(yù)處理與數(shù)據(jù)集建立

根據(jù)裂紋擴(kuò)展位置、方向以及數(shù)目的不同，試驗(yàn)所用數(shù)據(jù)集主要分為帶孔完好蛋胚、帶孔線(xiàn)形裂紋蛋胚、帶孔星形裂紋蛋胚、帶孔網(wǎng)狀裂紋蛋胚共4類(lèi)圖像，如圖2所示。

采集上述4類(lèi)圖像共1 965幅，其中完好蛋胚642幅、線(xiàn)形裂紋蛋胚634幅、星型裂紋蛋胚351幅、網(wǎng)狀裂紋蛋胚338幅。經(jīng)過(guò)圖像預(yù)處理將蛋胚圖像縮放、剪裁至432像素×432像素，并按照3∶1∶1比例將數(shù)據(jù)集劃分為訓(xùn)練集1 179幅、驗(yàn)證集393幅和測(cè)試集393幅。訓(xùn)練集的樣本數(shù)量過(guò)少會(huì)影響模型的訓(xùn)練效果，甚至出現(xiàn)模型過(guò)擬合、泛化能力差等問(wèn)題；又因蛋胚裂紋特征信息主要位于圖像中央，為保證裂紋特征信息完整且避免模型訓(xùn)練達(dá)不到預(yù)期效果，通過(guò)數(shù)據(jù)增強(qiáng)，對(duì)圖像訓(xùn)練集進(jìn)行旋轉(zhuǎn)、高斯噪聲、椒鹽噪聲、亮度變化等方式交替使用。按照比例1∶4增加訓(xùn)練集樣本數(shù)量，最終獲得4 716幅圖像作為訓(xùn)練集樣本。

1.3 基于改進(jìn)ResNet的帶孔蛋胚裂紋檢測(cè)模型

1.3.1 ResNet網(wǎng)絡(luò)

在卷積神經(jīng)網(wǎng)絡(luò)中，為獲得更深層次特征的獲取，需要疊加大量卷積層數(shù)來(lái)豐富特征，進(jìn)而達(dá)到更高的分類(lèi)精度。但隨著卷積層數(shù)的疊加，卷積神經(jīng)網(wǎng)絡(luò)的計(jì)算量也會(huì)隨之增長(zhǎng)，同時(shí)會(huì)產(chǎn)生梯度消失甚至梯度爆炸的狀況。為解決這一問(wèn)題，He等［18］提出ResNet模型，引入殘差模塊，在中間層添加快連接層，當(dāng)深度卷積過(guò)程中出現(xiàn)梯度消失、爆炸時(shí)，通過(guò)快連接層繼承上一層權(quán)重信息并忽略該層卷積提取的特征信息，使得模型梯度收斂達(dá)到更高精度。

雖然ResNet能夠更好地解決卷積神經(jīng)網(wǎng)絡(luò)在深層訓(xùn)練時(shí)梯度消失、梯度爆炸等問(wèn)題，使得模型能夠有效收斂。然而對(duì)于受精蛋胚，即便是同批次、同品種母雞產(chǎn)下的蛋胚，也會(huì)因母雞個(gè)體情況的不同，導(dǎo)致每個(gè)蛋胚圖像存在不同差異。

1） 蛋殼厚度、密度差異。導(dǎo)致光源在底部照射蛋胚時(shí)，相機(jī)視野下每個(gè)帶孔蛋胚蛋殼的亮度、裂紋大小不同，特別是存在微裂紋時(shí)，薄蛋殼與厚蛋殼差異較大，致使裂紋特征提取困難。

2） 蛋殼氣孔、暗斑差異。由于個(gè)體差異，不同蛋胚的胚殼表面產(chǎn)生大小、規(guī)則不一的氣孔和暗斑，而這些氣孔與暗斑特征在冷光源背光照射時(shí)會(huì)干擾對(duì)裂紋特征信息的提取。

3） 蛋胚個(gè)體發(fā)育差異。由于蛋胚的個(gè)體差異，使得蛋胚內(nèi)部營(yíng)養(yǎng)物質(zhì)存在差異，進(jìn)而導(dǎo)致在相同孵化條件下，蛋胚內(nèi)部胚體發(fā)育情況不同。9日齡蛋胚胚體已初具雛形，致使拍攝視野出現(xiàn)不同胚體黑影，影響裂紋特征的識(shí)別。

基于上述三類(lèi)問(wèn)題，單一的ResNet模型無(wú)法完全解決帶孔蛋胚裂紋識(shí)別問(wèn)題，因此本文基于ResNet進(jìn)行改進(jìn)，使模型能夠更準(zhǔn)確、快速檢測(cè)出帶孔蛋胚裂紋。

1.3.2 多光譜通道注意力機(jī)制的裂紋檢測(cè)模塊

深度學(xué)習(xí)中的注意力機(jī)制［19］是基于人類(lèi)視覺(jué)感應(yīng)而提出的。其原理是通過(guò)效仿人類(lèi)在觀(guān)察事物時(shí)，關(guān)注重要信息并減少次要信息的獲取。注意力機(jī)制泛用公式為

Attention=f（g（X），X）

（1）

式中：

X——神經(jīng)網(wǎng)絡(luò)輸入；

g（X）——注意所需識(shí)別特征區(qū)域方式；

f（X）——

基于g（X）所需識(shí)別特征處理輸入X。

根據(jù)上述注意力公式定義，可通過(guò)改變g（X）的處理方式，從而在深度學(xué)習(xí)訓(xùn)練過(guò)程中，更多地專(zhuān)注裂紋特征的提取而忽略無(wú)關(guān)特征。

本文引用Qin等［20］提出FcaNet網(wǎng)絡(luò)架構(gòu)中的多光譜通道注意機(jī)制MSCA，添加至本文改進(jìn)模型中。將通道注意機(jī)制中的擠壓操作視為頻率分析中壓縮過(guò)程，在有限的計(jì)算開(kāi)銷(xiāo)內(nèi)將一個(gè)通道的信息用一個(gè)標(biāo)量緊湊編碼，同時(shí)盡可能保留整個(gè)通道的表示能力。為此MSCA通過(guò)離散余弦變換（DCT）［21］來(lái)進(jìn)行通道注意力機(jī)制中的數(shù)據(jù)壓縮，DCT可實(shí)現(xiàn)高質(zhì)量、高數(shù)據(jù)壓縮比［22］，且具有較強(qiáng)的能量壓縮特性［23］。同時(shí)DCT可以通過(guò)元素級(jí)乘法來(lái)實(shí)現(xiàn)，而且可微，能夠方便地集成在CNN中，MSCA模塊說(shuō)明如圖3所示。

將輸入帶孔裂紋蛋胚特征圖保留寬度W、高度H信息，按照通道C方向進(jìn)行切片處理得到n個(gè)單通道特征圖，每個(gè)單通道特征圖中都包含帶孔裂紋蛋胚的各種特征細(xì)節(jié)，其中單通道輸入如式（2）所示。

Xi=X/n i∈（0，1，…，n－1）

（2）

C′=C/n

（3）

式中：

Xi——單個(gè)通道神經(jīng)網(wǎng)絡(luò)輸入；

C′——單個(gè)通道。

采用2DDCT壓縮得到各通道頻率分量，并通過(guò)NAS方式搜索每個(gè)通道的最佳頻率分量，即帶孔蛋胚裂紋特征最佳權(quán)重分配，頻率分量表示為

Freqi=

∑（u，v）∈Oexp（α（u，v））∑（u′，v′）∈Oexp（α（u′，v′））

2DDCTu，v（Xi）

（4）

式中：

u、v——輸入X的頻率分量二維指數(shù)；

u′、v′——Xi的頻率分量二維指數(shù)；

α（u，v）——每個(gè)通道分配的連續(xù)變量組；

O——包含所有2DDCT指數(shù)的集合；

Freqi——通過(guò)2DDCT得到的每組頻率分量。

將壓縮以及NAS獲取的各通道頻率分量，進(jìn)行拼接得到多光譜向量，也就是對(duì)2DDCT后的頻率分量進(jìn)行串聯(lián)拼接，所獲得的多光譜向量

Freq=cat（［Freq0，F(xiàn)req1，…，F(xiàn)reqn－1］）

（5）

對(duì)多光譜向量送入全連接層進(jìn)行加權(quán)求和，提取出裂紋特征信息并增加其權(quán)重分配，然后經(jīng)過(guò)激活函數(shù)得到多光譜通道注意機(jī)制處理后帶孔蛋胚裂紋特征的權(quán)重分配。多光譜通道注意機(jī)制獲取的權(quán)重信息可表示為

MSCA=sigmoid（fc（Freq））

（6）

式中：

sigmoid——激活函數(shù)。

根據(jù)圖2中3類(lèi)帶孔裂紋蛋胚圖像，可以發(fā)現(xiàn)其中裂紋特征信息較為明顯，但是存在其他無(wú)關(guān)特征的干擾。添加多光譜通道注意機(jī)制，可將帶孔蛋胚裂紋的裂紋特征權(quán)重增加，忽略其他如氣孔、黑斑、胚體黑影等無(wú)關(guān)特征信息，隨著網(wǎng)絡(luò)的不斷加深，模型對(duì)裂紋特征的注意不斷增加，對(duì)裂紋特征識(shí)別也會(huì)更加準(zhǔn)確。

1.3.3 改進(jìn)的并行堆疊拓?fù)浣Y(jié)構(gòu)

為提高網(wǎng)絡(luò)模型的準(zhǔn)確率，普遍的方法增加網(wǎng)絡(luò)模型的深度和寬度，代價(jià)則是超參數(shù)的增加以及網(wǎng)絡(luò)計(jì)算量的增大。因此，為了能夠?qū)Э椎芭叩?類(lèi)圖像進(jìn)行快速、準(zhǔn)確判別，本文引用ResNetXt［24］中的并行堆疊拓?fù)淠K來(lái)替代原始的殘差模塊，二者結(jié)構(gòu)如圖4所示。

與ResNet中的殘差模塊不同，在帶孔蛋胚裂紋特征圖輸入初始卷積過(guò)程中，通過(guò)增加開(kāi)始通道數(shù)，即采用32組降維、卷積、升維3層操作進(jìn)而減少中間卷積核參數(shù)，最后通過(guò)加法運(yùn)算替代原有的拼接操作，能夠在同等計(jì)算量下，增加模型對(duì)帶孔蛋胚裂紋圖像的表達(dá)能力。

由于每組的拓?fù)浣Y(jié)構(gòu)相同，使得參數(shù)量減少，便于模型移植到改進(jìn)的ResNet網(wǎng)絡(luò)中。同時(shí)，本文對(duì)原ResNeXt提出的方式做出改變，本文并沒(méi)有將并行堆疊拓?fù)浣Y(jié)構(gòu)替換每一個(gè)殘差模塊，而是用于每一個(gè)網(wǎng)絡(luò)層的第一個(gè)卷積層，通過(guò)這種并行堆疊拓?fù)浣Y(jié)構(gòu)提升每層初始表達(dá)能力，對(duì)后續(xù)添加的MSCA模塊進(jìn)行更好的前饋輸入，從而達(dá)到快速注意帶孔裂紋蛋胚圖像中的裂紋特征的效果。

1.3.4 改進(jìn)的ResNet-50帶孔蛋胚裂紋檢測(cè)模型

綜合ResNet模型的參數(shù)量、計(jì)算量、檢測(cè)精度等信息，本文選用ResNet-50作為病毒注射后帶孔蛋胚裂紋檢測(cè)改進(jìn)的骨干模型，并對(duì)其結(jié)構(gòu)進(jìn)行改進(jìn)，具體改進(jìn)模型如圖5所示。

改進(jìn)模型具體參數(shù)如表2所示。

由于帶孔蛋胚裂紋過(guò)于細(xì)小，且存在氣孔、黑斑、胚體黑影等無(wú)關(guān)特征，會(huì)在很大程度上影響模型對(duì)裂紋特征的提取和識(shí)別。將改進(jìn)模型Layer 2～Layer 5的第一個(gè)殘差模塊替換為PST模塊，在初始卷積過(guò)程中，改進(jìn)模型能夠更有效地表達(dá)帶孔蛋胚裂紋各個(gè)紋理特征的圖像信息，其中PST模塊使用32組相同卷積層結(jié)構(gòu)作為并行堆疊拓?fù)淠K的基本單元。在每個(gè)殘差模塊與PST模塊中添加MSCA模塊，使得MSCA模塊經(jīng)過(guò)每個(gè)殘差模塊與PST模塊后能夠更清楚地認(rèn)知裂紋特征與無(wú)關(guān)特征的關(guān)系，通過(guò)NAS方式增加裂紋特征權(quán)重，進(jìn)而能夠快速注意裂紋特征，達(dá)到在相同訓(xùn)練輪次中，模型能夠?qū)崿F(xiàn)更快、更準(zhǔn)確地?cái)M合效果。

2 結(jié)果與分析

2.1 試驗(yàn)平臺(tái)與模型超參數(shù)調(diào)優(yōu)

2.1.1 試驗(yàn)環(huán)境

為滿(mǎn)足訓(xùn)練與測(cè)試試驗(yàn)的順利進(jìn)行，本文采用的配置信息如表3所示。

2.1.2 模型超參數(shù)調(diào)優(yōu)

為使得模型檢測(cè)精度達(dá)到最優(yōu)效果，對(duì)優(yōu)化器、批量大小、學(xué)習(xí)率等超參數(shù)進(jìn)行測(cè)試優(yōu)化，其中試驗(yàn)優(yōu)化器選用自適應(yīng)矩估計(jì)法、隨機(jī)梯度下降結(jié)合動(dòng)量梯度下降法。根據(jù)測(cè)試，優(yōu)化器選取隨機(jī)動(dòng)量梯度結(jié)合動(dòng)量梯度下降法，批量大小為16，學(xué)習(xí)率為0.000 1。

為研究動(dòng)量梯度下降法中動(dòng)量因子m對(duì)模型精度的影響，采用優(yōu)化的超參數(shù)，批量大小為16，學(xué)習(xí)率為0.000 1，分別選取m為0.5、0.6、0.7、0.8、0.9對(duì)模型進(jìn)行訓(xùn)練，其結(jié)果如圖6所示?？梢园l(fā)現(xiàn)，隨著m的增加，模型的訓(xùn)練集與驗(yàn)證集精度均在不斷提高，但提高幅度在不斷減小。同時(shí)隨著m的增加，模型能夠在更短的迭代周期內(nèi)達(dá)到擬合。當(dāng)m=0.9時(shí)，模型的訓(xùn)練集精度達(dá)到96.82%，驗(yàn)證集精度達(dá)到96.32%，且在120個(gè)迭代周期模型達(dá)到擬合狀態(tài)。因此選用m=0.9作為裂紋檢測(cè)模型的最優(yōu)動(dòng)量值。

2.2 注意力機(jī)制對(duì)模型檢測(cè)效果影響分析

為研究注意力機(jī)制對(duì)改進(jìn)模型檢測(cè)效果的影響，試驗(yàn)引用使用廣泛的注意力機(jī)制SE模塊、ECA模塊與本文使用的MSCA模塊進(jìn)行對(duì)比。對(duì)比模型均以ResNet-50為基本框架，并分別添加3種注意力機(jī)制，具體對(duì)比結(jié)果如表4所示。

對(duì)比添加注意力機(jī)制的模型與原模型ResNet-50，三者檢測(cè)準(zhǔn)確率均有不同程度的提升。添加SE模塊與ECA模塊的模型較ResNet-50相比準(zhǔn)確率分別提高了1.96%、2.04%。其中添加MSCA模塊的模型檢測(cè)效果最優(yōu)，檢測(cè)準(zhǔn)確率為95.44%，較ResNet-50相比提高了2.67%，雖然添加注意力機(jī)制后模型的參數(shù)量與計(jì)算量有小幅增加，但對(duì)帶孔蛋胚的裂紋檢測(cè)準(zhǔn)確率也有進(jìn)一步增長(zhǎng)。綜上分析表明，添加MSCA模塊的模型對(duì)帶孔蛋胚裂紋檢測(cè)效果最好，可以作為模型改進(jìn)方案。

2.3 PST模塊對(duì)模型檢測(cè)效果影響分析

為研究PST模塊對(duì)改進(jìn)模型檢測(cè)結(jié)果的影響，將不同數(shù)目的PST模塊用于ResNet-50的Layer 2～Layer 5中不同位置。具體對(duì)比試驗(yàn)方案如下。

1）" PST1：將ResNet-50的Layer 2～Layer 5中第一層殘差模塊替換為PST模塊，研究PST模塊對(duì)每一Layer前端卷積的影響。

2） PST2：將ResNet-50的Layer 2～Layer 5中最后一層殘差模塊替換為PST模塊，研究PST模塊對(duì)每一Layer后端卷積的影響。

3） PST3：將ResNet-50的Layer 2、Layer 3中全部殘差模塊替換為PST模塊，研究PST模塊對(duì)整體ResNet-50前端卷積的影響。

4） PST4：將ResNet-50的Layer 4、Layer 5中全部殘差模塊替換為PST模塊，研究PST模塊對(duì)整體ResNet-50后端卷積的影響。

添加MSCA-ResNet-50、ResNet-50作為上述方案的對(duì)比模型，同時(shí)對(duì)上述4組模型方案引入MSCA模塊并進(jìn)行帶孔蛋胚裂紋檢測(cè)訓(xùn)練，具體對(duì)比結(jié)果如表5所示。

經(jīng)過(guò)4個(gè)改進(jìn)方案的對(duì)比結(jié)果分析，從整體上看，方案2、方案3的準(zhǔn)確率均高于方案4、方案5。說(shuō)明對(duì)每一Layer進(jìn)行改進(jìn)的效果優(yōu)于對(duì)整個(gè)Layer進(jìn)行改進(jìn)。在分析PST模塊對(duì)每一Layer影響方面，可以看出方案2與方案3在參數(shù)量、計(jì)算量近似相同的情況下，方案2準(zhǔn)確率較方案3高0.29%，表明對(duì)每一Layer前端替換為PST模塊的效果優(yōu)于在Layer后端進(jìn)行替換。在分析PST模塊對(duì)ResNet-50整體結(jié)構(gòu)影響時(shí)，雖然方案4計(jì)算量低于方案5，但方案5檢測(cè)準(zhǔn)確率卻較方案4高0.11個(gè)百分點(diǎn)。說(shuō)明在對(duì)ResNet-50前端進(jìn)行改進(jìn)的方案與對(duì)其后端改進(jìn)的方案相比略有不足。經(jīng)過(guò)對(duì)比分析，方案1對(duì)帶孔蛋胚裂紋檢測(cè)結(jié)果最好，準(zhǔn)確率為96.43%，較只引入MSCA模塊相比，準(zhǔn)確率提高了0.99%。與ResNet-50相比，檢測(cè)準(zhǔn)確率高出3.66%。綜上分析，添加PST模塊，可以提高模型對(duì)帶孔蛋胚裂紋檢測(cè)準(zhǔn)確率，其中以方案1檢測(cè)效果最優(yōu)。

2.4 改進(jìn)ResNet-50的帶孔蛋胚裂紋檢測(cè)結(jié)果分析

2.4.1 改進(jìn)模型與ResNet-50可視化結(jié)果分析

圖7為改進(jìn)模型與ResNet-50的Layer 1與Layer 2中部分星形裂紋蛋胚特征矩陣圖?？梢园l(fā)現(xiàn)，改進(jìn)的模型由于引用MSCA模塊，提高了對(duì)裂紋特征的注意，從而能夠有效提取裂紋特征信息。但ResNet-50與改進(jìn)模型相比，部分裂紋特征提取不到。尤其是在Layer 2時(shí)ResNet-50提取的裂紋特征信息更少，因此也驗(yàn)證了表4中ResNet-50對(duì)4類(lèi)帶孔蛋胚裂紋識(shí)別精度低于本文改進(jìn)的模型。

2.4.2 混淆矩陣對(duì)帶孔蛋胚裂紋判別分析

通過(guò)對(duì)改進(jìn)模型進(jìn)行訓(xùn)練，提取最終的訓(xùn)練權(quán)重，對(duì)393張帶孔蛋胚裂紋進(jìn)行測(cè)試試驗(yàn)。最終測(cè)試試驗(yàn)的4類(lèi)帶孔蛋胚的混淆矩陣如圖8所示。經(jīng)分析發(fā)現(xiàn)，由于少部分線(xiàn)形裂紋蛋胚的裂紋過(guò)于微小，線(xiàn)形裂紋蛋胚與完好蛋胚的特征相似，因此線(xiàn)形裂紋蛋胚測(cè)試樣本中有4枚被誤判為完好蛋胚；部分星形裂紋蛋胚的裂紋特征存在兩條明顯裂紋、其余擴(kuò)展裂紋不明顯的情況，故而被誤判為線(xiàn)形裂紋；部分網(wǎng)狀裂紋蛋胚縱向擴(kuò)展較深，橫向裂紋不明顯，使得網(wǎng)狀裂紋被誤判為星形裂紋。綜合試驗(yàn)結(jié)果表明，測(cè)試樣本主要位于混淆矩陣的對(duì)角線(xiàn)處，表明基于多光譜通道注意機(jī)制與并行堆疊拓?fù)淠K結(jié)合的網(wǎng)絡(luò)模型對(duì)帶孔蛋胚裂紋的識(shí)別效果較好。

精確率（Precision，P）、召回率（Recall，R）、特異度（Specificity）以及F1得分作為模型評(píng)價(jià)指標(biāo)，能夠客觀(guān)準(zhǔn)確地評(píng)價(jià)一個(gè)模型的優(yōu)劣，計(jì)算如式（7）～式（10）所示。

P=TPTP+FP

（7）

R=TPRTP+FN

（8）

Specificity=TNTN+FP

（9）

F1=2PRP+R

（10）

式中：

TP——真實(shí)標(biāo)簽為正、預(yù)測(cè)結(jié)果為正；

FP——真實(shí)標(biāo)簽為負(fù)、預(yù)測(cè)結(jié)果為正；

FN——真實(shí)標(biāo)簽為正、預(yù)測(cè)結(jié)果為負(fù)；

TN——真實(shí)標(biāo)簽為負(fù)、預(yù)測(cè)結(jié)果為負(fù)。

根據(jù)圖8混淆矩陣，最終計(jì)算出4個(gè)評(píng)價(jià)指標(biāo)的具體值如表6所示。通過(guò)F1得分可綜合判斷精確率與召回率指標(biāo)，可以發(fā)現(xiàn)，改進(jìn)模型對(duì)完好蛋胚裂紋檢測(cè)的F1得分最高，在當(dāng)裂紋過(guò)小時(shí)星型裂紋與線(xiàn)型裂紋特征相似，故而二者存在誤判并導(dǎo)致F1得分最低，網(wǎng)狀裂紋的特征與其他兩類(lèi)裂紋特征差異較大，故而特異度較高。綜合分析，改進(jìn)模型平均F1得分為96.25%，證明模型對(duì)4類(lèi)帶孔蛋胚裂紋檢測(cè)效果滿(mǎn)足檢測(cè)要求。

2.4.3 改進(jìn)模型與其他模型對(duì)比

將本文提出改進(jìn)的帶孔蛋胚裂紋識(shí)別模型分別與GoogLeNet、EfficientNetV2-L、FcaNet、ResNet-50、ResNeXt-50等應(yīng)用廣泛的模型進(jìn)行對(duì)比，改進(jìn)模型訓(xùn)練超參數(shù)選用前文最優(yōu)超參數(shù)。而與之對(duì)照模型的超參數(shù)，采用上述各模型原論文中最優(yōu)參數(shù)進(jìn)行訓(xùn)練，訓(xùn)練輪次均為500，模型性能對(duì)比結(jié)果如表7所示。

根據(jù)測(cè)試結(jié)果可以發(fā)現(xiàn)，改進(jìn)模型最終測(cè)試精度為96.43%。較ResNet-50相比，改進(jìn)模型參數(shù)量與計(jì)算量均有小幅增加，但檢測(cè)精度提高了3.66%。雖然改進(jìn)模型使用FcaNet中的MSCA機(jī)制，但由于改進(jìn)了并行堆疊拓?fù)浣Y(jié)構(gòu)，降低了模型參數(shù)量，且以添加較小計(jì)算量為代價(jià)，使測(cè)試精度較FcaNet提高了0.99%。但對(duì)于相同試驗(yàn)樣本，EfficientNetV2-L使用了SE注意力機(jī)制模塊后檢測(cè)精度僅為92.20%，并未體現(xiàn)其模型優(yōu)勢(shì)。與ResNeXt-50、GoogLeNet相比，本文改進(jìn)模型較二者檢測(cè)精度分別提高2.22%、12.27%。綜合對(duì)比上述模型性能，改進(jìn)模型對(duì)帶孔蛋胚的裂紋檢測(cè)具有一定優(yōu)勢(shì)。

2.5 帶孔蛋胚裂紋檢測(cè)試驗(yàn)

根據(jù)目前疫苗企業(yè)實(shí)際生產(chǎn)流程，設(shè)計(jì)并搭建了帶孔蛋胚裂紋檢測(cè)裝置（圖9），模擬實(shí)際病毒注入蛋胚、帶孔蛋胚裂紋的檢測(cè)以及廢胚剔除動(dòng)作。

帶孔蛋胚裂紋檢測(cè)裝置工作流程如下：規(guī)格為3×3的蛋盤(pán)傳送至打孔工位，模擬蛋胚打孔（省略病毒注射）作業(yè)；隨后帶孔蛋胚進(jìn)入黑箱（裂紋檢測(cè)模塊），3組工業(yè)相機(jī)對(duì)每排單個(gè)蛋胚拍照并上傳9枚蛋胚圖像，程序?qū)?幅圖像進(jìn)行裂紋檢測(cè)；最后根據(jù)檢測(cè)結(jié)果，分選吸盤(pán)將對(duì)應(yīng)位置的廢胚吸附至落料盤(pán)中，合格蛋胚隨傳送裝置進(jìn)入下一工作流程。當(dāng)出現(xiàn)網(wǎng)狀裂紋、星型裂紋蛋胚時(shí)，程序會(huì)根據(jù)蛋胚位置查找到對(duì)應(yīng)位置注射針頭，提示工人及時(shí)更換針頭，避免廢胚增加。

模擬試驗(yàn)具體結(jié)果如表8所示，共檢測(cè)蛋胚200枚，檢測(cè)過(guò)程平均耗時(shí)10.8 s，平均準(zhǔn)確率為96.85%，單枚檢測(cè)時(shí)間0.42 s，檢測(cè)精度及效率明顯高于人工，滿(mǎn)足實(shí)際檢測(cè)要求。

3 結(jié)論

1）" 為解決目前人工手持照蛋器在暗室通過(guò)肉眼檢測(cè)蛋胚裂紋效率低、誤判率高這一問(wèn)題，本文提出一種基于改進(jìn)ResNet的檢測(cè)方法。將ResNet-50中Layer 2～Layer 5的第一個(gè)殘差模塊替換為并行堆疊拓?fù)淠K作為改進(jìn)方案，同時(shí)在每一層引入多光譜通道注意機(jī)制提升改進(jìn)模型對(duì)裂紋特征的提取性能，有效提高改進(jìn)模型對(duì)帶孔蛋胚裂紋的識(shí)別效果，最終測(cè)試精度達(dá)到96.43%。

2）" 改進(jìn)模型與ResNet-50相比，在以提高較少參數(shù)量與計(jì)算量的基礎(chǔ)上，識(shí)別精度提高3.66個(gè)百分點(diǎn)，較FcaNet、ResNetXt-50相比識(shí)別精度各提高0.99和2.22個(gè)百分點(diǎn)，其中精確率、召回率、特異度與F1得分為96.58%、95.95%、98.75%、96.25%。

3）" 根據(jù)疫苗生產(chǎn)工藝，搭建帶孔蛋胚裂紋檢測(cè)裝置，模擬蛋胚打孔、帶孔蛋胚裂紋檢測(cè)及廢胚剔除三個(gè)動(dòng)作。檢測(cè)過(guò)程平均耗時(shí)10.8 s，單枚帶孔蛋胚裂紋檢測(cè)時(shí)間為0.42 s。在提高檢測(cè)精度與效率的同時(shí)，實(shí)現(xiàn)自動(dòng)化檢測(cè)。

參 考 文 獻(xiàn)

［1］Iseki H， Watanabe S， Mase M. A potential system for the isolation and propagation of porcine deltacoronavirus using embryonated chicken eggs ［J］. Journal of Virological Methods， 2021， 290： 114068.

［2］Yu Qingzhong， Li Yufeng， Kiril Dimitrov， et al. Genetic stability of a Newcastle disease virus vectored infectious laryngotracheitis virus vaccine after serial passages in chicken embryos ［J］. Vaccine， 2019， 38（4）： 925-932.

［3］唐靜， 辛麗， 李曉丹， 等. 2015—2016年度中國(guó)甲型H1N1亞型流感病毒疫苗候選株的制備及鑒定［J］. 中華實(shí)驗(yàn)和臨床病毒學(xué)雜志， 2017， 31（4）： 348-352.

Tang Jing， Xin Li， Li Xiaodan， et al. Preparation and identification of influenza H1N1 subtype vaccine candidate strain in China ［J］. Chinese Journal of Experimental and Clinical Virology， 2017， 31（4）： 348-352.

［4］徐彥偉， 徐愛(ài)軍， 頡潭成， 等. 基于多信息融合的疫苗制備中雞蛋胚體分揀系統(tǒng)［J］. 農(nóng)業(yè)機(jī)械學(xué)報(bào)， 2015， 46（2）： 20-26.

Xu Yanwei， Xu Aijun， Xie Tancheng， et al. Automatic sorting system of egg embryo in biological vaccines production based on multi-information fusion ［J］. Transactions of the Chinese Society for Agricultural Machinery， 2015， 46（2）： 20-26.

［5］郭盟， 董新明， 韓廣， 等. 基于卷積神經(jīng)網(wǎng)絡(luò)的蛋胚活性精準(zhǔn)檢測(cè)方法研究［J］. 應(yīng)用光學(xué)， 2021， 42（2）： 268-275.

Guo Meng， Dong Xinming， Han Guang， et al. Research on accurate detection method of egg embryo activity based on convolutional neural network ［J］. Journal of Applied Optics， 2021， 42（2）： 268-275.

［6］Bao G J， Jia M M， Xun Y， et al. Cracked egg recognition based on machine vision ［J］. Computers and Electronics in Agriculture， 2019， 158： 159-166.

［7］涂偉滬， 蔡玲霞， 李學(xué)軍. 基于改進(jìn)蝗蟲(chóng)算法優(yōu)化Canny算子的雞蛋裂紋圖像檢測(cè)［J］. 食品與機(jī)械， 2022， 38（2）： 167-172， 202.

Tu Weihu， Cai Lingxia， Li Xuejun. Egg crack image detection method based on improved grasshopper optimization algorithm and Canny operator ［J］. Food amp; Machinery， 2022， 38（2）： 167-172， 202.

［8］辛永信， 黃泳波. 基于機(jī)器視覺(jué)的禽蛋臟污及裂紋檢測(cè)系統(tǒng)設(shè)計(jì)［J］. 機(jī)電信息， 2020（2）： 108-110.

［9］Cheng C W， Feng P H， Xie J H， et al. Eggshell crack detection and egg classification using resonance and support vector machine methods ［J］. Applied Engineering in Agriculture， 2019， 35（1）： 23-30.

［10］Lai C C， Li C H， Huang K J， et al. Duck eggshell crack detection by nondestructive sonic measurement and analysis ［J］. Sensors， 2021， 21（21）： 7299.

［11］劉鵬， 屠康， 潘磊慶， 等. 基于多傳感器融合的雞蛋裂紋系統(tǒng)性識(shí)別［J］. 農(nóng)業(yè)機(jī)械學(xué)報(bào)， 2010， 41（10）： 185-189， 203.

Liu Peng， Tu Kang， Pan Leiqing， et al. Systematic recognition research of egg crack based on multi-sensor fusion ［J］. Transactions of the Chinese Society for Agricultural Machinery， 2010， 41（10）： 185-189， 203.

［12］Sun Li， Zhang Pengqi， Feng Siyu， et al. Eggshell crack detection based on the transient impact analysis and cross-correlation method ［J］. Current Research in Food Science， 2021， 4： 716-723.

［13］羅慧， 閆思蒙， 盧偉， 等. 基于力—聲學(xué)特性的雞蛋帶小裂紋在線(xiàn)檢測(cè)方法［J］. 農(nóng)業(yè)機(jī)械學(xué)報(bào)， 2016， 47（11）： 224-230.

Luo Hui， Yan Simeng， Lu Wei， et al. Micro-cracked eggs online detection method based on force-acoustic features ［J］. Transactions of the Chinese Society for Agricultural Machinery， 2016， 47（11）： 224-230.

［14］李雅琪， 孫力， 陳誠(chéng)， 等. 基于多維振動(dòng)響應(yīng)信號(hào)分析的雞蛋裂紋檢測(cè)研究［J］. 鎮(zhèn)江高專(zhuān)學(xué)報(bào)， 2019， 32（4）： 31-35.

Li Yaqi， Sun Li， Chen Cheng， et al. A study of eggshell crack detection based on the analysis of multidimensional vibration signals ［J］. Journal of Zhenjiang College， 2019， 32（4）： 31-35.

［15］陳靜， 梁俊毅. 基于機(jī)器視覺(jué)的禽蛋外觀(guān)品質(zhì)在線(xiàn)檢測(cè)系統(tǒng)設(shè)計(jì)［J］. 食品工業(yè)， 2020， 41（5）： 232-234.

Chen Jing， Liang Junyi. Design of on-line detection system for egg appearance quality based on machine vision ［J］. The Food Industry， 2020， 41（5）： 232-234.

［16］趙祚喜， 羅陽(yáng)帆， 黃杏彪， 等. 基于機(jī)器視覺(jué)和YOLOv4的破損雞蛋在線(xiàn)檢測(cè)研究［J］. 現(xiàn)代農(nóng)業(yè)裝備， 2022， 43（1）： 8-16.

Zhao Zuoxi， Luo Yangfan， Huang Xingbiao， et al. Research on on-line detection of damaged eggs based on machine vision and YOLOv4 ［J］. Modern Agricultural Equipment， 2022， 43（1）： 8-16.

［17］張健， 崔英杰. 基于改進(jìn)粒子群算法的雞蛋裂紋檢測(cè)方法［J］. 食品與機(jī)械， 2020， 36（7）： 136-139， 226.

Zhang Jian， Cui Yingjie. Egg crack detection based on improved particle swarm optimization ［J］. Food amp; Machinery， 2020， 36（7）： 136-139， 226.

［18］He K M， Zhang X Y， Ren S Q， et al. Deep residual learning for image recognition ［C］. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition， 2016： 770-778.

［19］Guo M H， Xu T X， Liu J J， et al. Attention mechanisms in computer vision： A survey ［J］. Computational Visual Media， 2022： 1-38.

［20］Qin Z Q， Zhang P Y， Wu F， et al. FcaNet： Frequency channel attention networks ［C］. Proceedings of the IEEE/CVF International Conference on Computer Vision， 2021： 783-792.

［21］Escudero-Vinolo M， Bescos J. Squeezing the DCT to fight camouflage ［J］. Journal of Mathematical Imaging and Vision， 2020， 62（2）： 206-222.

［22］萬(wàn)豐， 苑豪杰， 宮威. 基于離散余弦變換的數(shù)字圖像壓縮技術(shù)研究［J］. 自動(dòng)化應(yīng)用， 2020（3）： 65-67.

［23］狄恩彪， 徐光輝. 基于部分離散余弦變換的卷積神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)與分析［J］. 通信技術(shù)， 2020， 53（7）： 1636-1640.

Di Enbiao， Xu Guanghui. Design and analysis of convolutional neural network based on partial discrete cosine transform ［J］. Communications Technology， 2020， 53（7）： 1636-1640.

［24］Xie S N， Girshick R， Dollar P， et al. Aggregated residual transformations for deep neural networks ［C］. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition， 2017： 1492-1500.