李 萍 宋 波 毛 捷 廉國(guó)選

(1中國(guó)科學(xué)院聲學(xué)研究所 聲場(chǎng)聲信息國(guó)家重點(diǎn)實(shí)驗(yàn)室 北京 100190)

(2中國(guó)科學(xué)院大學(xué) 北京 100049)

0 引言

超聲檢測(cè)是一種應(yīng)用范圍較廣的無(wú)損檢測(cè)方法[1]，對(duì)缺陷進(jìn)行定性和定量分析是超聲檢測(cè)的關(guān)鍵內(nèi)容。僅通過(guò)超聲檢測(cè)信號(hào)對(duì)缺陷進(jìn)行人工識(shí)別，魯棒性差，長(zhǎng)時(shí)間的檢測(cè)強(qiáng)度可能會(huì)引起缺陷的漏判錯(cuò)判，準(zhǔn)確率受到限制。超聲檢測(cè)原始結(jié)果多用A掃信號(hào)表示[2]，隨著陣列檢測(cè)技術(shù)的發(fā)展，超聲檢測(cè)結(jié)果也越來(lái)越多地通過(guò)圖像表示，如掃描超聲成像、相控陣成像、超聲CT、合成孔徑聚焦技術(shù)(Synthetic aperture focusing technique SAFT)成像等。相應(yīng)的，基于長(zhǎng)期以來(lái)對(duì)超聲缺陷自動(dòng)判別的發(fā)展需要，借鑒于模式識(shí)別中深度學(xué)習(xí)(Deep learning)的應(yīng)用，即通過(guò)搭建多層的網(wǎng)絡(luò)結(jié)構(gòu)來(lái)建立輸入與輸出的關(guān)系，得到識(shí)別的結(jié)果，發(fā)展了很多方法用于超聲檢測(cè)缺陷識(shí)別。由最初的超聲檢測(cè)A掃波形做信號(hào)處理提取特征，通過(guò)淺層神經(jīng)網(wǎng)絡(luò)進(jìn)行識(shí)別，到現(xiàn)在嘗試直接使用深度學(xué)習(xí)模型處理超聲檢測(cè)圖像得到識(shí)別結(jié)果。

深度學(xué)習(xí)用于缺陷識(shí)別的主要步驟為將原始數(shù)據(jù)處理為適用的范圍，再提取特征來(lái)表征信號(hào)，最后將不同特征信號(hào)進(jìn)行分類(lèi)[3]。深度學(xué)習(xí)從早期的淺層神經(jīng)網(wǎng)絡(luò)發(fā)展到了深層神經(jīng)網(wǎng)絡(luò)也就是深度學(xué)習(xí)，而相比于手動(dòng)提取低層次的特征，卷積神經(jīng)網(wǎng)絡(luò)(Convolutional neural network,CNN)能自動(dòng)提取信號(hào)的深層次特征[4]。

本文綜述了深度學(xué)習(xí)在超聲檢測(cè)缺陷識(shí)別中的應(yīng)用，包括從早期淺層神經(jīng)網(wǎng)絡(luò)的應(yīng)用到如今深度學(xué)習(xí)的使用，探討了基于CNN框架的深度學(xué)習(xí)方法在超聲檢測(cè)圖像識(shí)別存在的問(wèn)題，并歸納了其可行的應(yīng)對(duì)策略。

1 深度學(xué)習(xí)的發(fā)展

深度學(xué)習(xí)作為機(jī)器學(xué)習(xí)的一個(gè)分支，意在建立能模擬人腦進(jìn)行分析學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)，通過(guò)構(gòu)建多隱藏層模型對(duì)海量數(shù)據(jù)進(jìn)行訓(xùn)練。在深度學(xué)習(xí)之前，發(fā)展了淺層神經(jīng)網(wǎng)絡(luò)，隨著計(jì)算機(jī)輔助能力的提升，多層網(wǎng)絡(luò)的理論研究加強(qiáng)，逐漸發(fā)展成為深層神經(jīng)網(wǎng)絡(luò)，也就是深度學(xué)習(xí)。

1.1 淺層神經(jīng)網(wǎng)絡(luò)

早期神經(jīng)網(wǎng)絡(luò)模型在1943年提出[5]，提供輸入后，使用線性加權(quán)和來(lái)模擬變換，然后經(jīng)過(guò)一個(gè)閾值函數(shù)得到0或1的結(jié)果，具有若干個(gè)輸入和一個(gè)輸出的模型。最早期是手動(dòng)設(shè)置權(quán)重，1958年提出單層感知機(jī)模型，是首個(gè)根據(jù)樣本數(shù)據(jù)來(lái)學(xué)習(xí)權(quán)重的模型，但其只能解決線性可分問(wèn)題。1986年提出反向傳播(Back propagation,BP)算法及多層感知機(jī)(Multilayer perceptron,MLP)。BP算法降低了訓(xùn)練神經(jīng)網(wǎng)絡(luò)所需要的時(shí)間，多層感知機(jī)在輸入和輸出層之間加入隱藏層，且在單個(gè)神經(jīng)元中的線性加權(quán)和后引入了激活函數(shù)，帶來(lái)非線性變換，解決非線性問(wèn)題。只使用一層隱藏層稱(chēng)為淺層神經(jīng)網(wǎng)絡(luò)，淺層神經(jīng)網(wǎng)絡(luò)在20世紀(jì)80年代末迎來(lái)了發(fā)展高峰期。

90年代末，其他淺層機(jī)器學(xué)習(xí)算法相繼提出，有突破性的進(jìn)展，如支持向量機(jī)(Support vector machine,SVM)、線性回歸、決策樹(shù)等，這些方法在理論分析和應(yīng)用都獲得了成功[6]。深層神經(jīng)網(wǎng)絡(luò)[7]也就是深度學(xué)習(xí)主要指具有多層變換對(duì)復(fù)雜性數(shù)據(jù)建模算法的神經(jīng)網(wǎng)絡(luò)，多層網(wǎng)絡(luò)對(duì)輸入信號(hào)提取不同的特征，相比于淺層，其表征能力更強(qiáng)，但其多層的變換理論分析較難，訓(xùn)練需要很多經(jīng)驗(yàn)和技巧，在當(dāng)時(shí)的計(jì)算性能下很難訓(xùn)練深層的神經(jīng)網(wǎng)絡(luò)，而且當(dāng)時(shí)的數(shù)據(jù)量相對(duì)較小，不能滿(mǎn)足深層神經(jīng)網(wǎng)絡(luò)訓(xùn)練的需求，因此淺層神經(jīng)網(wǎng)絡(luò)在向深層神經(jīng)網(wǎng)絡(luò)發(fā)展時(shí)比較緩慢。

1.2 深層神經(jīng)網(wǎng)絡(luò)——深度學(xué)習(xí)

隨著計(jì)算機(jī)性能的提高以及云計(jì)算、GPU的出現(xiàn)，計(jì)算量已經(jīng)不再是問(wèn)題。隨著互聯(lián)網(wǎng)的發(fā)展，通過(guò)網(wǎng)上保存數(shù)據(jù)、共享數(shù)據(jù)，使得獲取海量數(shù)據(jù)不再困難。2006年，機(jī)器學(xué)習(xí)領(lǐng)域的泰斗Hinton等[4]在學(xué)術(shù)刊物《Neural Computation》上的一篇文章，開(kāi)啟了學(xué)術(shù)界和工業(yè)界的深層神經(jīng)網(wǎng)絡(luò)也就是深度學(xué)習(xí)浪潮，深度學(xué)習(xí)理論研究漸入佳境，且在應(yīng)用領(lǐng)域顯示出巨大潛力。在2012年迎來(lái)了歷史性突破后，深度學(xué)習(xí)已經(jīng)擴(kuò)展到機(jī)器學(xué)習(xí)的所有領(lǐng)域。

深層神經(jīng)網(wǎng)絡(luò)通過(guò)組合低級(jí)特征形成抽象的高級(jí)特征，以表征數(shù)據(jù)的分布式特征[7]，最典型的模型有遞歸神經(jīng)網(wǎng)絡(luò)(Recurrent neural networks,RNN)、長(zhǎng)短期記憶網(wǎng)絡(luò)(Long short-term memory,LSTM)/門(mén)控遞歸單元網(wǎng)絡(luò)(Gated recurrent unit,GRU)、卷積神經(jīng)網(wǎng)絡(luò)(CNN)、深度置信網(wǎng)絡(luò)(Deep belief networks,DBN)，這些模型廣泛用于各種領(lǐng)域，表1列出了它們的典型應(yīng)用。

表1 深度學(xué)習(xí)的典型模型Table 1 The typical models of deep learning

其中，CNN模型多用于圖像識(shí)別，通過(guò)卷積操作、參數(shù)共享、多個(gè)卷積核、池化降采樣以及多層卷積提取圖像的局部特征得到全局特征。圖1為最早的卷積網(wǎng)絡(luò)LeNet-5[8]，它有3個(gè)卷積層、2個(gè)池化降采樣層、1個(gè)全連接層和1個(gè)輸出層。卷積層是卷積核與上一層圖像逐一進(jìn)行卷積計(jì)算得到，其作用是提取圖像的特征，不同卷積核能得到圖像在不同映射下的特征。池化降采樣層對(duì)圖像進(jìn)行子抽樣，可以減少數(shù)據(jù)處理量同時(shí)保留有用的信息，從而減少訓(xùn)練參數(shù)。全連接層出現(xiàn)在最后，對(duì)特征做加權(quán)和，將提取的特征映射到輸出的樣本空間，起到分類(lèi)的作用，連接到輸出層，得到圖像識(shí)別的結(jié)果。

隨后出現(xiàn)了基于CNN的不同卷積網(wǎng)絡(luò)架構(gòu)，如AlexNet、VGG、GoogleNet、ResNet、DenseNet等。CNN架構(gòu)在朝著網(wǎng)絡(luò)更深、分類(lèi)結(jié)果更準(zhǔn)確發(fā)展，也朝著網(wǎng)絡(luò)更簡(jiǎn)化更靈活的訓(xùn)練努力，目的是得到更好的特征表示且減少計(jì)算復(fù)雜度。

圖1 LeNet-5,卷積神經(jīng)網(wǎng)絡(luò)Fig.1 LeNet-5,a convolutional neural network

2 淺層神經(jīng)網(wǎng)絡(luò)用于超聲檢測(cè)缺陷識(shí)別

超聲檢測(cè)數(shù)據(jù)自動(dòng)化分析的創(chuàng)新性工作始于20世紀(jì)70年代末，Rose等[9?10]提出選取超聲信號(hào)傅里葉變換特征使用神經(jīng)網(wǎng)絡(luò)方法進(jìn)行分類(lèi)的可行性，1986年，Burch等[11]驗(yàn)證了時(shí)域信號(hào)峰值、幅度比等作為特征使用神經(jīng)網(wǎng)絡(luò)可用于對(duì)焊接件的缺陷進(jìn)行分類(lèi)。

1991年，Thomsen等[12]針對(duì)復(fù)合材料玻璃鋼制作中存在的幾種缺陷，利用神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)了對(duì)其缺陷的判別。1993年，Lorenz等[13]將鋼板中得到的回波信號(hào)在時(shí)域加窗后進(jìn)行傅里葉變換，再在空間域進(jìn)行傅里葉變換作為輸入，利用BP算法訓(xùn)練神經(jīng)網(wǎng)絡(luò)后可以利用這一神經(jīng)網(wǎng)絡(luò)對(duì)鋼板未知類(lèi)型缺陷進(jìn)行識(shí)別。

90年代末，陳彥華等[14]分別以缺陷回波去卷積和自適應(yīng)濾波求得缺陷特征響應(yīng)作為特征量，又驗(yàn)證了在給定條件下，用回波幅度值也能實(shí)現(xiàn)缺陷類(lèi)型和大小的評(píng)價(jià)。劉鎮(zhèn)清等[15]提出對(duì)粗晶奧氏體不銹鋼的檢測(cè)信號(hào)做傅里葉變換、Wigner變換、譜分析等處理，提取其特征，輸入到神經(jīng)網(wǎng)絡(luò)，而后改進(jìn)了BP算法，修正學(xué)習(xí)率，識(shí)別缺陷有無(wú)準(zhǔn)確率接近90%。

20世紀(jì)初，Simone等[16]使用離散Gabor變換、小波變換及小波聚類(lèi)算法對(duì)焊接件的超聲檢測(cè)信號(hào)進(jìn)行特征提取，并輸入到神經(jīng)網(wǎng)絡(luò)進(jìn)行識(shí)別，結(jié)果表明小波聚類(lèi)算法對(duì)焊接件的缺陷分類(lèi)效果最佳；盧超等[17]用此方法對(duì)高溫合金棒材的平底孔、橫孔等人工缺陷進(jìn)行識(shí)別，準(zhǔn)確率達(dá)96.4%。2005年，Veiga等[18]對(duì)超聲自動(dòng)檢測(cè)系統(tǒng)得到的超聲波衍射時(shí)差法(Time of flight diffraction,TOFD)缺陷使用神經(jīng)網(wǎng)絡(luò)信號(hào)進(jìn)行缺陷分類(lèi)，節(jié)省了在線檢測(cè)的處理時(shí)間，也保證了準(zhǔn)確率。

在當(dāng)時(shí)的情況下，超聲檢測(cè)主要是基于反射回波的時(shí)域信息進(jìn)行缺陷識(shí)別，而神經(jīng)網(wǎng)絡(luò)相比于人工判定方法有很大的優(yōu)勢(shì)，一是檢測(cè)效率高；二是神經(jīng)網(wǎng)絡(luò)具有高度容錯(cuò)性，信噪比較差的情況下也能使用；三是神經(jīng)網(wǎng)絡(luò)適用于關(guān)系無(wú)法用確定的表達(dá)式表示的情況；四是神經(jīng)網(wǎng)絡(luò)訓(xùn)練完成后，可以離線用于識(shí)別未知缺陷。

而當(dāng)時(shí)用于超聲檢測(cè)缺陷識(shí)別的神經(jīng)網(wǎng)絡(luò)也存在以下問(wèn)題：網(wǎng)絡(luò)訓(xùn)練時(shí)間長(zhǎng)；靠經(jīng)驗(yàn)選擇來(lái)選取神經(jīng)元；選取特征量時(shí)，需要用典型缺陷的模型，根據(jù)理論和實(shí)驗(yàn)確定能反映缺陷特征的量。因此提出了很多信號(hào)處理方法用于提取缺陷特征。隨著神經(jīng)網(wǎng)絡(luò)進(jìn)入低潮期，發(fā)展了很多其他機(jī)器學(xué)習(xí)方法用于超聲檢測(cè)缺陷識(shí)別，如最常用的支持向量機(jī)方法。

3 深度學(xué)習(xí)用于超聲檢測(cè)缺陷識(shí)別

3.1 基于深度學(xué)習(xí)的超聲檢測(cè)缺陷識(shí)別

深度學(xué)習(xí)在2006年掀起浪潮并在2012年取得突破性進(jìn)展后廣泛應(yīng)用于各個(gè)領(lǐng)域，在超聲檢測(cè)缺陷識(shí)別上，同樣也有大量的應(yīng)用。

2011年，Sambath等[19]選取回波信號(hào)小波表示后的12個(gè)系數(shù)作為信號(hào)的特征，如平均值、方差、能量、幅度等，輸入到含兩個(gè)隱藏層的神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練識(shí)別4類(lèi)缺陷，準(zhǔn)確率達(dá)到94%。Wang等[20?21]對(duì)深度學(xué)習(xí)用于超聲檢測(cè)進(jìn)行了研究，基于現(xiàn)場(chǎng)可編程門(mén)陣列(Field-programmable gate array,FPGA)硬件平臺(tái)搭建了用于超聲目標(biāo)檢測(cè)的系統(tǒng)，先后提出基于時(shí)域處理、分頻處理方法提取信號(hào)特征量，設(shè)計(jì)了含3個(gè)隱藏層的神經(jīng)網(wǎng)絡(luò)，分頻處理后訓(xùn)練得到99.1%的準(zhǔn)確率遠(yuǎn)高于時(shí)域處理結(jié)果。

施成龍等[22]將采取的A掃信號(hào)進(jìn)行小波包分析，提取其缺陷回波信號(hào)的能量分布特征，輸入到多隱層深度信念網(wǎng)絡(luò)，缺陷識(shí)別率提高到了98.33%。Meng等[3]提出基于CNN的深度學(xué)習(xí)框架對(duì)碳纖維聚合物缺陷分類(lèi)，選用小波包系數(shù)作為CNN的輸入，分類(lèi)準(zhǔn)確率達(dá)到99.87%。

3.2 深度學(xué)習(xí)在檢測(cè)圖像識(shí)別的發(fā)展

隨著深度學(xué)習(xí)在圖像的智能識(shí)別和理解上取得顯著進(jìn)展，在目標(biāo)檢測(cè)方面，開(kāi)始使用深度學(xué)習(xí)方法。將其引入到超聲檢測(cè)缺陷識(shí)別中，可以免去復(fù)雜的手工特征提取步驟，在這方面，醫(yī)學(xué)影像識(shí)別與射線圖像缺陷識(shí)別的相關(guān)工作值得借鑒。

在醫(yī)學(xué)影像識(shí)別領(lǐng)域，深度學(xué)習(xí)方法已經(jīng)廣泛并成熟應(yīng)用于醫(yī)學(xué)圖像識(shí)別、檢測(cè)和分割等。如采用CNN自動(dòng)提取特征，對(duì)乳腺癌、結(jié)腸癌等疾病進(jìn)行分類(lèi)[23?24]，利用三維CNN框架在CT序列中檢測(cè)肺結(jié)節(jié)[25]，采用基于圖像塊的CNN算法從X光血管造影圖像中提取血管達(dá)到血管分割目的[26]等眾多應(yīng)用。而已公開(kāi)的醫(yī)學(xué)圖像數(shù)據(jù)庫(kù)[27]和醫(yī)學(xué)圖像挑戰(zhàn)賽數(shù)據(jù)集[28]使得深度學(xué)習(xí)方法在醫(yī)學(xué)上得到了很好的訓(xùn)練和驗(yàn)證，其結(jié)果越來(lái)越可靠。

在射線工業(yè)檢測(cè)中，2014年，余永維等[29]提出一種基于深度學(xué)習(xí)的射線圖像缺陷識(shí)別方法，提出不同于傳統(tǒng)“人工特征提取+機(jī)器學(xué)習(xí)”的方法，采用深度學(xué)習(xí)網(wǎng)絡(luò)，使可疑區(qū)域的像素灰度信號(hào)直接通過(guò)網(wǎng)絡(luò)模型，卷積神經(jīng)網(wǎng)絡(luò)提取其可疑缺陷區(qū)域的特征實(shí)現(xiàn)識(shí)別，為視覺(jué)缺陷檢測(cè)領(lǐng)域提供了新的思路和方法。顏偉鑫等[30]提出采用Faster R-CNN網(wǎng)絡(luò)模型對(duì)工件射線圖像進(jìn)行缺陷區(qū)域檢測(cè)，通過(guò)實(shí)驗(yàn)對(duì)比驗(yàn)證了該網(wǎng)絡(luò)結(jié)構(gòu)模型性能優(yōu)于傳統(tǒng)的方法。

超聲成像技術(shù)不斷發(fā)展，其成像質(zhì)量也在不斷改進(jìn)，越來(lái)越多的用超聲圖像來(lái)表征缺陷檢測(cè)結(jié)果。結(jié)合以上方法，在超聲檢測(cè)領(lǐng)域，2017年，鄭志遠(yuǎn)[31]深入分析了焊縫各類(lèi)典型缺陷的超聲TOFD-D掃描成像圖的特征，根據(jù)分析得到的特征設(shè)計(jì)了基于Faster R-CNN算法的缺陷自動(dòng)識(shí)別分類(lèi)網(wǎng)絡(luò)，通過(guò)改變實(shí)驗(yàn)參數(shù)獲得更多的樣本對(duì)網(wǎng)絡(luò)進(jìn)行自動(dòng)識(shí)別試驗(yàn)，分析了該方法應(yīng)用于超聲TOFD-D成像的可行性、準(zhǔn)確性及效率。Khumaidi等[32]提出圖像處理方法對(duì)焊接件缺陷進(jìn)行識(shí)別，采集了焊接件4類(lèi)缺陷的超聲檢測(cè)圖像作為輸入，該文獻(xiàn)使用的CNN模型如圖2所示。使用CNN實(shí)現(xiàn)特征提取和分類(lèi)的功能，卷積層的卷積核函數(shù)使用的是高斯核函數(shù)，能減少提取圖像過(guò)程中丟失的原圖像主要信息，也能減少干擾或噪聲的出現(xiàn)，其分類(lèi)給出了95.83%的準(zhǔn)確率。

圖2 卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)[32]Fig.2 CNN Architecture

超聲檢測(cè)圖像并沒(méi)有統(tǒng)一的特征量來(lái)表征，而CNN通過(guò)圖像卷積能自動(dòng)尋找特征。上述例子表明，在數(shù)據(jù)量不大且通過(guò)一個(gè)簡(jiǎn)單的CNN網(wǎng)絡(luò)，便能達(dá)到一定的準(zhǔn)確率，可見(jiàn)深度學(xué)習(xí)中的CNN方法在超聲檢測(cè)圖像識(shí)別方面具有很大潛力。在提高檢測(cè)效率和保證判別準(zhǔn)確率方面，將深度學(xué)習(xí)算法與超聲檢測(cè)圖像識(shí)別結(jié)合有相當(dāng)大的意義。

4 深度學(xué)習(xí)用于超聲檢測(cè)缺陷識(shí)別面臨的問(wèn)題和應(yīng)對(duì)策略

基于CNN框架的深度學(xué)習(xí)通過(guò)訓(xùn)練提取數(shù)據(jù)的特征，實(shí)現(xiàn)其識(shí)別功能，在自然圖像處理中展示了卓越的性能，將其應(yīng)用到超聲檢測(cè)圖像識(shí)別領(lǐng)域具有很大的潛力，但仍有很大挑戰(zhàn)性。

4.1 面臨的問(wèn)題

主要表現(xiàn)在以下幾個(gè)方面：

(1)傳統(tǒng)圖像識(shí)別分類(lèi)，自然圖像建立了超大規(guī)模的樣本數(shù)據(jù)集，如MNIST、CIFAR、ImageNet，在醫(yī)學(xué)圖像上，也在逐步建立起數(shù)據(jù)庫(kù)。而在超聲檢測(cè)中，獲取大規(guī)模的樣本數(shù)據(jù)集非常困難，因?yàn)槠浞N類(lèi)多、差異大，且不同行業(yè)之間是獨(dú)立的，因此，可用的標(biāo)注數(shù)據(jù)規(guī)模相對(duì)很小。

(2)大多超聲檢測(cè)圖像只有信號(hào)的強(qiáng)度值，特別是信噪比較低的情況，缺陷和干擾區(qū)別不明顯，有時(shí)候還因?yàn)槿毕莶町惗上癫煌?，因此，超聲缺陷識(shí)別分析比較困難。

(3)超聲檢測(cè)不同的成像方法反映工件內(nèi)部的不同信息，各有優(yōu)缺點(diǎn)，通常會(huì)使用多種不同的成像方法來(lái)確定結(jié)果，許多圖像處理的深度學(xué)習(xí)算法不能直接用于超聲檢測(cè)缺陷分析。

4.2 應(yīng)對(duì)策略

為了提高缺陷特征表示能力和分類(lèi)準(zhǔn)確率，應(yīng)對(duì)以上問(wèn)題，可以考慮如下應(yīng)對(duì)策略。

4.2.1 遷移學(xué)習(xí)

CNN的主要潛力在于能夠在多層抽象中提取具區(qū)分性的特征，CNN是監(jiān)督學(xué)習(xí)模型，從零開(kāi)始訓(xùn)練CNN是一大挑戰(zhàn)。CNN需要大量標(biāo)記的訓(xùn)練樣本數(shù)據(jù)，而超聲檢測(cè)領(lǐng)域并沒(méi)有大型的缺陷標(biāo)記樣本庫(kù)。針對(duì)這一問(wèn)題，可以采用遷移學(xué)習(xí)方法，遷移學(xué)習(xí)作為使用其他領(lǐng)域的數(shù)據(jù)集以監(jiān)督方式預(yù)訓(xùn)練CNN網(wǎng)絡(luò)，再使用超聲檢測(cè)數(shù)據(jù)來(lái)微調(diào)預(yù)訓(xùn)練網(wǎng)絡(luò)作為超聲缺陷的分類(lèi)器。

醫(yī)學(xué)圖像識(shí)別研究發(fā)現(xiàn)，用ImageNet自然圖像訓(xùn)練得到的CNN模型可用于醫(yī)學(xué)圖像識(shí)別[33]，可使用預(yù)先訓(xùn)練好的網(wǎng)絡(luò)模型進(jìn)行超聲檢測(cè)缺陷識(shí)別。將預(yù)訓(xùn)練CNN作為監(jiān)督學(xué)習(xí)網(wǎng)絡(luò)初始值，利用超聲檢測(cè)有限的標(biāo)注數(shù)據(jù)集對(duì)網(wǎng)絡(luò)參數(shù)進(jìn)行微調(diào)，調(diào)整網(wǎng)絡(luò)中的幾個(gè)或全部層。Tajbakhsh等[34]分析表明深層網(wǎng)絡(luò)進(jìn)行微調(diào)性能有所提高，且訓(xùn)練集規(guī)模減少時(shí)，使用微調(diào)網(wǎng)絡(luò)的重要性提高了。

4.2.2 網(wǎng)絡(luò)泛化及結(jié)合圖像空間連續(xù)信息

由于超聲檢測(cè)受現(xiàn)場(chǎng)條件影響大，雖然監(jiān)督學(xué)習(xí)在使用標(biāo)準(zhǔn)化成像的有限實(shí)驗(yàn)中表現(xiàn)出很大的潛力，但在稍微不同的條件下獲取的新圖像，性能可能會(huì)不一樣。因此適當(dāng)使用深度學(xué)習(xí)通用的數(shù)據(jù)處理方式如規(guī)范化、正則化、Dropout層以提高網(wǎng)絡(luò)的泛化能力，減少過(guò)擬合[35]。

超聲檢測(cè)圖像模糊，缺陷顯示微弱且形式多樣，在特征提取階段，可先進(jìn)行圖像像素點(diǎn)索引，利用區(qū)域中央和周邊的差值來(lái)進(jìn)行圖像分割，得到可疑的區(qū)域[36]，而在超聲檢測(cè)成像過(guò)程中會(huì)帶來(lái)噪聲，可采用缺陷區(qū)域動(dòng)態(tài)跟蹤來(lái)識(shí)別缺陷和區(qū)分噪聲信號(hào)，通過(guò)處理該圖像空間連續(xù)信息來(lái)檢查和所得可疑區(qū)域是否匹配，以消除噪聲影響和誤檢，而不同圖像之間缺陷是否匹配可以以深度學(xué)習(xí)特征矢量的相似度來(lái)判別，即為該特征矢量之間的歐式距離。若可疑缺陷區(qū)域兩兩匹配，可判斷為同一個(gè)區(qū)域且存在缺陷。

4.2.3 多圖像信息融合及三維圖像處理

當(dāng)缺陷需要用多個(gè)成像方法得到不同的檢測(cè)圖像或者三維成像結(jié)果來(lái)表征時(shí)，可采用多處理流CNN方法、三維CNN方法、多個(gè)網(wǎng)絡(luò)模型結(jié)合使用等方法進(jìn)行超聲檢測(cè)圖像識(shí)別。

多處理流或多通道流CNN方法取缺陷多個(gè)成像結(jié)果[37]或三維圖像轉(zhuǎn)換成多個(gè)視角的二維圖像[38]作為輸入，整合多個(gè)通道缺陷信息，提高缺陷準(zhǔn)確率，最后在全連接層合并這些特征，得到最終分類(lèi)結(jié)果。三維CNN借助三維卷積提取特征，可以處理超聲檢測(cè)三維成像結(jié)果，該方法分類(lèi)準(zhǔn)確率更高，但計(jì)算效率較低[39]。多個(gè)網(wǎng)絡(luò)模型的疊加如RNN和CNN結(jié)合使用[40]，RNN網(wǎng)絡(luò)模型對(duì)序列信號(hào)提取不同時(shí)刻的關(guān)聯(lián)度，CNN網(wǎng)絡(luò)模型主要對(duì)單張圖片進(jìn)行特征提取，可以對(duì)超聲檢測(cè)三維立體成像結(jié)果進(jìn)行識(shí)別。

5 討論和結(jié)論

綜上所述，深度學(xué)習(xí)具有自動(dòng)地從數(shù)據(jù)中學(xué)習(xí)深層次特征的能力，已應(yīng)用于圖像分析的多個(gè)研究領(lǐng)域。在大多數(shù)文獻(xiàn)中，使用深度學(xué)習(xí)相關(guān)的方法都表現(xiàn)出高性能，而云計(jì)算和多GPU高性能并行計(jì)算技術(shù)的發(fā)展，深度學(xué)習(xí)可以從大數(shù)據(jù)中學(xué)習(xí)深層特征。從現(xiàn)有文獻(xiàn)梳理中可看出，目前代表領(lǐng)先水平的深度學(xué)習(xí)用于圖像識(shí)別的方法大多是基于CNN的框架。

超聲檢測(cè)直接使用基于CNN框架的深度學(xué)習(xí)方法對(duì)檢測(cè)圖像進(jìn)行識(shí)別的研究還較少，獲得用于訓(xùn)練的標(biāo)注數(shù)據(jù)是深度學(xué)習(xí)方法應(yīng)用于超聲檢測(cè)圖像識(shí)別的一大挑戰(zhàn)。在目前已標(biāo)記訓(xùn)練數(shù)據(jù)有限情況下，充分利用超聲檢測(cè)中的非標(biāo)注圖像，通過(guò)遷移學(xué)習(xí)，并結(jié)合圖像三維信息，使用多個(gè)網(wǎng)絡(luò)模型，達(dá)到泛化的目的，使其具有通用性將成為超聲檢測(cè)缺陷識(shí)別的一個(gè)重要發(fā)展方向。

上述挑戰(zhàn)為超聲檢測(cè)缺陷識(shí)別領(lǐng)域提供了機(jī)會(huì)，通過(guò)深度學(xué)習(xí)算法的不斷改進(jìn)，借助高性能并行計(jì)算技術(shù)和日益改善的超聲檢測(cè)成像質(zhì)量與不斷增長(zhǎng)的檢測(cè)數(shù)據(jù)標(biāo)記樣本集，基于深度學(xué)習(xí)的超聲檢測(cè)圖像識(shí)別將大有所為。