□ 凌旭峰 □ 周麗婕 □ 祝 毓 □ 楊紅衛(wèi) □ 楊 杰

1.上海師范大學(xué)天華學(xué)院 上海 201815 2.上海圖書(shū)館(上?？茖W(xué)技術(shù)情報(bào)研究所) 上海 200031 3.上海志良電子科技有限公司 上海 200072 4.上海交通大學(xué)圖像處理與模式識(shí)別研究所 上海 200240

1 研究背景

隨著光伏發(fā)電技術(shù)的日益成熟,我國(guó)逐步采用太陽(yáng)能這種安全清潔的能源。光伏發(fā)電已經(jīng)成為我國(guó)新能源發(fā)展的重要領(lǐng)域,并可以戰(zhàn)略性地解決潛在能源危機(jī)和環(huán)境污染問(wèn)題。光伏發(fā)電應(yīng)用的核心部件是太陽(yáng)能電池板,生產(chǎn)工藝復(fù)雜,容易產(chǎn)生缺陷。在生產(chǎn)和使用過(guò)程中,檢測(cè)并替換有缺陷的太陽(yáng)能電池板,能夠顯著提高發(fā)電效率,延長(zhǎng)太陽(yáng)能電站的使用壽命。

目前,太陽(yáng)能電池板缺陷檢測(cè)方法主要分為人工目視檢測(cè)、物理檢測(cè)、機(jī)器視覺(jué)檢測(cè)三種。

人工目視檢測(cè)方法由專業(yè)人員通過(guò)可見(jiàn)光相機(jī)或紅外相機(jī)拍攝的太陽(yáng)能電池板圖像來(lái)判斷是否存在缺陷,需耗費(fèi)大量人力資源,且檢測(cè)效率低,對(duì)于不同的缺陷存在嚴(yán)重的主觀意向,已處于逐漸淘汰階段。

物理檢測(cè)方法指使用聲波、紅外、激光掃描、共振超聲振動(dòng)等方法檢測(cè)太陽(yáng)能電池板的缺陷。王亞麗等[1]設(shè)計(jì)了一種基于紅外熱像技術(shù)進(jìn)行太陽(yáng)能電池板缺陷檢測(cè)和分類的方法,可以根據(jù)常見(jiàn)的黑片、斷柵、隱裂、碎片等缺陷,提取紅外圖像平均灰度值差、長(zhǎng)寬比、邊緣曲率等特征,進(jìn)行缺陷檢測(cè)。試驗(yàn)表明這一方法能夠檢測(cè)定位缺陷,并對(duì)缺陷進(jìn)行正確分類。白愷等[2]根據(jù)晶硅光伏組件缺陷形成機(jī)理,提出了一種適用于現(xiàn)場(chǎng)應(yīng)用的缺陷光伏組件檢測(cè)方案,包括紅外熱成像排查、絕緣電阻測(cè)試、電致發(fā)光測(cè)試、光伏組件特性測(cè)試,鑒別光伏組件缺陷的產(chǎn)生原因及對(duì)發(fā)電性能的影響。施光輝等[3]提出通過(guò)電致發(fā)光測(cè)試技術(shù)發(fā)現(xiàn)電池組件的黑心、黑斑、隱裂、斷柵等缺陷,結(jié)合光伏組件電壓電流特性曲線,確定電池組件是否存在缺陷。楊瑞珍等[4]提出了電磁感應(yīng)主動(dòng)激勵(lì)下晶體硅光伏電池紅外熱成像缺陷檢測(cè)方法,具有檢測(cè)靈敏度高、可發(fā)現(xiàn)內(nèi)部缺陷、檢測(cè)缺陷種類多等優(yōu)勢(shì),在脈沖式和鎖相式兩種激勵(lì)模式下獲得并處理硅電池?zé)岢上裥蛄?實(shí)現(xiàn)晶體硅光伏電池中熱斑、裂紋、斷柵、重?fù)诫s等缺陷的可視化檢測(cè)。石磊等[5]基于太陽(yáng)能電池電致發(fā)光原理,設(shè)計(jì)了電致發(fā)光缺陷檢測(cè)單元,通過(guò)機(jī)器視覺(jué)系統(tǒng)采集數(shù)據(jù),生成光伏組件電致發(fā)光圖像,輔助人工完成光伏組件的缺陷檢測(cè),減輕疲勞等人為因素對(duì)檢測(cè)結(jié)果的影響。

相比物理檢測(cè)方法,機(jī)器視覺(jué)檢測(cè)作為一種新的檢測(cè)方法,具有髙效、精確、實(shí)時(shí)、靈活、非接觸、遠(yuǎn)距離測(cè)量等特點(diǎn)。隨著信息處理軟硬件技術(shù)的不斷發(fā)展,機(jī)器視覺(jué)檢測(cè)方法優(yōu)勢(shì)日益顯著。機(jī)器視覺(jué)檢測(cè)方法主要具有三方面優(yōu)勢(shì)。第一,檢測(cè)速度快,僅需幾百毫秒。第二,應(yīng)用部署靈活,可以根據(jù)不同的環(huán)境進(jìn)行配置,以滿足用戶要求,實(shí)現(xiàn)遠(yuǎn)程檢測(cè)操作。第三,檢測(cè)精度高,檢測(cè)標(biāo)準(zhǔn)化、一致性不斷完善。孫海蓉等[6]提出了一種深度卷積自編碼網(wǎng)絡(luò)模型,用于小樣本光伏熱斑的識(shí)別與定位,自動(dòng)學(xué)習(xí)并提取小樣本圖像中的有效特征。試驗(yàn)結(jié)果表明,針對(duì)小樣本光伏熱斑圖像數(shù)據(jù)集,這一方法相比傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)識(shí)別準(zhǔn)確率提升7.98%,并具有更強(qiáng)的泛化能力和穩(wěn)定性。都胡平等[7]提出了一種在生產(chǎn)過(guò)程中檢測(cè)電池片破損的方法,采用Sobel算子檢測(cè)圖像邊緣,計(jì)算電池片偏轉(zhuǎn)角度,基于角點(diǎn)檢測(cè)法檢測(cè)電池片是否已破損。試驗(yàn)結(jié)果顯示,這一方法的精度較高,能夠檢測(cè)出電池片串焊過(guò)程中的位置偏轉(zhuǎn)、破損等問(wèn)題。陳鳳妹等[8]設(shè)計(jì)了一種基于深度學(xué)習(xí)的太陽(yáng)能電池板缺陷檢測(cè)模型,在SegNet網(wǎng)絡(luò)框架基礎(chǔ)上使用空洞卷積代替池化層,增大感受野,并保留圖像邊緣信息。這一模型可以明顯提高檢測(cè)的準(zhǔn)確率。鄧堡元等[9]提出了一種基于光流法處理光伏電池?zé)崃鲌?chǎng)的熱圖像序列分析方法,可以準(zhǔn)確找到異常發(fā)熱源,并與短波紅外成像找到的異常發(fā)光源融合,通過(guò)深度卷積神經(jīng)網(wǎng)絡(luò),實(shí)現(xiàn)對(duì)光伏電池內(nèi)部缺陷與劃痕、覆蓋、裂紋、缺損等人工缺陷的有效識(shí)別。試驗(yàn)結(jié)果表明,這一方法在卷積網(wǎng)絡(luò)訓(xùn)練中能更快收斂。周得永等[10]采用YOLOv3算法對(duì)太陽(yáng)能電池板電致發(fā)光圖片進(jìn)行缺陷檢測(cè),在測(cè)試集中精度均值達(dá)到81.81%。試驗(yàn)結(jié)果表明,YOLOv3算法對(duì)于含有斷柵、隱裂缺陷的太陽(yáng)能電池板能夠?qū)崿F(xiàn)比較準(zhǔn)確的檢測(cè)。劉懷廣等[11]建立了一種特征增強(qiáng)型輕量化卷積神經(jīng)網(wǎng)絡(luò)模型,設(shè)計(jì)特征增強(qiáng)提取模塊,提高弱邊界的提取能力,同時(shí)根據(jù)多尺度識(shí)別原理增加小目標(biāo)預(yù)測(cè)層,實(shí)現(xiàn)多尺度特征預(yù)測(cè)。試驗(yàn)測(cè)試中,這一模型的精度均值達(dá)到87.55%,相比傳統(tǒng)模型高近7個(gè)百分點(diǎn),并且滿足精準(zhǔn)性與實(shí)時(shí)性的檢測(cè)要求。

現(xiàn)有基于監(jiān)督學(xué)習(xí)的機(jī)器視覺(jué)檢測(cè)方法有三個(gè)缺點(diǎn)。一是需要對(duì)缺陷位置進(jìn)行精確定位,才能實(shí)現(xiàn)缺陷識(shí)別,而缺陷定位難度較大。因?yàn)槿毕菔情_(kāi)放性的,局部缺陷和全局缺陷屬于同一類缺陷,如一條長(zhǎng)裂紋中有間斷,是定位為一條長(zhǎng)裂紋還是兩段短裂紋,由此產(chǎn)生缺陷檢測(cè)定位兩難問(wèn)題。二是需要數(shù)據(jù)人工標(biāo)注數(shù)據(jù)集支持,并在數(shù)據(jù)集中進(jìn)行大量訓(xùn)練,才能獲得訓(xùn)練收斂的模型。數(shù)據(jù)集需要人工標(biāo)注,既耗時(shí)又昂貴,在特殊領(lǐng)域,如醫(yī)療領(lǐng)域樣本標(biāo)注極其昂貴,由此成為人工智能發(fā)展的瓶頸。三是數(shù)據(jù)標(biāo)注會(huì)導(dǎo)致信息損失。一幅圖像所包含的信息非常豐富,除被標(biāo)注對(duì)象之外,還有背景信息、次要目標(biāo)信息等,而單一的訓(xùn)練任務(wù)僅提取圖像中的標(biāo)注信息,忽略其它有用信息。由于信息損失,導(dǎo)致監(jiān)督學(xué)習(xí)模型的特征提取能力扭曲,泛化能力較差。

自監(jiān)督學(xué)習(xí)方法可以克服監(jiān)督學(xué)習(xí)方法的缺點(diǎn)。自監(jiān)督學(xué)習(xí)分為判別式自監(jiān)督學(xué)習(xí)和生成式自監(jiān)督學(xué)習(xí)兩種類型[12]。典型的判別式自監(jiān)督學(xué)習(xí)方法是對(duì)比學(xué)習(xí),主要思想是通過(guò)自動(dòng)構(gòu)造相似實(shí)例和不相似實(shí)例,獲得一個(gè)特征表征的學(xué)習(xí)模型,使相似實(shí)例在投影空間聚集,使不相似實(shí)例在投影空間分離[13-14]。采用生成式自監(jiān)督學(xué)習(xí)方法,訓(xùn)練一個(gè)深度學(xué)習(xí)模型,以重建被遮蓋的部分圖像。訓(xùn)練收斂的重建模型類似于一個(gè)圖像編碼器,具有圖像特征提取能力。筆者提出一種基于生成式自監(jiān)督學(xué)習(xí)的太陽(yáng)能電池板缺陷檢測(cè)方法,能夠避免像素級(jí)復(fù)原,在顯著減小運(yùn)算量的同時(shí)提取圖像全局和細(xì)節(jié)特征,實(shí)現(xiàn)較好的缺陷分類識(shí)別效果,并且穩(wěn)健性佳,具有較強(qiáng)的泛化能力。

2 原理

2.1 作用

生成式自監(jiān)督學(xué)習(xí)方法可以提取工業(yè)產(chǎn)品的表面缺陷,應(yīng)用于缺陷檢測(cè)領(lǐng)域,有四方面顯著作用。

(1) 相比傳統(tǒng)方法,生成式自監(jiān)督學(xué)習(xí)方法通過(guò)自注意力模糊定位缺陷所在位置,避免缺陷精確定位的難題,不需要顯性判別缺陷位置即可檢測(cè)缺陷,適合檢測(cè)開(kāi)放性缺陷。

(2) 生成式自監(jiān)督學(xué)習(xí)方法可以對(duì)未標(biāo)注數(shù)據(jù)集構(gòu)造自監(jiān)督任務(wù)進(jìn)行訓(xùn)練,生成特征提取模型,不需要使用人工標(biāo)注的大樣本數(shù)據(jù)集,可以極大減小人工標(biāo)注工作量,降本增效。

(3) 使用生成式自監(jiān)督學(xué)習(xí)方法,在完成特征提取模型訓(xùn)練后,與有監(jiān)督模型相比,可以捕捉數(shù)據(jù)集特征局部細(xì)節(jié)特征和全局語(yǔ)義特征,模型具有很強(qiáng)的特征提取能力,并且只需要使用對(duì)少量標(biāo)注典型缺陷樣本訓(xùn)練的一個(gè)分類器,就可以達(dá)到不錯(cuò)的分類效果。

(4) 生成式自監(jiān)督學(xué)習(xí)方法采用雙通道方式訓(xùn)練模型,避免從像素層面恢復(fù)原始圖像,減小運(yùn)算量,可以應(yīng)用于實(shí)際工業(yè)生產(chǎn)。語(yǔ)義生成式自監(jiān)督學(xué)習(xí)方法具有普適性,可以應(yīng)用于大范圍工業(yè)表面檢測(cè),有非常廣泛的應(yīng)用前景。

2.2 模型架構(gòu)

生成式自監(jiān)督學(xué)習(xí)方法采用雙通道方式來(lái)訓(xùn)練模型[15]。第一個(gè)通道使用離散變分編碼器對(duì)輸入圖像進(jìn)行編碼[16],形成輸入圖像的第一種表征方法,即圖像編碼表征。第二個(gè)通道將圖像輸入一個(gè)視覺(jué)變換器的主干網(wǎng),并采用遮蓋模型,要求模型具有獲得復(fù)原被遮蓋圖像塊的能力,進(jìn)而形成自注意力表征[17]。為了避免像素級(jí)復(fù)原而導(dǎo)致的大運(yùn)算量,使用一個(gè)全連接分類網(wǎng)絡(luò),將自注意力表征映射為編碼表征,進(jìn)而將像素級(jí)遮蓋復(fù)原任務(wù)轉(zhuǎn)換為遮蓋編碼復(fù)原任務(wù)。這一方法在實(shí)現(xiàn)良好圖像特征表達(dá)的同時(shí),減小像素級(jí)表達(dá)的運(yùn)算量。模型的預(yù)訓(xùn)練過(guò)程是不斷訓(xùn)練視覺(jué)變換器和全連接網(wǎng)絡(luò)參數(shù)的過(guò)程,使遮蓋復(fù)原編碼與原始圖像編碼之間的誤差盡可能小。

模型架構(gòu)如圖1所示。

▲圖1 模型架構(gòu)

2.3 圖像分塊

將高為H,寬為W,通道數(shù)為C的數(shù)字化輸入圖像標(biāo)記為X,X∈RH×W×C。R是一個(gè)高維張量,每個(gè)分量對(duì)應(yīng)不同位置像素在不同通道的值。將圖像X分割為多個(gè)圖像塊,設(shè)圖像塊的高和寬均為P,則圖像X可以分割為HW/P2個(gè)圖像塊。舉例而言,輸入圖像的高和寬均為224,將P設(shè)為16,則圖像可以分割為196個(gè)圖像塊。將這196個(gè)圖像塊堆疊起來(lái),由此形成長(zhǎng)度為196的圖像塊張量。

2.4 圖像離散編碼通道

模型使用離散變分編碼器和解碼器對(duì)圖像進(jìn)行編碼和解碼。編碼器和解碼器都由深度殘差網(wǎng)絡(luò)組成,需要通過(guò)訓(xùn)練得到。為圖像建立一個(gè)詞匯表,詞匯表詞典長(zhǎng)度為8 192個(gè)詞,詞典均勻離散分布。使用離散變分編碼器對(duì)圖像中的每個(gè)圖像塊進(jìn)行編碼,將圖像中的每個(gè)圖像塊均映射至長(zhǎng)度為8 192個(gè)詞的詞匯表詞典中的碼字。輸入圖像X分割為196個(gè)圖像塊,輸入編碼器,得到196個(gè)離散編碼,每個(gè)編碼的取值在0～8 191之間,于是輸入圖像轉(zhuǎn)換為長(zhǎng)度為196,取值為0～8 191的數(shù)組。離散變分編碼器可以極大壓縮圖像,提取圖像特征。解碼器使用196個(gè)碼字重建原始圖像,重建圖像的優(yōu)劣標(biāo)志著編碼器特征提取能力和生成能力的強(qiáng)弱。

2.5 視覺(jué)變換器主干網(wǎng)通道

在196個(gè)圖像塊的最前方,疊加一個(gè)附加的可以學(xué)習(xí)的類別標(biāo)志,用于綜合整個(gè)序列的語(yǔ)義信息。整幅圖像看作由196個(gè)單詞構(gòu)成的一段話,圖像識(shí)別可以看作是對(duì)這段話的語(yǔ)義識(shí)別,隨后連接嵌入映射層。將包含類別標(biāo)志的序列通過(guò)預(yù)歸一化層輸出至12個(gè)串接的視覺(jué)變換器模塊序列,每個(gè)視覺(jué)變換器模塊由注意力層、前饋層、跳接并聯(lián)、Dropout層等組成。通過(guò)一個(gè)全連接層,實(shí)現(xiàn)分類功能,作為下游任務(wù)。生成式自監(jiān)督學(xué)習(xí)方法通過(guò)遮蓋圖像建模任務(wù)來(lái)對(duì)網(wǎng)絡(luò)進(jìn)行預(yù)訓(xùn)練,隨機(jī)遮蓋輸入圖像塊序列的40%,如輸入16個(gè)圖像塊,遮蓋5個(gè)圖像塊,在遮蓋后的序列疊加位置嵌入編碼,經(jīng)過(guò)嵌入層嵌入后,輸入視覺(jué)變換器,由復(fù)原法重建被遮蓋的40%圖像塊。圖1中,全黑的方塊是被遮蓋的圖像塊,輸入視覺(jué)變換器后,被遮蓋圖像塊的輸出預(yù)測(cè)嵌入向量值h2、h4、h7、h10、h14,接入后續(xù)全連接層。

2.6 全連接網(wǎng)絡(luò)訓(xùn)練

視覺(jué)變換器主干網(wǎng)輸出完整的196個(gè)圖像塊嵌入向量值,只需取出被遮蓋的預(yù)測(cè)嵌入向量值h2、h4、h7、h10、h14,沒(méi)有被遮蓋的可以丟棄。隨后再訓(xùn)練全連接網(wǎng)絡(luò),網(wǎng)絡(luò)輸入為h2、h4、h7、h10、h14,輸出被遮蓋圖像塊的編碼。網(wǎng)絡(luò)訓(xùn)練目標(biāo)要求輸入重建圖像塊編碼與對(duì)應(yīng)原始圖像塊編碼之間的誤差盡可能小,通過(guò)梯度下降法不斷迭代訓(xùn)練,直致模型收斂。模型訓(xùn)練完畢后,只需要保留視覺(jué)變換器主干網(wǎng),丟棄之后的全連接網(wǎng)絡(luò),即可得到圖像的編碼網(wǎng)絡(luò),完成圖像特征提取網(wǎng)絡(luò)的訓(xùn)練。

3 試驗(yàn)分析

為了測(cè)試基于生成式自監(jiān)督學(xué)習(xí)的太陽(yáng)能電池板缺陷檢測(cè)方法的實(shí)際效果,進(jìn)行了試驗(yàn)。試驗(yàn)在Linux操作系統(tǒng)中完成,操作系統(tǒng)版本為Ubuntu 20.04,服務(wù)器具有128 GiByte內(nèi)存,配備四塊RTX 2080Ti GPU顯卡。試驗(yàn)時(shí)選擇主流深度學(xué)習(xí)平臺(tái)PyTorch 1.7.1,應(yīng)用Python編程語(yǔ)言,采用Miniconda3創(chuàng)建獨(dú)立試驗(yàn)環(huán)境,試驗(yàn)過(guò)程如圖2所示。

▲圖2 試驗(yàn)過(guò)程

3.1 數(shù)據(jù)集

太陽(yáng)能電池板缺陷數(shù)據(jù)集包含2 624幅8位灰度圖像,分辨率為300像素×300像素。缺陷太陽(yáng)能電池板樣本的性能都存在不同程度的退化,從44個(gè)不同的太陽(yáng)能電池板模塊中提取。

對(duì)所有圖像根據(jù)大小和透視圖進(jìn)行標(biāo)準(zhǔn)化,并消除由用于捕獲電致發(fā)光圖像的相機(jī)鏡頭引起的失真。采用缺陷概率,即0～1之間的浮點(diǎn)值描述圖像,并對(duì)太陽(yáng)能電池板組件類型進(jìn)行標(biāo)注。

將2 624幅圖像按照7∶2∶1分為訓(xùn)練集、驗(yàn)證集、測(cè)試集,樣本分布見(jiàn)表1。由表1可以看出,圖像樣本數(shù)不均衡,缺陷概率為0與缺陷概率為100%的樣本數(shù)較多,缺陷概率為33%與缺陷概率為66%的樣本數(shù)較少,單晶缺陷概率為66%的樣本數(shù)僅為56,多晶缺陷概率為66%的樣本數(shù)僅為50,給模型訓(xùn)練和泛化帶來(lái)一定困難。

表1 太陽(yáng)能電池板缺陷數(shù)據(jù)集樣本分布

數(shù)據(jù)集中,多晶缺陷概率為100%的圖像如圖3所示,多晶不同缺陷概率的圖像如圖4所示,單晶缺陷概率為100%的圖像如圖5所示,單晶不同缺陷概率的圖像如圖6所示。

▲圖3 多晶缺陷概率100%圖像▲圖4 多晶不同缺陷概率圖像▲圖5 單晶缺陷概率100%圖像▲圖6 單晶不同缺陷概率圖像

由圖3可以看出,缺陷1與缺陷4圖像缺陷顯著,缺陷2與缺陷3圖像缺陷不顯著,多晶缺陷概率均為100%的圖像類內(nèi)差別很大。由圖4可以看出,缺陷概率為0的圖像比缺陷概率為66%的圖像缺陷更為顯著,顯示很強(qiáng)的非線性特征。由圖5可以看出,缺陷1圖像缺陷顯著,缺陷3圖像缺陷不顯著,缺陷2與缺陷4圖像介于缺陷1與缺陷3圖像之間,單晶缺陷概率均為100%的圖像類內(nèi)差別同樣很大。由圖6可以看出,缺陷概率為0的第一幅圖像與缺陷概率為66%的圖像相似,缺陷概率為0的第二幅圖像與缺陷概率為33%的圖像顯示了更多的缺陷,同樣顯示出很強(qiáng)的非線性特征。

對(duì)比圖3、圖4、圖5、圖6,存在圖像類內(nèi)樣本差異大、圖像類間樣本差異小、非線性強(qiáng)等特點(diǎn)。如多晶缺陷概率為100%的圖像呈現(xiàn)出豐富的多樣性,單晶缺陷概率為100%的圖像也呈現(xiàn)出豐富的多樣性。從圖像表面看,存在多晶缺陷概率為100%的圖像比單晶缺陷概率為33%的圖像紋理更加干凈的情況,也存在單晶缺陷概率為0的圖像比單晶缺陷概率為66%的圖像紋理更復(fù)雜的情況。數(shù)據(jù)集類內(nèi)存在差異很大的樣本,類間存在差異較小的樣本,這給缺陷分類帶來(lái)很大困難,提高了預(yù)測(cè)模型的泛化難度。

3.2 網(wǎng)絡(luò)調(diào)優(yōu)

現(xiàn)有的預(yù)訓(xùn)練模型已有廣譜二維圖像特征提取能力,尤其是提取自然界圖像特征的能力,已得到充分訓(xùn)練。太陽(yáng)能電池板是工業(yè)產(chǎn)品,缺陷視覺(jué)特征顯著不同,不能直接使用預(yù)訓(xùn)練模型。筆者導(dǎo)入預(yù)訓(xùn)練模型,在太陽(yáng)能電池板數(shù)據(jù)集中進(jìn)行調(diào)優(yōu),使調(diào)優(yōu)后的模型可以有針對(duì)性地提取缺陷特征。

預(yù)訓(xùn)練模型調(diào)優(yōu)訓(xùn)練時(shí),參數(shù)設(shè)定非常重要,合適的參數(shù)可以達(dá)到收斂快、準(zhǔn)確度高的效果。經(jīng)過(guò)反復(fù)試驗(yàn),選定效果較好的參數(shù)。參數(shù)中,批次為32,優(yōu)化器選擇ADM,學(xué)習(xí)率為余弦優(yōu)化方案,熱身周期為5,層衰減為0.75,下降路徑為0.2,權(quán)重衰減為0.05,訓(xùn)練周期為200次。訓(xùn)練結(jié)果如圖7、圖8所示。

▲圖7 訓(xùn)練誤差與驗(yàn)證誤差對(duì)比▲圖8 訓(xùn)練準(zhǔn)確率與驗(yàn)證準(zhǔn)確率對(duì)比

使用訓(xùn)練集調(diào)優(yōu)時(shí),由圖7可以看出,隨著訓(xùn)練次數(shù)的增加,訓(xùn)練誤差降低,驗(yàn)證誤差降低。訓(xùn)練次數(shù)達(dá)到80次左右時(shí),驗(yàn)證誤差達(dá)到最低,訓(xùn)練誤差繼續(xù)降低。訓(xùn)練次數(shù)達(dá)到150次時(shí),訓(xùn)練誤差收斂到0.75左右,此時(shí)已經(jīng)基本收斂。從經(jīng)驗(yàn)來(lái)說(shuō),訓(xùn)練誤差與驗(yàn)證誤差的交匯點(diǎn)就是模型訓(xùn)練的最優(yōu)訓(xùn)練點(diǎn)。再往后訓(xùn)練,雖然訓(xùn)練誤差可能繼續(xù)降低,但是驗(yàn)證誤差卻會(huì)提高,模型有過(guò)擬合的危險(xiǎn)。由圖8可以看出,隨著訓(xùn)練次數(shù)的增加,訓(xùn)練準(zhǔn)確率與驗(yàn)證準(zhǔn)確率提高,訓(xùn)練次數(shù)達(dá)到114次時(shí),驗(yàn)證準(zhǔn)確率達(dá)到81.74%,之后驗(yàn)證準(zhǔn)確率基本穩(wěn)定。

3.3 對(duì)比試驗(yàn)

進(jìn)行一系列對(duì)比試驗(yàn),對(duì)比對(duì)象包括采用監(jiān)督學(xué)習(xí)的卷積神經(jīng)網(wǎng)絡(luò)基線模型ResNet、2021年最佳模型Swin Transformer、基于對(duì)比學(xué)習(xí)的自監(jiān)督學(xué)習(xí)模型,對(duì)比試驗(yàn)結(jié)果見(jiàn)表2。

表2 不同模型對(duì)比試驗(yàn)結(jié)果

表2顯示,如果不進(jìn)行缺陷區(qū)域檢測(cè)等工作,直接使用監(jiān)督學(xué)習(xí)的ResNet、Swin Transformer來(lái)分類,模型訓(xùn)練識(shí)別準(zhǔn)確率都低于75%。原因是太陽(yáng)能電池板的缺陷是開(kāi)放式的,沒(méi)有固定模式,在這種情況下,缺陷區(qū)域定位難度大。在無(wú)法定位缺陷區(qū)域的情況下,傳統(tǒng)有監(jiān)督學(xué)習(xí)方法難以準(zhǔn)確提取特征,也就難以實(shí)現(xiàn)準(zhǔn)確識(shí)別。

Dino是基于對(duì)比學(xué)習(xí)的自監(jiān)督學(xué)習(xí),主干網(wǎng)絡(luò)為視覺(jué)變換器,效果較好。自監(jiān)督學(xué)習(xí)注意力模型可以依托注意力機(jī)制,非顯性提升缺陷區(qū)域的自注意力,從而達(dá)到較好的特征提取效果。表2顯示,Dino KNN的識(shí)別準(zhǔn)確率達(dá)到76.67%,Dino Linear的識(shí)別準(zhǔn)確率達(dá)到78.15%,生成式自監(jiān)督學(xué)習(xí)的識(shí)別準(zhǔn)確率則達(dá)到81.74%。Dino的對(duì)比學(xué)習(xí)屬于判別式自監(jiān)督學(xué)習(xí),特征提取能力不如生成式自監(jiān)督學(xué)習(xí),因而識(shí)別準(zhǔn)確率低于生成式自監(jiān)督學(xué)習(xí)。

4 結(jié)束語(yǔ)

針對(duì)太陽(yáng)能電池板檢測(cè)這一難度較大的工業(yè)產(chǎn)品質(zhì)量控制問(wèn)題,使用生成式自監(jiān)督學(xué)習(xí)提取特征,結(jié)合有監(jiān)督學(xué)習(xí)進(jìn)行調(diào)優(yōu)分類,檢測(cè)太陽(yáng)能電池板的缺陷。在太陽(yáng)能電池板缺陷數(shù)據(jù)集中進(jìn)行測(cè)試,并進(jìn)行對(duì)比試驗(yàn),生成式自監(jiān)督學(xué)習(xí)在200次訓(xùn)練的情況下獲得81.74%的識(shí)別準(zhǔn)確率,高于對(duì)比學(xué)習(xí)和有監(jiān)督學(xué)習(xí)。試驗(yàn)結(jié)果表明,生成式自監(jiān)督學(xué)習(xí)在特征提取方面有獨(dú)特優(yōu)勢(shì)。生成式自監(jiān)督學(xué)習(xí)能夠很好地解決開(kāi)放性缺陷問(wèn)題,省略缺陷定位環(huán)節(jié),提高穩(wěn)定性。相比判別式自監(jiān)督學(xué)習(xí),生成式自監(jiān)督學(xué)習(xí)更能抓住細(xì)節(jié)信息,特征提取能力更強(qiáng)。生成式自監(jiān)督學(xué)習(xí)具有很強(qiáng)的圖像分割功能,特征提取能力普適性較強(qiáng),有良好的泛化能力。通過(guò)研究確認(rèn),生成式自監(jiān)督學(xué)習(xí)在特征提取方面具有局部細(xì)節(jié)豐富、捕捉全局語(yǔ)義特征等優(yōu)良屬性,具有良好的靈活性,在工業(yè)產(chǎn)品質(zhì)量檢測(cè)及工業(yè)圖像領(lǐng)域具有應(yīng)用推廣價(jià)值。