王慶秋,李林升,桂久琪,毛 曉
(上海電機(jī)學(xué)院 電氣學(xué)院,上海 201306)
鋰電池作為新興能源的代表之一,以體積小、儲(chǔ)能大、易攜帶等優(yōu)勢使其影響力日益增長[1]。在鋰電池生產(chǎn)的輥壓和卷繞過程中,極片區(qū)域經(jīng)常會(huì)受機(jī)器和環(huán)境影響,產(chǎn)生各式各樣的缺陷[2]。為了保證鋰電池產(chǎn)品的出廠質(zhì)量,在生產(chǎn)環(huán)節(jié)中需要對(duì)鋰電池極片進(jìn)行缺陷檢測和分類。
許多學(xué)者對(duì)鋰電池極片的缺陷檢測與分類開展了研究。LI等[3]提出了一種基于空氣耦合超聲檢測技術(shù)的鋰離子電池缺陷檢測方法,能夠有效實(shí)現(xiàn)對(duì)預(yù)埋氣孔缺陷和自然氣孔缺陷的檢測。朱錫芳等[4]通過改進(jìn)灰關(guān)聯(lián)算法并提取缺陷二值圖像的形狀和投影特征,進(jìn)行缺陷識(shí)別,準(zhǔn)確率達(dá)到91.2%。詹茵茵[5]通過對(duì)光源進(jìn)行角度調(diào)節(jié),得到不同的反射光斑分布,在提取鋰電池的特征后,利用C-SVM理論建立氣脹檢測分類模型,該方法可達(dá)到90.1%的識(shí)別精度。鄭巖[6]通過對(duì)多種光源特性分析,選擇適合鋰電池的光源散射照明方式,采用一種改進(jìn)的中值濾波算法和Canny邊緣算法對(duì)圖像進(jìn)行分割,達(dá)到82%的準(zhǔn)確率。
為了實(shí)現(xiàn)對(duì)鋰電池極片缺陷檢測并分類,本文提出一種基于圖像處理與卷積神經(jīng)網(wǎng)絡(luò)相結(jié)合的缺陷檢測與分類方法。首先對(duì)工業(yè)CCD相機(jī)獲得的鋰電池原圖像進(jìn)行對(duì)比度增強(qiáng)、分割、形態(tài)學(xué)處理和邊緣檢測,實(shí)現(xiàn)對(duì)鋰電池極片的缺陷輪廓標(biāo)定,并將提取到的輪廓延伸后的圖像作為本次實(shí)驗(yàn)的測試集;然后對(duì)鋰電池極片的四類常見的缺陷數(shù)據(jù)集進(jìn)行擴(kuò)充處理,增強(qiáng)模型的泛化能力和魯棒性。最后構(gòu)建卷積神經(jīng)網(wǎng)絡(luò)[7]提取各類缺陷的特征并進(jìn)行訓(xùn)練和預(yù)測,完成對(duì)缺陷的分類。
極片檢測與分類流程分為兩個(gè)模塊,如圖1所示。第一個(gè)模塊為鋰電池極片的缺陷檢測,具體為圖像獲取、圖像預(yù)處理、缺陷輪廓標(biāo)定。第二個(gè)模塊為鋰電池極片缺陷的分類,具體為數(shù)據(jù)集預(yù)處理、構(gòu)建CNN神經(jīng)網(wǎng)絡(luò)、訓(xùn)練模型、評(píng)估模型。
圖1 鋰電池極片缺陷檢測流程圖
利用工業(yè)CCD相機(jī)采集到的鋰電池圖像如圖2(a)所示,為了消除非極片區(qū)域所帶來的影響,采用ROI(Region Of Interest)提取法[8]自動(dòng)提取鋰電池圖像中的最大矩形區(qū)域,結(jié)果如圖2(b)所示。可以看出,利用ROI提取后,鋰電池極片區(qū)域與非極片域被分離。
圖2 鋰電池ROI處理
在獲取和傳輸鋰電池圖像時(shí),會(huì)因?yàn)樵O(shè)備和環(huán)境問題產(chǎn)生一定的噪聲。雙邊濾波[9]在去除噪聲的同時(shí)能充分保留圖像的特征信息,所以本文采用雙邊濾波對(duì)圖像進(jìn)行處理。為驗(yàn)證雙邊濾波效果,本文與中值濾波方法進(jìn)行對(duì)比,結(jié)果如圖3所示(為便于觀察,對(duì)圖像局部放大)。
圖3 濾波效果圖
可以看出、中值濾波可以使圖像變得平滑,但缺陷的特征信息也會(huì)丟失較多。而經(jīng)雙邊濾波算法處理后,極片背景紋理區(qū)域模糊程度較小,保留了較多的缺陷內(nèi)外邊緣輪廓信息,有助于后續(xù)缺陷區(qū)域的準(zhǔn)確分割與特征提取。
當(dāng)鋰電池極片的缺陷區(qū)域與背景區(qū)域灰度差異較小時(shí),缺陷難以分割,可利用灰度變換[10]的方法,拉伸灰度區(qū)間,增強(qiáng)圖像對(duì)比度,結(jié)果如圖4所示,其中圖4(a)~圖4(d)為增強(qiáng)前,圖4(e)~圖4(h)為增強(qiáng)后。
圖4 灰度變換結(jié)果圖
可以看出,在利用灰度變換后,圖像的對(duì)比度得到增強(qiáng),背景和缺陷之間的灰度差異變大,有利于后續(xù)的缺陷分割。
鋰電池極片表面缺陷圖像經(jīng)過預(yù)處理后得到平滑的、對(duì)比度較強(qiáng)圖像。然后利用閾值分割法對(duì)圖像進(jìn)行分割[11]。結(jié)果如圖5所示。
圖5 閾值分割結(jié)果圖
從圖5可看出,對(duì)極片圖像進(jìn)行閾值分割后,缺陷與背景區(qū)域被分割開,但伴有細(xì)微噪聲出現(xiàn),且缺陷區(qū)域不連通,無法進(jìn)行整體標(biāo)記。采用形態(tài)學(xué)技術(shù)中的開操作方式填充圖像的孔洞區(qū)域[12]。結(jié)果如圖6所示。
圖6 形態(tài)學(xué)處理結(jié)果圖
為獲得極片圖像的目標(biāo)邊緣,采用Canny[13]邊緣檢測算子提取缺陷的邊緣特征。Canny算子作為典型的邊緣檢測算子,在計(jì)算梯度幅值和方向時(shí)采用了一階偏導(dǎo)的有限差分方式,并利用非極大值抑制梯度幅值,利用雙閾值算法對(duì)邊緣進(jìn)行連接,所以該算法對(duì)圖像的邊緣提取效果較好。邊緣檢測結(jié)果如圖7所示(為便于觀察,對(duì)圖像局部放大)。
圖7 邊緣檢測結(jié)果圖
本文使用Python-Opencv中的cv2.minAreaRect(cnt)函數(shù)繪制缺陷外接矩形輪廓[14],并計(jì)算缺陷幾何信息,同時(shí)利用cv2.BoxPoints()獲得最小外接矩形輪廓的四個(gè)頂點(diǎn)坐標(biāo),其坐標(biāo)順序的對(duì)應(yīng)關(guān)系如圖8所示,返回的數(shù)據(jù)形式為[x0,y0],[x1,y1],[x2,y2],[x3,y3]。缺陷輪廓繪制結(jié)果如圖9、表1所示。在標(biāo)定缺陷輪廓后,將y0和x3各增加50,x1和y2各減小50,得到新的延伸矩形并提取輪廓延伸后的區(qū)域圖像作為預(yù)測集,為驗(yàn)證模型的缺陷分類性能做準(zhǔn)備。
表1 缺陷輪廓信息
圖8 最小外接矩形法
圖9 輪廓提取圖
CNN模型可以利用梯度下降方法對(duì)模型參數(shù)進(jìn)行訓(xùn)練,訓(xùn)練后的網(wǎng)絡(luò)能夠?qū)W到圖像中的特征,從而實(shí)現(xiàn)提取特征并分類的目的[15]。
CNN的基本結(jié)構(gòu)如圖10所示。主要由輸入、卷積和池化層構(gòu)成特征提取器,由全連接和輸出層構(gòu)成分類器,其中卷積層和池化層一般會(huì)采用交替連接的方式進(jìn)行布置[16]。卷積層可以利用核函數(shù)對(duì)圖像進(jìn)行卷積運(yùn)算,把圖像的特征提取出來,池化層通過降低特征圖的分辨率來獲得具有空間不變性的特征,從而實(shí)現(xiàn)壓縮圖像特征、保存圖像主要的特征、降低網(wǎng)絡(luò)計(jì)算的復(fù)雜度的目的。全連接層會(huì)將經(jīng)過卷積和池化的二維圖像映射為一維特征向量并實(shí)現(xiàn)對(duì)局部信息的類別區(qū)分。
圖10 卷積神經(jīng)網(wǎng)絡(luò)基本結(jié)構(gòu)
4.2.1 數(shù)據(jù)集預(yù)處理
本文使用工業(yè)CCD相機(jī)拍攝的2000張鋰電池極片圖像,截取帶有缺陷的極片區(qū)域構(gòu)成原始數(shù)據(jù)集3200張,通過對(duì)原始圖像數(shù)據(jù)集進(jìn)行旋轉(zhuǎn)、調(diào)節(jié)對(duì)比度、增加噪聲、翻轉(zhuǎn)等操作增強(qiáng)數(shù)據(jù)集,增加本次實(shí)驗(yàn)的樣本數(shù)量,提高模型的可靠性[17]。經(jīng)過擴(kuò)充后,原始數(shù)據(jù)集增至12800張,在每次迭代的過程中將訓(xùn)練集和測試集隨機(jī)分為8:2。
4.2.2 實(shí)驗(yàn)條件與CNN模型構(gòu)建
本次實(shí)驗(yàn)在高性能服務(wù)器上進(jìn)行,顯卡型號(hào)為Tesla P100-PCIE-16GB。利用經(jīng)典深度學(xué)習(xí)框架——TensorFlow2.0中的開源人工神經(jīng)網(wǎng)絡(luò)庫keras搭載神經(jīng)網(wǎng)絡(luò)模型。
通過分析網(wǎng)絡(luò)結(jié)構(gòu)對(duì)鋰電池極片表面完整性圖像識(shí)別的適用性,以及考慮到網(wǎng)絡(luò)的速度,大小等因素,進(jìn)行構(gòu)建卷積神經(jīng)網(wǎng)絡(luò),其結(jié)構(gòu)如圖11所示。
圖11 神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)示意圖
本文搭建的神經(jīng)網(wǎng)絡(luò)具有6層卷積層和1層全連接層,中間加入池化層分開,隱藏層均采用ReLU函數(shù)進(jìn)行激活,網(wǎng)絡(luò)第一層為64通道,后面每層對(duì)通道進(jìn)行加倍,直到512通道為止。最終模型通過Flatten函數(shù)將數(shù)據(jù)拉平成一維向量,經(jīng)1層1×1×512的全連接層,1層dropout層,在 ReLU函數(shù)激活后,通過softmax函數(shù)輸出分類結(jié)果。
超參數(shù)的最優(yōu)值可通過多次實(shí)驗(yàn)進(jìn)行確定[18]。圖12展示了該網(wǎng)絡(luò)模型在批樣本大小取128時(shí)不同學(xué)習(xí)率下的訓(xùn)練鋰電池極片缺陷識(shí)別模型的損失函數(shù)曲線。從曲線可以看出,當(dāng)學(xué)習(xí)率取0.0001時(shí)訓(xùn)練效果最佳。而當(dāng)學(xué)習(xí)率取0.00005和0.00001時(shí),網(wǎng)絡(luò)的收斂速度較慢,訓(xùn)練效率較低,且損失值偏高,模型識(shí)別能力欠佳。因此,選取0.0001作為默認(rèn)學(xué)習(xí)率并配置Adam優(yōu)化器,具體情況如表2所示。
表2 參數(shù)設(shè)置
圖12 不同學(xué)習(xí)率下訓(xùn)練損失曲線對(duì)比
為了展示本文模型的實(shí)際效果,將與兩種經(jīng)典圖像分類模型:VGG-16模型[19]和AlexNet模型[20]進(jìn)行對(duì)比,以驗(yàn)證本文模型的有效性。圖13展示了三種不同的模型在同一數(shù)據(jù)集上的訓(xùn)練結(jié)果。
圖13 三種網(wǎng)絡(luò)訓(xùn)練曲線
可以看出,三種網(wǎng)絡(luò)模型都能有效的實(shí)現(xiàn)鋰電池極片的缺陷識(shí)別效果。但收斂速度有差別,本文模型的收斂速度相對(duì)較快,而VGG-16與AlexNet模型收斂速度較慢,但在網(wǎng)絡(luò)收斂后達(dá)到的準(zhǔn)確率方面的大小關(guān)系為VGG-16模型>本文模型>AlexNet模型。
為了找到效果更好,適應(yīng)性更強(qiáng)的模型,需要對(duì)模型進(jìn)行評(píng)估。混淆矩陣可以對(duì)模型預(yù)測結(jié)果進(jìn)行分析,并會(huì)以矩陣的形式將把預(yù)測記錄按真實(shí)類別與模型預(yù)測類別進(jìn)行匯總[21]。因此,混淆矩陣可以用來評(píng)定圖像分類器的好壞,適用于分類器的數(shù)據(jù)模型的評(píng)估。其原理表如表3所示。
表3 混淆矩陣原理表格
混淆矩陣表中含有四個(gè)基礎(chǔ)指標(biāo),TP、FN、FP和TN。而圖像分類模型的預(yù)測性能評(píng)價(jià)標(biāo)準(zhǔn)對(duì)應(yīng)到混淆矩陣中為:當(dāng)TP與TN越大而FP與FN越小時(shí)模型的適應(yīng)性較好。但當(dāng)測試的數(shù)據(jù)量較大時(shí),僅靠統(tǒng)計(jì)個(gè)數(shù)的混淆矩陣衡量模型的優(yōu)劣難度會(huì)增加。因此需要引入二級(jí)模型評(píng)價(jià)指標(biāo)來更精準(zhǔn)的評(píng)估模型。具體為:準(zhǔn)確率(Accuracy)、精確率(Precision)、召回率(Recall)、F1分?jǐn)?shù)(F1-score)。具體公式如式(1)~式(4)所示。
把實(shí)際檢測出的952張帶有缺陷的圖像作為預(yù)測集,并對(duì)預(yù)測集的圖片分別進(jìn)行預(yù)處理,得到256×256×3,224×224×3,227×227×3形式的歸一化圖像,再分別輸入至本文模型、VGG-16模型和AlexNet模型中分別進(jìn)行預(yù)測,將預(yù)測結(jié)果置于混淆矩陣中,具體結(jié)果如圖14(a)~圖14(c)所示。根據(jù)混淆矩陣的詳細(xì)數(shù)據(jù),參考模型的訓(xùn)練結(jié)果,結(jié)合式(1)~式(4)得出本文模型、VGG-16模型和AlexNet模型的實(shí)際預(yù)測效果,如表4所示。
表4 不同模型在測試集上的實(shí)際效果
圖14 三種模型的混淆矩陣
從表4可以看出,利用此三種神經(jīng)網(wǎng)絡(luò)模型在對(duì)鋰電池極片缺陷進(jìn)行分類時(shí),本文模型的準(zhǔn)確率、精準(zhǔn)率、召回率和F1分?jǐn)?shù)相對(duì)較大,模型體積相對(duì)更小,且運(yùn)行時(shí)間較VGG-16模型較快。綜合來看,使用本文模型對(duì)鋰電池極片的缺陷分類適應(yīng)性較好,能夠滿足對(duì)企業(yè)生產(chǎn)過程中的鋰電池極片缺陷進(jìn)行識(shí)別分類,從而降低鋰電池使用的風(fēng)險(xiǎn)性,有效的保障鋰電池產(chǎn)品的質(zhì)量。
本文利用圖像處理與卷積神經(jīng)網(wǎng)絡(luò)技術(shù)對(duì)鋰電池在極片表面缺陷進(jìn)行了檢測與分類。
具體工作如下:
1)對(duì)鋰電池極片的缺陷進(jìn)行了輪廓的標(biāo)定和對(duì)含有缺陷特征的圖像進(jìn)行了提??;
2)通過對(duì)極片中的裂紋、破損、黑斑、壓孔等缺陷圖像的數(shù)據(jù)集進(jìn)行擴(kuò)充;
3)構(gòu)建了卷積神經(jīng)網(wǎng)絡(luò)模型,并與經(jīng)典圖像分類模型VGG-16,AlexNet進(jìn)行了對(duì)比。
缺陷分類的準(zhǔn)確率能夠達(dá)到92.86%,精確度達(dá)到90.94%,召回率達(dá)到92.76%,F(xiàn)1分?jǐn)?shù)值達(dá)到91.84%,表明其具有較高的適應(yīng)性和較好的魯棒性。本文的檢測方法能對(duì)鋰電池極片的多種缺陷進(jìn)行有效檢測和分類,對(duì)鋰電池極片缺陷的自動(dòng)化檢測具有重要意義。