郭夢浩，徐紅偉

(中國計量大學(xué) 機電工程學(xué)院，杭州 310018)

可持續(xù)發(fā)展是二十一世紀(jì)的一個重要命題，核心思想是經(jīng)濟發(fā)展與資源、生態(tài)環(huán)境協(xié)調(diào)一致，其中最重要就是尋找一種環(huán)保干凈型能源系統(tǒng).太陽能不僅清潔無污染，而且來源廣泛，成為新能源發(fā)展的寵兒[1].但是光伏組件由于其工作特性長期裸曬在自然環(huán)境下，環(huán)境比較惡劣.在戶外，不僅要遭受風(fēng)吹雨打，而且表面容易沾染沙塵與飛禽糞便等異物.面對以上這些情況，如果不能及時對光伏組件進行有效的日常維護，就會使光伏組件產(chǎn)生各種各樣的故障，熱斑就是其中一種典型故障.

熱斑問題不僅影響光伏組件的發(fā)電效益，嚴(yán)重時甚至可引發(fā)火災(zāi)，因此實現(xiàn)對熱斑的實時定位檢測對光伏電站的維護工作有著重要應(yīng)用價值.王培珍等[2]發(fā)現(xiàn)光伏組件會在不同的狀態(tài)下存在明顯的溫差，針對這一特性提出基于紅外圖像分析的故障檢測方法.王亞麗[3]提出一種改進傳統(tǒng)OSTU 算法來自動識別最優(yōu)分割閾值的方法對光伏組件上產(chǎn)生的缺陷進行檢測定位與分類.王憲寶[4]提出以深度置信網(wǎng)絡(luò)為基礎(chǔ)，通過學(xué)習(xí)大量樣本，得到訓(xùn)練樣本與無缺陷模板之間的映射關(guān)系，從而實現(xiàn)樣本的缺陷檢測.車曦[5]提出對光伏電池片狀態(tài)進行分類編碼，再結(jié)合圖像的預(yù)處理與神經(jīng)網(wǎng)絡(luò)實現(xiàn)對熱斑缺陷的變化趨勢做出預(yù)測.這些方法雖然取得了一定的檢測成果，但這些研究多數(shù)是針對光伏組件的制作工藝中發(fā)生的缺陷，對實際運行維護的缺陷檢測研究較少，并且存在泛化能力差、準(zhǔn)確率不足等問題.

由于深度學(xué)習(xí)相關(guān)技術(shù)的快速突破，使得越來越多的科研人員在圖像分類、目標(biāo)識別、圖像分割和檢測等問題上采用深度學(xué)習(xí)的方法解決，并且取得了不錯的效果.本文所研究的熱斑缺陷檢測即可看作是一個物體檢測問題.目前主流的深度學(xué)習(xí)的目標(biāo)檢測算法包括兩類：一類是基于區(qū)域的目標(biāo)檢測算法如Fast RCNN[6]、Faster RCNN[7]與RFCN 等，其特點是檢測精度高，但速度相對較慢；另一類是將檢測問題轉(zhuǎn)變?yōu)榛貧w問題求解如YOLO[8]，其特點是雖提高了網(wǎng)絡(luò)的檢測效率，但是目標(biāo)定位的準(zhǔn)確率有所降低.而熱斑缺陷檢測問題對其檢測模型的準(zhǔn)確率有較高的要求，選用Faster RCNN 模型比較符合實際需求.但是已有實驗證明Faster RCNN 對中大型的目標(biāo)具有良好的檢測效果，但對小目標(biāo)的檢測效果不佳[9]，如果直接套用原始的Faster RCNN 模型，可能會造成小型的熱斑缺陷的漏檢.綜上所述，本文采用Faster RCNN 為基礎(chǔ)模型，在此基礎(chǔ)上結(jié)合圖像預(yù)處理、遷移學(xué)習(xí)、改進特征提取網(wǎng)絡(luò)模型以及改進錨框選區(qū)方案，得到了熱斑缺陷檢測模型.

1 Faster RCNN 簡介

Faster RCNN 是在RCNN、Fast RCNN 研究的基礎(chǔ)上提出的，主要改進是在Fast RCNN 上引入了RPN.用RPN 來提取候選框可以消除使用選擇性搜索而導(dǎo)致的分離問題.Faster RCNN 先通過特征提取網(wǎng)絡(luò)獲得圖片的特征圖，然后通過RPN 網(wǎng)絡(luò)提取候選框，最后Fast RCNN 根據(jù)RPN 網(wǎng)絡(luò)提供的候選框?qū)崿F(xiàn)目標(biāo)檢測.并且RPN 網(wǎng)絡(luò)和Fast RCNN 通過交替訓(xùn)練實現(xiàn)參數(shù)貢獻，使得目標(biāo)檢測更加高效.

1.1 RPN 網(wǎng)絡(luò)

RPN 網(wǎng)絡(luò)的作用是類似目標(biāo)檢測網(wǎng)絡(luò)中的選擇性搜索，是Faster RCNN 的核心.RPN 網(wǎng)絡(luò)使用的滑動窗口機制，并且可以實現(xiàn)多個候選區(qū)的同時預(yù)測.每個滑動窗口在滑動后，隨后會產(chǎn)生一個短特征向量；緊接著將產(chǎn)生的短特征向量輸入到全連接層中進行位置和類別的判斷.RPN 網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示，圖中右側(cè)為RPN 網(wǎng)絡(luò)的k個錨框，由于待測目標(biāo)的尺寸、高寬比的差異，需要設(shè)定多種形態(tài)的錨框；左側(cè)圖中可以看出每個待測區(qū)域會將會產(chǎn)生k個預(yù)測候選區(qū)域；RPN 網(wǎng)絡(luò)的輸出層是一個多任務(wù)模型，一是通過SOFTMAX來去區(qū)分候選框?qū)儆谇熬邦惢虮尘邦?，二是通過邊界回歸預(yù)測候選框的偏移量，降低定位的誤.

圖1 RPN 網(wǎng)絡(luò)結(jié)構(gòu)

1.2 區(qū)域建議網(wǎng)絡(luò)的損失函數(shù)

RPN 網(wǎng)絡(luò)在訓(xùn)練時，獲得候選窗口太多，因此需要對候選窗口進行篩選，依據(jù)如下：

(1)將超過輸入原始圖像的候選窗口篩掉；

(2)通過非極大值抑制，設(shè)置重疊區(qū)域高于0.7 的窗口標(biāo)定為前景區(qū)，低于0.3 的窗口標(biāo)定為背景.

RPN 網(wǎng)絡(luò)的整體損失函數(shù)定義為公式：

式中，i為最小批次種錨框的索引，pi為錨框所屬目標(biāo)的預(yù)測概率ti代 表預(yù)測候選框的坐標(biāo)，ti?為真實候選框坐標(biāo)，Lcls為 分類結(jié)果對數(shù)損失，Lreg為回歸損失，R為魯棒損失函數(shù)，定義式為：

p?i Lreg表示當(dāng)p?i=1時才有回歸損失，分類層和回歸層的輸出分別由 {ti} 和 {ti} 組成.{pi} 和 {ti} 分 別對Ncls和Nreg以及λ進行歸一化.獲取回歸過程的坐標(biāo)的公式如下：

2 熱斑缺陷檢測模型設(shè)計

綜上所述，為填補目前對光伏組件實際中產(chǎn)生缺陷檢測算法的空白，解決不同大小、不同形狀的熱斑缺陷提取困難的問題.本文提出在原始Faster RCNN的基礎(chǔ)上結(jié)合圖像預(yù)處理、遷移學(xué)習(xí)、改進特征提取網(wǎng)絡(luò)模型以及改進錨框選區(qū)方案，得到熱斑缺陷檢測模型.本文熱斑檢測系統(tǒng)框架圖以及熱斑缺陷檢測模型框架圖分別如圖2、圖3所示.

圖2 熱斑缺陷檢測模型框架圖

圖3 熱斑缺陷檢測模型框架圖

2.1 圖像預(yù)處理

熱像儀使用時受自身干擾與所測時自然環(huán)境影響，不可避免的會使所采集的紅外熱圖像存在低對比、高噪聲等問題.而樣本的好壞決定了后續(xù)實驗的效果，為了避免樣本集對本文模型檢測效果的影響，因此對采集到的紅外熱圖像進行預(yù)處理操作尤為重要.

所采集的紅外熱圖像對比度較低，本文選用直方圖均衡化的方法.另外采集的紅外熱圖像包含由自身設(shè)備導(dǎo)致的高斯噪聲以及光伏組件表面異物形成的椒鹽噪聲與微小斑點.對于這種情況下的復(fù)雜噪聲問題，僅通過單個濾波器難以有效的濾除噪聲.綜上所述，為了降低噪聲對實驗的影響，本文采用的圖像預(yù)處理流程具體如圖4所示.第一步，使用直方圖均衡化，用以獲得合適對比度的紅外熱圖像；第二步，對第一步獲得的圖片先進行一次方形結(jié)構(gòu)閉運算，在進行一次方形結(jié)構(gòu)開運算，用來濾除椒鹽噪聲和微小斑點；第三步，對得到的圖片使用高斯濾波，完成圖像預(yù)處理.

圖4 圖像預(yù)處理流程圖

2.2 錨框方案調(diào)整

由于熱斑缺陷的形成受建筑物遮蔭、樹葉、鳥糞以及積塵等多種自然因素影響，導(dǎo)致熱斑缺陷的尺寸差異較大，其長寬比更加多樣化.原始的Faster RCNN包含9 種錨框，其長寬比為0.5，1，2，尺寸為8，16，32.如果使用原始Faster RCNN 的錨框，原始圖像在經(jīng)過池化后，所有特征圖各點對應(yīng)得到的感受野尺寸為16×16.使用最小尺度映射的錨框尺寸都達到128，而實際中存在一些較小的熱斑缺陷，在檢測過程中不可避免會出現(xiàn)定位偏差，進而造成誤檢.因此，根據(jù)熱斑缺陷尺寸差異較大、長寬比更加多樣化的特點調(diào)整原始RPN 網(wǎng)絡(luò)的錨框尺寸和比率.調(diào)整后錨框的種類共有16 種，將錨框尺寸改成2、4、8、16，有助于增強對小型熱斑缺陷的檢測；長寬比額外增加4 的比例，有助于提高對鳥糞引起的長條狀熱斑缺陷的檢測.實驗證明本文調(diào)整后的錨框可以提高檢測精度，錨框選擇方案對比如表1所示.

表1 錨框選擇方案

2.3 改進特征提取網(wǎng)絡(luò)模型

在深度學(xué)習(xí)算法中，用CNN 網(wǎng)絡(luò)作為整個模型的特征提取網(wǎng)絡(luò).這是至關(guān)重要的一步.特征網(wǎng)絡(luò)提取的特征將直接影響最終的特征提取結(jié)果，從而對目標(biāo)檢測效果造成影響.一般來說，特征提取網(wǎng)絡(luò)的層數(shù)越深其獲得的特征效果更高，但是網(wǎng)絡(luò)選擇過深會加大訓(xùn)練過程的難度.本文選用VGG16 網(wǎng)絡(luò)作為特征提取網(wǎng)絡(luò)的基礎(chǔ)網(wǎng)絡(luò).VGG16 網(wǎng)絡(luò)的深度適中，并且使用了多層小卷積.多層小卷積核的疊加在保證感受野大小不變的情況下引入了更多的非線性映射.這樣不僅提高了整個網(wǎng)絡(luò)的學(xué)習(xí)能力，并且有效的減少了對網(wǎng)絡(luò)參數(shù)的計算量.VGG16 網(wǎng)絡(luò)結(jié)構(gòu)圖如圖5所示.

圖5 VGG16 網(wǎng)絡(luò)結(jié)構(gòu)

根據(jù)本文的研究對象的復(fù)雜度與實際需要的時效性，在保證深層網(wǎng)絡(luò)在高層特征抽象上的優(yōu)勢，又要減少網(wǎng)絡(luò)模型的復(fù)雜度.文中涉及的熱斑缺陷檢測問題暫只是一個二分類問題，且不屬于復(fù)雜的物體檢測問題.直接使用VGG16 模型略顯大材小用，也會造成額外的計算量或產(chǎn)生過擬合問題.由于全連接層的參數(shù)量占整個VGG16 網(wǎng)絡(luò)參數(shù)量的一大部分，故本文將VGG 模型中的后兩層全連接層剔去，用一層包含1024 個神經(jīng)元的全連接層進行替代，其他部分不變.此外，本文選用遷移學(xué)習(xí)的方法避免過擬合問題，本文的改進后特征提取網(wǎng)絡(luò)沒有選擇隨機參數(shù)初始化的方式，而是選擇在Image Net 數(shù)據(jù)庫上獲取模型的初始化參數(shù)，最后在訓(xùn)練過程中對其進行微調(diào).

3 實驗分析

在戶外，使用熱像儀采集大量含有不同尺寸和不同形狀的熱斑缺陷的大量紅外熱圖像，以形成圖像數(shù)據(jù)集，并加入樣本標(biāo)簽；然后將獲得的數(shù)據(jù)集在本文熱斑缺陷檢測模型上進行訓(xùn)練：最后在測試集上進行測試，觀察本文熱斑缺陷模型平均檢測準(zhǔn)確率、平均漏檢率與平均誤檢率.另外還對比了Faster RCNN、去除預(yù)處理的本文模型以及本文模型對熱斑缺陷檢測在平均檢測準(zhǔn)確率、平均檢測時間與平均加速比上的差別.

3.1 實驗系統(tǒng)組成

本文實驗系統(tǒng)由Ti25 紅外熱像儀與計算機構(gòu)成，實驗對象為我校太陽能光伏示范工程中的光伏組件，如圖6所示.Ti25 紅外熱像儀是一款手持式的外熱像儀，可拍攝可見光圖像或紅外熱圖像，檢測靈敏度高、測溫精準(zhǔn)，滿足實驗需求.Ti25 在實驗過程種主要用于紅外熱圖像的采集、讀取溫度數(shù)據(jù).須注意的是由于熱像儀自身在拍攝過程中會引起自反射，在采集數(shù)據(jù)集時視角應(yīng)盡可能接近光伏組件法向量，另外熱像儀應(yīng)保持在與光伏組件法向量成0°～40°的夾角.

圖6 光伏組件與熱像儀

在進行熱斑缺陷采集的過程中，采集到的自然狀態(tài)下光伏組件產(chǎn)生的熱斑缺陷樣本不足，另人為模擬熱斑缺陷實現(xiàn)對樣本集的擴充.自然熱斑和模擬熱斑的熱斑均包含不同尺寸、不同的形狀.如圖7所示：分別為自然熱斑與模擬熱斑缺陷圖像.

圖7 自然熱斑與模擬熱斑

3.2 樣本集制作

為了使樣本保持多樣性和訓(xùn)練出來的熱斑缺陷檢測模型的魯棒性更強，在多種自然條件情況下進行數(shù)據(jù)的采集.之后LAMBELING 對采集到的紅外熱圖像中的熱斑大小和位置信息進行標(biāo)注，標(biāo)簽名稱Hot spot，用做本文熱斑缺陷檢測模型的訓(xùn)練與測試.采集的紅外熱圖像共有1167 張，選取其中1000 張原始圖像隨機進行鏡像翻轉(zhuǎn)、旋轉(zhuǎn)和顏色光照變換等操作將數(shù)據(jù)集擴增至3000 張圖像，部分樣本集示例如圖8所示.剩余的167 張紅外熱圖像用作模型的測試與評估，測試樣本中一張圖片包含1 至3 個熱斑缺陷，其中自然熱斑缺陷數(shù)量為115 個，模擬熱斑缺陷為108 個.

圖8 部分樣本集

3.3 實驗軟件與硬件

實驗軟件與硬件如表2所示.本文使用Python作為編程語言，使用Tensorflow 搭建模型框架，使用GPU 加速，開發(fā)工具為SPYDER.

表2 硬件環(huán)境與軟件環(huán)境

3.4 模型訓(xùn)練方式與參數(shù)設(shè)定

本文模型采用交替式訓(xùn)練，其過程涉及四個階段：

第一階段：特征提取層初始化參數(shù)使用在Image Net 上訓(xùn)練的VGG16 模型參數(shù).隨后對RPN 網(wǎng)絡(luò)進行訓(xùn)練，獲取候選框，通過隨機梯度下降法迭代30 000次.學(xué)習(xí)率大小設(shè)置為0.0001，動量設(shè)置為0.9，權(quán)重衰減設(shè)置0.0005.

第二階段：先用原始VGG16 對Fast RCNN 進行初始化，然后使用第一階段獲取的候選框和Ground Truth 共同訓(xùn)練Fast RCNN.同樣隨機梯度下降法，迭代次數(shù)為10 000 次，學(xué)習(xí)率的大小設(shè)置為0.001，動量設(shè)置為0.9，權(quán)重衰減設(shè)置為0.0005.

第三階段：利用第二階段獲得的Fast RCNN 網(wǎng)絡(luò)參數(shù)初始化網(wǎng)絡(luò)模型，并且保持特征提取層參數(shù)不變，然后再次訓(xùn)練RPN 網(wǎng)絡(luò)，進一步調(diào)整RPN 網(wǎng)絡(luò)的參數(shù).同樣使用隨機梯度下降法，迭代次數(shù)為20 000 次，學(xué)習(xí)率的大小設(shè)置為0.0001，動量設(shè)置為0.9，權(quán)重衰減設(shè)置為0.005.

第四步：使用第三階段調(diào)整后的RPN 網(wǎng)絡(luò)獲取的候選框和Ground Truth 對Fast RCNN 網(wǎng)絡(luò)進行第二次訓(xùn)練.同樣采用隨機梯度下降法，迭代次數(shù)為10 000次，學(xué)習(xí)率的大小設(shè)置為0.001，動量設(shè)置為0.9，權(quán)重衰減設(shè)置為0.005.

3.5 熱斑缺陷檢測實驗結(jié)果分析

在測試過程中，使用本文的熱斑缺陷檢測模型在167 張測試圖片上進行測試，其中自然熱斑缺陷數(shù)量為115 個，模擬熱斑缺陷為108 個.對模擬熱斑、自然熱斑的實際數(shù)量、正確檢測個數(shù)、漏檢個數(shù)、誤檢個數(shù)統(tǒng)計結(jié)果如表3所示.可以看出，對模擬熱斑的檢測效果相對自然熱斑的檢測效果要好，模擬熱斑的漏檢個數(shù)為2，誤檢個數(shù)為0；自然熱斑的漏檢個數(shù)為4，漏檢個數(shù)為2.

本文熱斑缺陷檢測模型在測試集上的測試統(tǒng)計比率表4所示.可以看出本文熱斑缺陷檢測模型在測試集上的平均準(zhǔn)確率、平均漏檢率、平均誤檢率分別達到了97.34%、2.67%、0.87%，該實驗說明，使用深度學(xué)習(xí)方法對光伏組件的熱斑缺陷檢測是可行的，并從本文測試集上獲得了良好的效果.

表3 本文熱斑檢測模型測試結(jié)果統(tǒng)計

表4 本文熱斑檢測模型測試比率統(tǒng)計(%)

另外，分別對原始Faster RCNN、去除預(yù)處理的本文模型與本文熱斑缺陷檢測模在測試集上進行測試，計算三者平均檢測準(zhǔn)確率、平均檢測時間與平均加速比.3 種模型對比結(jié)果如表5所示.

表5 算法對比結(jié)果統(tǒng)計

通過表5可以看出，去除圖像預(yù)處理的本文模型在測試集上的平均檢測準(zhǔn)確率為96.27%，相比原始Faster RCNN 模型提高了3.44%.由于本文的熱斑缺陷檢測模型加入了圖像預(yù)處理，相比去除預(yù)處理的本文模型的檢測準(zhǔn)確率進一步提升了1.07%，最終在測試集上的檢測準(zhǔn)確率達到97.34%.可以看出對紅外熱圖像進行預(yù)處理是提高熱斑缺陷檢測準(zhǔn)確率的重要性.由于本文的熱斑缺陷檢測模型是通過離線學(xué)習(xí)訓(xùn)練得到的，對實際中的檢測時間沒有影響，故本文只統(tǒng)計了3 種模型的平均加速比，由表5可以看出使用GPU 加速可以有效降低模型的檢測時間，提高系統(tǒng)的檢測效率.另外，從平均檢測時間與平均加速比兩方面看上，本文的熱斑缺陷檢測模型雖然盡管不是最優(yōu)，但對實際檢測影響較小，可以忽略.

本文熱斑缺陷檢測模型測試效果示例如圖9所示.

4 結(jié)論與展望

本文模型是結(jié)合圖像預(yù)處理、改進特征提取網(wǎng)絡(luò)模型以及調(diào)整錨框選區(qū)方案的在原始的Faster RCNN模型上進行了略微的優(yōu)化.然后將自己制作的紅外熱圖像數(shù)據(jù)集在本文模型上訓(xùn)練，提取出熱斑缺陷.實驗證明，本文模型在測試集上的平均檢測準(zhǔn)確率可達97.34%，效果良好.但是本文所涉及到的光伏組件缺陷只是針對熱斑缺陷，實際運維中光伏組件還會產(chǎn)生其它類型的缺陷，這是接下來研究的重點問題.

圖9 本文熱斑缺陷檢測模型測試效果示例