劉明旭,王恩惠,劉新建,房凱,周軍
(華能辛店發(fā)電有限公司,山東淄博 255414)
圖像分割是利用各種算法,將目標(biāo)個(gè)體從原始圖像中逐個(gè)分離的圖像處理技術(shù),在許多計(jì)算機(jī)視覺(jué)的應(yīng)用中起到了預(yù)處理作用。目前圖像分割的方法有基于深度學(xué)習(xí)、基于特征值提取、基于像素聚類、基于分水嶺變換的閾值法等多種算法[1-9]。其中閾值法是比較經(jīng)典的一種算法,但是該算法容易被其他因素所干擾,導(dǎo)致分割效果變差,需要引入其他方法進(jìn)行輔助,如分水嶺變換可以將局部難以分離的個(gè)體進(jìn)行分割。本文先后進(jìn)行灰度處理、二值化、腐蝕、分水嶺變換等手段,再加以暗通道預(yù)處理圖像,將圖像分割為不同的區(qū)域,使得物體之間個(gè)體分離,方便后續(xù)進(jìn)行分區(qū)操作或者數(shù)量和形態(tài)上統(tǒng)計(jì)。閾值法計(jì)算簡(jiǎn)單,運(yùn)算效率高,分水嶺算法與暗通道理論可以大幅度地改善閾值法的精度問(wèn)題,該方法適用于需要大量圖像處理的場(chǎng)合,能夠高效地運(yùn)算。
圖像分割技術(shù)在計(jì)算機(jī)視覺(jué)中有許多應(yīng)用,例如醫(yī)學(xué)上對(duì)于細(xì)胞和器官的識(shí)別、農(nóng)學(xué)上對(duì)于種子或者苗木的識(shí)別、工業(yè)上對(duì)于礦石的識(shí)別。但目前研究對(duì)象的拍攝環(huán)境大多過(guò)于理想化,并且沒(méi)有涉及會(huì)反光的研究對(duì)象,有些研究更加注重原理,側(cè)重相鄰物體的分割,直接在純白色的背景下拍攝,進(jìn)行下一步的實(shí)驗(yàn),很少有考慮到因陽(yáng)光反射、拍攝角度的原因?qū)е聢D像色彩不均,尤其是在露天場(chǎng)合下拍攝的大范圍照片,圖像兩端的光照情況差異十分嚴(yán)重。為了解決這種問(wèn)題,本文嘗試使用暗通道先驗(yàn)理論處理圖片,使后續(xù)分割圖像時(shí)能夠正確地二值化。
HE K M等通過(guò)對(duì)比、統(tǒng)計(jì)大量戶外無(wú)霧的圖像,發(fā)現(xiàn)規(guī)律,最早提出了暗通道先驗(yàn)理論[10-11]。暗通道先驗(yàn)理論具有顯著的去霧效果,成為目前最主流的去霧算法之一[12-14]。同時(shí)該方法能起到增強(qiáng)圖像質(zhì)量的作用,對(duì)于其他干擾因素也能起到良好的排除作用,在文獻(xiàn)[15-16]中,暗通道理論用于修復(fù)水下圖像,去除水中光線的吸收和散射產(chǎn)生的干擾,文獻(xiàn)[17]中,暗通道理論用于去除監(jiān)控視頻中光照不均勻產(chǎn)生的陰影干擾。同樣,暗通道理論能用于消除光照因素的干擾,增強(qiáng)畫(huà)質(zhì),得到一張沒(méi)有反光干擾的圖像,此時(shí)可以用傳統(tǒng)的閾值法分割進(jìn)行相對(duì)準(zhǔn)確的圖像分割。
暗通道先驗(yàn)論是一種圖像增強(qiáng)技術(shù),可以有效地改善圖片質(zhì)量,通常用于圖片去霧處理中。圖片的本質(zhì)是三個(gè)顏色通道的矩陣疊放在一起,每個(gè)像素點(diǎn)都對(duì)應(yīng)是R、G、B 三顏色的元素相疊加。而暗通道在最初的假設(shè)中,認(rèn)為圖像中絕大多數(shù)非天空的畫(huà)面區(qū)域內(nèi),必定會(huì)存在一部分像素點(diǎn),在至少一個(gè)顏色通道內(nèi)的值非常低,通常會(huì)趨近于0。也就是說(shuō)暗通道圖像本質(zhì)是每個(gè)在三個(gè)顏色通道內(nèi)取最小值組成的灰度圖,在無(wú)霧情況下,區(qū)域內(nèi)接近于黑色,而在有霧的部分,圖像會(huì)呈現(xiàn)出灰色甚至偏白。基于這個(gè)特性,可以通過(guò)暗通道圖反推出無(wú)霧干擾的清晰圖像。
實(shí)際上,暗通道反應(yīng)的是局部區(qū)域內(nèi)色彩的最小值,這同樣適用于物體陰影、反光等現(xiàn)象,此時(shí)暗通道發(fā)白的區(qū)域?yàn)榉垂鈬?yán)重的區(qū)域,暗通道的作用就是消除這些干擾對(duì)圖片的影響,調(diào)整圖片的局部色差,已達(dá)到增強(qiáng)圖片質(zhì)量的目的。
暗通道的定義為當(dāng)前彩色圖像局部領(lǐng)域中最小的數(shù)值,其公式為:
在計(jì)算機(jī)做圖形處理時(shí),可以將有霧遮擋的圖片描述為:
其中,I(x)為有霧圖像,是沒(méi)有經(jīng)過(guò)處理的原始圖像,J(x)為無(wú)霧的圖像,是去霧算法最終所得的圖像,t(x)表示大氣透射率,A表示霧值大小,而在反光的場(chǎng)景下,則可以將其理解成反光程度。
公式(2)兩端同時(shí)除以A,并進(jìn)行兩次求最小值的運(yùn)算可以得到
又因?yàn)楣?1) 中Jdark可以被認(rèn)為是趨近于0 的數(shù),故而通過(guò)公式(3)可以得到透射率:
則處理后的圖像公式表達(dá)為:
式中,t0是透射率的一個(gè)下限,防止透射率取值過(guò)小,使得去霧作用無(wú)下限地追求平均,將圖片中顏色均勻而又過(guò)分地變淡,導(dǎo)致畫(huà)面整體偏白,影響后續(xù)的二值化處理。
傳統(tǒng)的閾值法圖像分割技術(shù)一般先進(jìn)行灰度處理、二值化,在圖像做二值化時(shí),有時(shí)并不理想。圖片被霧氣或者反光等因素干擾,使得圖像一側(cè)的色值明顯高于另一側(cè),又或者使得某些區(qū)域的物體色值與另一些區(qū)域的背景色值相同,導(dǎo)致二值化時(shí)將某些因光、霧干擾而變?nèi)醯奈矬w當(dāng)作背景處理。
在傳統(tǒng)的閾值法圖像分割技術(shù)的基礎(chǔ)上,二值化之前先進(jìn)行暗通道處理,并加以分水嶺算法分割難以分離的個(gè)體,改善分割效果,具體步驟如下:
1)暗通道先驗(yàn)理論處理圖像。增強(qiáng)圖像質(zhì)量,得到?jīng)]有光、霧干擾的圖像,具體處理方式如上文描述。
2)灰度處理。將R、G、B三顏色通道轉(zhuǎn)化成一個(gè),即每個(gè)像素點(diǎn)都為0~255元素的矩陣,此時(shí)圖像為呈灰色的灰度圖。
3)平滑濾波處理。使得灰度圖更加平滑,此操作會(huì)忽略個(gè)體形態(tài)、色彩上細(xì)微的差異點(diǎn),使得二值化后的圖像更加規(guī)整,從源頭減少噪點(diǎn)。缺少這一步會(huì)使得個(gè)體邊緣粗糙,使得圖片上個(gè)體差異影響分割結(jié)果,導(dǎo)致在分水嶺進(jìn)行變化時(shí),會(huì)因?yàn)樽R(shí)別多個(gè)極小值,引起分水嶺算法的過(guò)度分割。
4)二值化處理。將灰度圖以一定的閾值劃分為0、255 兩類像素點(diǎn),本文中使用的方法為最大類間方差法,此方法可以自適應(yīng)地選取合適的閾值。
5)圖像形態(tài)學(xué)處理。包括腐蝕、開(kāi)運(yùn)算、閉運(yùn)算,腐蝕是指黑色區(qū)域腐蝕白色,使得個(gè)體與個(gè)體之間的縫隙加大,目的是初步將個(gè)體之間相互分開(kāi);而開(kāi)運(yùn)算和閉運(yùn)算是為了消除小噪聲點(diǎn),使得物體區(qū)粗糙的域邊界變得光滑。
6)分水嶺變換。分水嶺變換是基于地理形態(tài)的圖像分析法,原理是將圖像灰度圖比作地形圖,每個(gè)像素點(diǎn)的灰度值比作該地點(diǎn)的海拔高度,故而灰度值在局部區(qū)域的極小值為山谷、盆地。
分水嶺算法模擬的是向山谷中灌水的行為,當(dāng)水位上漲時(shí),兩個(gè)相鄰山谷中的水會(huì)在山脊處匯合,此時(shí)將匯合處山脊的這條曲線稱之為分水嶺。經(jīng)過(guò)之前的平滑濾波處理,可以認(rèn)為此時(shí)每個(gè)個(gè)體中有且僅有一個(gè)極小值點(diǎn),也就是每個(gè)個(gè)體都可以形成一個(gè)可以灌水的山谷。分水嶺可以明確地劃分兩個(gè)相鄰個(gè)體的邊界,從而分割相鄰甚至堆疊的個(gè)體,該算法可以精確地分割排列相對(duì)密集局部區(qū)域內(nèi)的個(gè)體,從而彌補(bǔ)之前步驟中難以分離的個(gè)體無(wú)法區(qū)分的現(xiàn)象。
為了驗(yàn)證加入暗通道先驗(yàn)是否對(duì)圖像分割的效果有所優(yōu)化,本文選取易于反光的光伏板作為研究對(duì)象。光伏板因?yàn)楸砻婢哂幸欢ǖ姆垂庑裕乙话闱闆r下光伏板需要連接成片使用,十分容易發(fā)生大規(guī)模且不可避免的反光現(xiàn)象,是一種十分典型的反光材料。在成規(guī)模的光伏項(xiàng)目中,無(wú)論是統(tǒng)計(jì)數(shù)量,還是檢測(cè)每一片組件表面的灰塵情況都不是容易的事情,因此,通過(guò)航拍技術(shù),分析處理得到的照片,對(duì)于光伏場(chǎng)站的管理是很有必要的。為此使用MATLAB,編寫(xiě)一段檢測(cè)光伏組件數(shù)量和位置的程序,觀察暗通道先驗(yàn)?zāi)芊窨朔矬w反光,得到正確的組件數(shù)量,并將每一片組件所在區(qū)域單獨(dú)畫(huà)出。若計(jì)數(shù)所得數(shù)目與實(shí)際相符,則可以證明該算法分割的準(zhǔn)確性。并且進(jìn)行對(duì)比實(shí)驗(yàn),一組直接使用傳統(tǒng)的閾值法分割圖像,一種使用暗通道-閾值法進(jìn)行圖像分割,比較兩組的結(jié)果圖,觀察加入暗通道理論對(duì)分割效果產(chǎn)生的影響。
圖1 原始圖像及其局部放大圖
圖1 為某設(shè)施頂部的光伏發(fā)電項(xiàng)目航拍圖,通過(guò)原始圖像,可以看出,由于反光作用,左右兩端的組件有明顯的色差。經(jīng)查看,左側(cè)組件之間的縫隙顏色要深于右側(cè)組件的本體,即左邊縫隙之間的灰度值要高于右邊組件本體的灰度值,如此在直接二值化的過(guò)程中,不可能找到一個(gè)合適的閾值滿足要求。
圖2 暗通道圖
圖3 增強(qiáng)質(zhì)量的灰度圖
如圖2 所示,暗通道圖能夠正確地反映圖片各個(gè)位置的反光程度,暗通道呈白的位置表示反光嚴(yán)重,經(jīng)多次的嘗試,發(fā)現(xiàn)暗通道圖均符合這一規(guī)律,如此可以明確判斷暗通道先驗(yàn)理論不但適用于去霧,同樣可以反映反光程度。
經(jīng)過(guò)暗通道處理、灰度處理、平滑濾波處理的圖像已經(jīng)基本去除了干擾因素,已具備條件,可以像無(wú)反光的普通材料一樣進(jìn)行后續(xù)的分割處理。本測(cè)試目的為統(tǒng)計(jì)組件的準(zhǔn)確數(shù)量,為此盡量加大腐蝕力度,使得二值化圖像組件之間的界限分明。
圖4 未加暗通道處理的分割結(jié)果圖
圖5 加入暗通道處理的分割結(jié)果圖
如圖4、圖5所示,分別為暗通道先驗(yàn)加入前后的分割結(jié)果圖,可以看出分割效果得以明顯改善。在加入暗通道處理前,右端組件因反光問(wèn)題,根本無(wú)法正常顯現(xiàn),其中左端的縫隙無(wú)法識(shí)別,導(dǎo)致組件黏連在一起,而右端的組件因二值化時(shí)低于閾值而被當(dāng)作背景去掉。而使用暗通道做預(yù)處理的分割效果達(dá)到預(yù)期,左端個(gè)別粘連在一起的個(gè)體也在分水嶺算法的作用下劃分開(kāi),從而使得結(jié)果圖“粒粒分明”、清晰可見(jiàn)。
圖6 光伏組件計(jì)數(shù)程序(局部)
如圖6 所示,為光伏組件計(jì)數(shù)程序結(jié)果局部區(qū)域的展示,該程序是一種圖像分割的簡(jiǎn)單應(yīng)用。程序結(jié)果顯示原始圖片范圍內(nèi)共有1 054 個(gè)單體矩形區(qū)域,即527個(gè)光伏組件(圖中兩個(gè)相鄰小矩形為一整塊光伏板,完整圖像中左下角少一塊光伏板),與實(shí)際數(shù)量相同,由此可見(jiàn)此方法的準(zhǔn)確度高。
本文將暗通道先驗(yàn)理論引入圖像分割技術(shù)中,通過(guò)實(shí)驗(yàn)證明暗通道能夠消除光、霧干擾對(duì)分割圖片的影響,并且后續(xù)的分割操作中,圖像形態(tài)學(xué)處理能夠很好地規(guī)整區(qū)域范圍,消除噪點(diǎn);分水嶺變換能夠在其基礎(chǔ)上精準(zhǔn)地分割粘連在一起的個(gè)體。通過(guò)對(duì)比,發(fā)現(xiàn)使用暗通道先驗(yàn)論對(duì)分割效果有著顯著的提升。隨后使用此算法進(jìn)行簡(jiǎn)單應(yīng)用,統(tǒng)計(jì)圖片中物體的數(shù)量,效果良好,充分證明該算法合理可靠。
對(duì)于本文的光伏組件分割識(shí)別,用于計(jì)數(shù)統(tǒng)計(jì),后期還可以通過(guò)深度學(xué)習(xí),訓(xùn)練神經(jīng)網(wǎng)絡(luò),以此來(lái)判斷每一塊光伏組件上的灰塵、雜物狀況,以方便針對(duì)性地清洗某一區(qū)域內(nèi)的組件,或者可以配備自動(dòng)清洗裝置,實(shí)現(xiàn)遠(yuǎn)程檢測(cè)、自動(dòng)清洗,可以在減少人員巡視工作量的同時(shí),及時(shí)清洗光伏板以提高發(fā)電效率。