鐘元權(quán)

(安徽文達(dá)信息工程學(xué)院 計(jì)算機(jī)工程學(xué)院，合肥 231201)

0 引 言

天然多孔介質(zhì)和材料以及許多合成介質(zhì)是異質(zhì)的。因此，對(duì)多孔介質(zhì)形態(tài)的魯棒性表征是一個(gè)長(zhǎng)期以來(lái)引起人們極大關(guān)注的問(wèn)題。[1]多孔介質(zhì)形態(tài)的準(zhǔn)確表征不僅可以闡明其復(fù)雜孔隙空間的結(jié)構(gòu)，而且可以準(zhǔn)確估算其有效流動(dòng)、傳輸、反應(yīng)和彈性。多孔介質(zhì)成像技術(shù)的應(yīng)用使其成為可能，并且在研究介質(zhì)微觀方面取得了一些進(jìn)展。成像技術(shù)不僅可以直觀地顯示多孔介質(zhì)的微觀結(jié)構(gòu)，而且可以構(gòu)建微觀多孔介質(zhì)模型。[2]

使用X射線計(jì)算機(jī)斷層掃描(X-CT)技術(shù)，觀察多孔介質(zhì)中天然氣水合物的形成和分解具有實(shí)時(shí)，直觀且具有無(wú)損的優(yōu)勢(shì)。由于顆粒邊緣圖像體積的影響和X-CT分辨率的限制，多孔介質(zhì)系統(tǒng)中不同物質(zhì)的邊界域難以確定，影響了多孔介質(zhì)中水合物狀態(tài)的準(zhǔn)確評(píng)估。[3]通過(guò)使用計(jì)算機(jī)技術(shù)，收集煤和真實(shí)巖石結(jié)構(gòu)的數(shù)據(jù)，并結(jié)合3D重建算法，可以從煤和巖石結(jié)構(gòu)中獲取3D重建圖像信息。[4]高分辨率聚焦離子束掃描電子顯微鏡也已成為表征多孔材料微觀結(jié)構(gòu)的重要組成部分。但是，掃描過(guò)程中，圖像的獲取成本很高。此外，高分辨率離子束掃描電子顯微鏡僅可用于小規(guī)模樣品。[5-6]三維光學(xué)層析成像可以在生物體內(nèi)提供目標(biāo)分布信息，并克服了平面成像的局限性。因此，在腫瘤檢測(cè)，基因表達(dá)，蛋白質(zhì)分子檢測(cè)和表達(dá)身體功能變化方面具有巨大的潛在應(yīng)用前景。[7]

近年來(lái)，人工智能和深度學(xué)習(xí)算法已獲得廣泛的應(yīng)用，通過(guò)學(xué)習(xí)算法提高圖像質(zhì)量已經(jīng)取得了很大的成功。深度學(xué)習(xí)方法也被認(rèn)為是使用非線性模塊來(lái)形成多層次表示形式的算法。對(duì)于大數(shù)據(jù)集和復(fù)雜圖像時(shí)，卷積神經(jīng)網(wǎng)絡(luò)(CNN)是首選。卷積層從先前的層中識(shí)別出要素的局部連續(xù)性，并將它們組合在一起。使用這種架構(gòu)的原因是假設(shè)某些特征在整個(gè)圖像中會(huì)重復(fù)出現(xiàn)，并且它們的局部統(tǒng)計(jì)量是相同的。這意味著相同的模式共享相同的權(quán)重和誤差。[8]換句話說(shuō)，分析的系統(tǒng)是空間固定的。正是這一功能使深度學(xué)習(xí)成為分析多孔介質(zhì)問(wèn)題的一種有吸引力的方法。但是，由于缺乏用于網(wǎng)絡(luò)訓(xùn)練的大數(shù)據(jù)集，因此無(wú)法進(jìn)行深度學(xué)習(xí)。解決該問(wèn)題的一種方法是通過(guò)增強(qiáng)可用于給定多孔介質(zhì)的圖像，以擴(kuò)展數(shù)據(jù)集。增強(qiáng)功能使人們可以更好地估計(jì)多孔介質(zhì)的物理特性，例如其滲透性，這是表征流體在其孔隙空間中流動(dòng)的關(guān)鍵特性。

本文通過(guò)提出一種混合方法來(lái)解決數(shù)據(jù)量不足的問(wèn)題。在所提出的方法中，基于一些初始圖像，使用隨機(jī)重建方法來(lái)生成大量多孔介質(zhì)的圖像作為輸入數(shù)據(jù)。然后，使用各種濾鏡以在隨機(jī)生成的圖像中生成進(jìn)一步的變化。最后，通過(guò)連接圖像的高分辨率和低分辨率片段，將多樣化的數(shù)據(jù)集用于訓(xùn)練深度學(xué)習(xí)網(wǎng)絡(luò)。

1 方 法

給定可用數(shù)據(jù)，可以通過(guò)使用單個(gè)圖像或多個(gè)圖像來(lái)增強(qiáng)低分辨率和嘈雜的圖像，以產(chǎn)生增強(qiáng)的圖像。目標(biāo)是通過(guò)最小化生成的高分辨率圖像和原始低質(zhì)量版本之間的均方誤差(mean square errors，MSE)來(lái)提高圖像質(zhì)量。[9-11]

1.1 深度學(xué)習(xí)

在提高圖像質(zhì)量的情況下，深度學(xué)習(xí)算法通過(guò)訓(xùn)練過(guò)程來(lái)學(xué)習(xí)僅在高頻細(xì)節(jié)方面有所不同的低分辨率和高分辨率圖像之間的映射。實(shí)際上，該領(lǐng)域中每種方法的性能都取決于網(wǎng)絡(luò)的訓(xùn)練方式，而網(wǎng)絡(luò)的訓(xùn)練方式則受到訓(xùn)練所提供數(shù)據(jù)集的大小和多樣性的控制。因此，使用這種方法的一個(gè)突出問(wèn)題是其要求具有許多用于訓(xùn)練網(wǎng)絡(luò)的高分辨率圖像。[12]另一方面，為復(fù)雜的多孔介質(zhì)設(shè)置大量高分辨率圖像是不可行的，因?yàn)楂@取它們既費(fèi)時(shí)又昂貴。為了解決該問(wèn)題，提出了一種方法。該方法使用有限數(shù)量的高分辨率圖像來(lái)為深度學(xué)習(xí)的訓(xùn)練階段生成多樣化的大型數(shù)據(jù)集。

1.2 隨機(jī)建模

使用隨機(jī)建模的主要目的是增加訓(xùn)練圖像的數(shù)量并使模式多樣化。為此，使用了基于互相關(guān)的仿真(Cross Correlation-based Simulation，CCSIM)算法，該算法已被證明能夠基于其圖像成功地對(duì)各種復(fù)雜的2D和3D多孔介質(zhì)進(jìn)行建模。[13-14]CCSIM表示數(shù)字圖像(digital image，DI)或要通過(guò)計(jì)算網(wǎng)格(grid，G)建模的多孔介質(zhì)，該網(wǎng)格劃分為大小重疊的塊Tx×Ty，其中G和DI具有相同的大小，相鄰塊共享具有大小的重疊區(qū)域Lx×Ly。然后，從G的角塊開(kāi)始，并沿一維柵格路徑訪問(wèn)每個(gè)網(wǎng)格塊。對(duì)于每個(gè)網(wǎng)格塊，隨機(jī)選擇來(lái)自DI的異質(zhì)性模式，并將其插入到訪問(wèn)塊中。將插入的模式稱(chēng)為數(shù)據(jù)事件DT。然后，根據(jù)相鄰點(diǎn)和DI之間的相似性選擇下一個(gè)模式，這意味著，不考慮所有先前構(gòu)造的塊，而僅考慮當(dāng)前鄰域中的那些塊用于計(jì)算。接下來(lái)，基于表示DI與DI之間的卷積的互相關(guān)函數(shù)來(lái)量化相鄰塊與DI之間的相似度或接近度。

(1)

其中，i∈[0,Tx+x-1)，j∈[0,Ty+y-1)。因此，大小的重疊區(qū)域Tx×Ty在兩個(gè)相鄰塊之間和一個(gè)數(shù)據(jù)事件DT用于匹配DI中的模式。重疊區(qū)域包含一組像素，這些像素是從以前構(gòu)造的塊中選取的，并在公式(1)中使用，識(shí)別下一個(gè)異構(gòu)模式。當(dāng)ψ(i,j;x,y)的值超過(guò)預(yù)設(shè)閾值時(shí)，會(huì)隨機(jī)選擇一個(gè)可接受的閾值，并將其插入G中當(dāng)前正在訪問(wèn)的塊中。重復(fù)該過(guò)程，直到網(wǎng)格G的所有塊都已重構(gòu)為止。

2 混合隨機(jī)深度學(xué)習(xí)算法

提出的混合隨機(jī)深度學(xué)習(xí)(Hybrid Stochastic Deep Learning，HSDL)算法的示意圖如圖1所示。大型數(shù)據(jù)集對(duì)于深度學(xué)習(xí)的精確度至關(guān)重要，但并非總是有這樣的數(shù)據(jù)集。因此，為了解決這個(gè)問(wèn)題，使用了隨機(jī)的CCSIM算法以生成用作訓(xùn)練的圖像。為了多樣化，使用各種過(guò)濾器對(duì)訓(xùn)練圖像進(jìn)行變換，以增加訓(xùn)練數(shù)據(jù)集之間的多樣性。

圖1 HSDL算法流程圖

隨機(jī)訓(xùn)練圖像的一部分以較大的尺寸生成，以便在將某些濾鏡應(yīng)用到它們時(shí)具有相同的質(zhì)量。因此，旋轉(zhuǎn)和調(diào)整大小也被應(yīng)用于這種圖像。深度學(xué)習(xí)算法使用高質(zhì)量的訓(xùn)練數(shù)據(jù)，并使用殘差學(xué)習(xí)策略提取它們與同一集合的放大圖像的差異。實(shí)際上，訓(xùn)練圖像都具有高分辨率，而需要增強(qiáng)的圖像是低分辨率圖像，即尺寸較小的圖像。

文中使用的深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)架構(gòu)是卷積深度學(xué)習(xí)網(wǎng)絡(luò)。該網(wǎng)絡(luò)學(xué)習(xí)低分辨率輸入圖像到高分辨率訓(xùn)練圖像的映射。所使用的圖像的內(nèi)容相似，但細(xì)節(jié)不同。為了減少計(jì)算時(shí)間，從每個(gè)訓(xùn)練圖像中選擇了來(lái)自訓(xùn)練數(shù)據(jù)的的隨機(jī)塊，并將其用于神經(jīng)網(wǎng)絡(luò)，而不是處理完整大小的圖像。低分辨率圖像代表第一層。下一層是卷積層，包含64個(gè)3×3大小的濾鏡，因此為每個(gè)面片分配一個(gè)濾鏡。除最后一層外，每個(gè)卷積層都有64個(gè)3×3大小的濾波器。其余19層包含相似的卷積整流線性單元(Rectified Linear Unit，ReLU)元素。初始權(quán)重是隨機(jī)分配的，但在學(xué)習(xí)過(guò)程中已進(jìn)行了優(yōu)化。對(duì)于隱藏層，使用ReLU元素，它代表非線性激活函數(shù)的最簡(jiǎn)單形式，而不是通常的S型。該層將公式(2)(整流器)

f(x)=log[1+exp(x)]

(2)

用作輸入值，而不更改其深度信息。這被稱(chēng)為Softplus或SmoothReLU函數(shù)。ReLU具有通過(guò)大型訓(xùn)練網(wǎng)絡(luò)加速計(jì)算并使其比普通激活函數(shù)快得多的功能。[15]網(wǎng)絡(luò)的最后一層是單個(gè)過(guò)濾器，最后是計(jì)算MSE的回歸層σ2，如公式(3)所示。

(3)

其中σ2代表神經(jīng)網(wǎng)絡(luò)的損失函數(shù)，y(i,j,k)表示殘差圖像yResid(i,j,k)和提出的HSDL網(wǎng)絡(luò)預(yù)測(cè)圖像yHSDL(i,j,k)在(i,j,k)的像素值。

HSDL方法的深度學(xué)習(xí)部分經(jīng)過(guò)隨機(jī)梯度下降動(dòng)量?jī)?yōu)化訓(xùn)練，其中梯度表示誤差。因此，算法在每次迭代后都與動(dòng)量一起使用，其動(dòng)量定義為梯度的移動(dòng)平均值，動(dòng)量用于防止優(yōu)化計(jì)算收斂到局部最小值或鞍點(diǎn)。高動(dòng)量參數(shù)可以將收斂速度加快到真正的最小值σ2。另一方面，過(guò)低的動(dòng)量系數(shù)不能可靠地幫助最小化以避免局部最小值，從而減慢了訓(xùn)練速度。為了具有更穩(wěn)定的收斂性和高度優(yōu)化的矩陣運(yùn)算，梯度下降法僅使用幾個(gè)訓(xùn)練示例進(jìn)行更新，該更新用于梯度計(jì)算中。動(dòng)量更新如公式(4)所示。

(4)

這里，Qi(w)是數(shù)據(jù)集中第一次觀察到的損失函數(shù)，α是學(xué)習(xí)率或步長(zhǎng)，β是超參數(shù)，β∈[0,1]，vt是校正后的偏差。超參數(shù)是確定NN結(jié)構(gòu)的變量，例如其隱藏單元數(shù)，這些變量確定NN的訓(xùn)練方式。學(xué)習(xí)速率是另一個(gè)超參數(shù)，它控制相對(duì)于損耗梯度應(yīng)調(diào)整網(wǎng)絡(luò)權(quán)重的程度。其值越低，迭代沿著向下的斜率朝著真正的最小化狀態(tài)傳播的速度就越慢。雖然使用低的學(xué)習(xí)率初始值似乎可以確保沒(méi)有將局部最小值視為真正的最小值，但是優(yōu)化計(jì)算也將花費(fèi)很長(zhǎng)時(shí)間收斂。表1是HSDL計(jì)算中使用的所有參數(shù)的值。訓(xùn)練和驗(yàn)證階段的損失函數(shù)(MSE)在圖2中進(jìn)行了比較。最初MSE變化較大，在大約迭代了20次后變化趨于穩(wěn)定。另外，從圖2中也可以看出，100次迭代足以訓(xùn)練網(wǎng)絡(luò)。

圖 2 訓(xùn)練和測(cè)試階段的MSE比較

表1 HDSL算法參數(shù)列表

3 結(jié)果與討論

HSDL算法用于分析和建模具有不規(guī)則孔隙的復(fù)雜頁(yè)巖地層。為了檢查結(jié)果的準(zhǔn)確性，在嚴(yán)格的統(tǒng)計(jì)測(cè)試的基礎(chǔ)上，對(duì)它們進(jìn)行了計(jì)算比較，以衡量增強(qiáng)圖像與原始圖像之間的相似性。為了更好地證明所提出方法的功能，將結(jié)果與雙三次插值方法以及常規(guī)的深度學(xué)習(xí)算法進(jìn)行了比較。

使用的第一個(gè)度量是峰值信噪比R，它與雙三次插值法和HSDL算法生成的圖像一起使用。

(5)

這里，MI表示圖像I的最大可能像素值，MSE為均方差。

第二個(gè)度量是使用結(jié)構(gòu)相似性指標(biāo)Is來(lái)評(píng)估圖像特征(例如亮度)的視覺(jué)影響。

Is(I1,I2)=lα(I1,I2)cβ(I1,I2)sγ(I1,I2)

(6)

這里，I1代表增強(qiáng)的圖像，I2是高分辨率圖像。其他三項(xiàng)的含義由公式(7)-(9)給出。

(7)

(8)

(9)

第三個(gè)度量是自然圖像質(zhì)量評(píng)估法。它估算感知圖像質(zhì)量，測(cè)量自然場(chǎng)景的輸入圖像統(tǒng)計(jì)信息與用于訓(xùn)練HSDL網(wǎng)絡(luò)的數(shù)據(jù)集中圖像特征之間的距離。[16]

表2中列出了計(jì)算結(jié)果。峰值信噪比和結(jié)構(gòu)相似性指標(biāo)的較大值表示更好的圖像質(zhì)量。自然圖像質(zhì)量評(píng)估法的較低值表示較好的感知質(zhì)量，并被解釋為表示所生成圖像的自然場(chǎng)景與參考圖像之間的距離較小(相似性更強(qiáng))。表2表明，由HSDL圖像生成的圖像會(huì)產(chǎn)生峰值信噪比和結(jié)構(gòu)相似性指標(biāo)的最大值以及自然圖像質(zhì)量評(píng)估法的最小值。此外，表2中的定量比較表明，沒(méi)有豐富訓(xùn)練圖像的常規(guī)深度學(xué)習(xí)算法所產(chǎn)生的結(jié)果要比HSDL算法產(chǎn)生的結(jié)果更不準(zhǔn)確。

表2 算法結(jié)果對(duì)比

通過(guò)圖像像素點(diǎn)的頻率分布，對(duì)HSDL算法的準(zhǔn)確性進(jìn)行驗(yàn)證，得到如圖3所示頁(yè)巖圖像。其中，(a)為原始圖像，(b)為通過(guò)HSDL算法獲得的圖像。從圖3中可知，通過(guò)HDSL算法能以較低的成本獲得質(zhì)量較高的圖像。

(a)

此外，為了進(jìn)一步驗(yàn)證算法的有效性，采用雙三次插值，常規(guī)算法以及HSDL算法來(lái)生成巖層圖像，并對(duì)獲得的不同巖層圖像進(jìn)行孔隙度預(yù)測(cè)，得到如圖4所示的結(jié)果。從圖4中可知，HSDL算法生成的圖像的孔隙率估算值與原始高分辨率參考圖像的孔隙率估算值更接近，對(duì)了解地下巖層的物理特性具有更好的指導(dǎo)意義。

圖4 不同算法獲得的巖層圖像孔隙度預(yù)測(cè)比較

考慮到代表高度非均質(zhì)多孔介質(zhì)的頁(yè)巖地層的形態(tài)是一個(gè)難題。盡管可以獲取和分析此類(lèi)結(jié)構(gòu)的二維或三維圖像，但它們要么不能捕獲多孔介質(zhì)的納米尺度特征，要么圖像太小以致不能準(zhǔn)確代表介質(zhì)。盡管可以使用高分辨率圖像來(lái)訓(xùn)練深度學(xué)習(xí)網(wǎng)絡(luò)以提高低分辨率圖像的質(zhì)量，但是一個(gè)重要的障礙是，通過(guò)實(shí)驗(yàn)手段獲得大量高分辨率圖像耗時(shí)且昂貴，因此，為了解決這個(gè)問(wèn)題，提出了一種混合算法，通過(guò)該算法，隨機(jī)重建可用于生成大量合理的頁(yè)巖地層圖像，然后訓(xùn)練深度學(xué)習(xí)卷積網(wǎng)絡(luò)。結(jié)果表明，圖像質(zhì)量得到改善，其準(zhǔn)確性可得到確認(rèn)。下一步工作，考慮改進(jìn)算法，更充分地利用網(wǎng)絡(luò)學(xué)習(xí)的特征對(duì)圖像進(jìn)行重建，并嘗試采用不同的訓(xùn)練策略，以期獲得更好的圖像重建效果。