祁 攀,湯府鑫,徐 輝

(安徽理工大學 a.人工智能學院;b.計算機科學與工程學院,安徽 淮南 232001)

集成電路從上個世紀發(fā)展至今,制程已經突破個位數(shù)來到了5 nm甚至3 nm。巨大的制程提升帶來了更強大性能的同時,制造過程中的挑戰(zhàn)也隨之而來。193 nm的曝光長度遠大于工藝節(jié)點,掩模優(yōu)化過程逐漸成為了設計過程中的困難[1]。掩膜優(yōu)化過程在超大規(guī)模集成電路設計和制造中起重要作用,這是一個非常復雜的優(yōu)化問題,同時,為了克服光刻過程中的衍射相關的模糊,需要分辨率增強的方法[2]。

Huang等人提出了一種綜合流程來聯(lián)合優(yōu)化工藝窗口和掩模的可印刷性,將掩模多邊形的邊緣分段切開,通過移動切開的分段來優(yōu)化多邊形,最終提升掩模可印刷性[2-3]。Su等人提出了一種對邊緣放置錯誤自適應權重的模型,在迭代過程中分段采用動態(tài)分段方法,對于EPE高度敏感的部分將被進一步分解為更短的分段,從而以更短的時間收斂[4]。Ma等人提出了一個新型框架,能夠同時求解版圖分解和掩模優(yōu)化,版圖分解和掩模聯(lián)合優(yōu)化,擁有了全局視野,這樣以獲得更大的解空間以及更高質量的掩模[5]。Jiang等人首次提出將掩模優(yōu)化過程在神經網絡上處理,通過主干網絡預處理和微調網絡細化處理,將掩模質量和周轉時間提升顯著[6]。Yang等人首次引入生成對抗網絡(Generative adversarial network,GAN)到掩模優(yōu)化領域,將GAN網絡中的生成器使用先進的分割網絡U-Net代替,使生成階段能夠生成效果較好的掩模[7]。

以上基于學習的方法表明,深度學習的方法較于傳統(tǒng)方法,無論是從掩模質量還是從周轉時間已有了明顯的提升。然而,就掩模質量而言,仍有提升的空間,同時,提升訓練時間也是不容忽視的重要因素。基于上述分析,本文提出了一種基于改進PSPNet的掩模優(yōu)化模型。

1 相關原理

1.1 PSPNet網絡

PSPNet網絡被提出用于解決語義分割任務[8]。該網絡因為金字塔池化層的加入,對圖像中每個類別的邊緣十分敏感,可以用來分割圖像的中不同類別。其網絡結果如圖1所示。其中ResNet作為常用是特征提取層,殘差的加能夠很好保存上一層有的特征,在經過卷積過后的特征兩者特征融合一并輸入到下一層,該網絡已被驗證能有效的解決特征損失和梯度爆炸等神經網絡常見的特征提取問題。金字塔池化是該網絡中將經過ResNet提取的特征圖,通過不同層級的池化層進行不同的池化操作。不同池化層會將上述特征圖池化成大小不一的特征圖,輸出的特征圖類似于金字塔,因此得名金字塔池化層。不同的池化層后的特征圖再經過上采樣和特征融合與ResNet提取的原始特征圖進行融合,得到不同層級的特征圖,最后再經過一層卷積層輸出結果圖案。

圖1 PSPNet網絡結構

1.2 改進的ResNet網絡

本文改進的ResNet網絡結構如圖2所示。

圖2 改進的ResNet卷積塊

在傳統(tǒng)的卷積塊中,其中僅包含用于提取特征的卷積層、將數(shù)據(jù)歸一化的BN層和將有用信息提取的ReLU層。經過大量的實驗表明,傳統(tǒng)神經網絡會在網絡層數(shù)很深時出現(xiàn)網絡退化,即層數(shù)越深,網絡性能下降。為此,ResNet提出殘差設計,將上一層的特征原封不動的與當前層的結果融合,這樣不同層級之間特征得到了一定程度的保留,形成跳躍連接。這樣的做法極大地增加了網絡的性能,同時很大程度上避免了網絡層數(shù)過深帶來的梯度爆炸和特征丟失問題。但是當ResNet面對掩模優(yōu)化任務時,掩模中的特征點分布不均勻,且集中在邊緣部分,ResNet的殘差設計就不容易提取到部分特征[9]。即使有些特征被保留,但是無效的特征被保留反而使網絡變的冗余。加入卷積注意力機制模塊則很好地解決了這個問題,它使網絡提取特征的同時更加關注掩模的邊緣,從而使網絡生成高質量的掩模。

1.3 卷積注意力機制模塊

在掩模優(yōu)化任務中,掩模的透光部分并非占掩模版的大部分,恰恰相反,其面積僅占其中的1/5。所以,如何優(yōu)化每一塊掩模,尤其是掩模的邊緣,成了框架需要重點關注的區(qū)域。ResNet中殘差的加入很好地保留了每一層中的特征并傳入下一層,但是更加重要的邊緣信息沒有被提高優(yōu)先級,很可能被多次卷積后被忽略。因此加入卷積注意力機制模塊,通過通道和空間注意力機制相結合,使框架更加關注掩模的邊緣,將邊緣信息更多的保留下來,便于上采樣中重建。

卷積注意力機制模塊由通道注意力(Channel Attention,CA)機制和空間注意力(Spatial Attention,SA)機制組成。其中通道注意力機制是將上一層傳入的特征圖按通道壓縮,即將特征圖F∈C×H×W都壓縮成F∈C×1×1的特征圖。使用最大池化和平均池化分別輸出2張池化后的特征圖,送入共享權重的全連接層。將全連接層的輸出進行特征融合并使用Sigmoid函數(shù)進行激活形成通道注意力權重,并與上一層傳入的特征圖相乘輸出到下一層空間注意力機制層。空間注意力機制是將上一層通道注意力加權的特征圖按空間壓縮,即將特征圖F∈C×H×W都壓縮成F∈1×H×W的特征圖。使用最大池化和平均池化分別輸出2張池化后特征圖,使用特征融合成一張?zhí)卣鲌D后經過卷積和激活函數(shù)形成空間注意力權重,并與通道注意力加權特征圖相乘輸出到下一層注意力卷積層。卷積注意力機制模塊如圖3所示。

通道注意力層的輸出可以表示為

FCA=WCA*Fin=σ(MLP(AvgPool(Fin))+MLP(MaxPool(Fin)))*Fin,

(1)

式中:σ為Sigmoid函數(shù);MLP為共享全連接層;AvgPool和MaxPool為平均和最大池化。

空間注意力層的輸出可以表示為

FSA=WSA*FCA=σ(f7×7([AvgPool(FCA);MaxPool(FCA)]))*FCA,

(2)

式中:f7×7為大小7×7卷積核的卷積層。

圖3 卷積注意力機制模塊

1.4 像素重組層

在原始的PSPNet網絡中,上采樣過程使用的是雙線性插值,上采樣高效的同時,還消除了圖片的鋸齒問題。但是雙線性插值的高頻信息損失較多,尤其是對邊緣的處理,這極大地影響了掩模優(yōu)化任務的精度,影響了掩模生成的質量[10]。同時插值法會根據(jù)計算插入一些冗余值,也會造成掩模的冗余從而導致性能下降。為此在上采樣中加入像素重組層,充當?shù)谝徊糠值纳喜蓸?為初步的上采樣保留更多的特征。

像素重組層是一種高效的上采樣方式,它完全不增加任何冗余。它不像卷積和池化需要提取特征,也不像填充(padding)需要增加可能冗余的0或1,也不需要像插值需要計算周圍的數(shù)取值給新的像素。它僅需要對特征圖進行排列重組。它將每個通道相同位置的像素按某種排列組合至新的特征圖,無需其他操作,如圖4所示。這種只需要排列的方式提高了上采樣的效率,降低了添加冗余像素可能,同時完全保留了特征圖中的特征。因此很大程度上提升了生成掩模的質量。

如圖4可知,特征圖F∈r2×H×W可經過像素重組層變?yōu)樘卣鲌DF∈1×rH×rW。新的特征圖保留了原特征圖的全部像素信息,為上采樣生成掩模提供了極大的幫助。

圖4 像素重組層

1.5 損失函數(shù)

掩模優(yōu)化任務可以被視作為根據(jù)圖像生成圖像的過程,它將目標布局輸入至模型,輸出優(yōu)化好的掩模并與標準掩模進行對比。優(yōu)化的過程可以認為是盡力將模型輸出與標準掩模的每一個像素靠近,是一個回歸問題。均方誤差(Mean Squared Error,MSE)通常被用來作為回歸任務的損失函數(shù)。它將圖像中的每一個像素點視為一次預測,衡量每個像素點與真實像素點之間的誤差的二次方,根據(jù)整體圖像大小取平均。通過加入平方,也便于在模型中反向傳遞的求導,根據(jù)梯度更新模型參數(shù)。均分誤差為

(3)

均方誤差通常在回歸任務中起到良好的效果[11],但是在掩模優(yōu)化任務中,不僅僅要看整體掩模與標準掩模直接的優(yōu)化程度,更加關注于掩模的邊緣。因此添加DICE損失函數(shù)與MSE損失函數(shù)聯(lián)合作為模型的損失函數(shù)。DICE損失通常被用來評估兩個樣本的相似度。DICE損失可以被視作為將預測掩模和真實掩模進行重合,以計算他們重合部分的比值。優(yōu)化的目標是盡量是讓預測掩模與真實掩模重合,使DICE損失變小。

DICE損失為

(4)

式中:ε為極小的數(shù),通常作為平滑系數(shù)防止除0錯誤。

因為DICE損失將預測和真實值同時考慮而非分開,因此DICE損失是區(qū)域性損失,即某個像素點的損失和梯度不僅和該點有關,還和該點周圍的像素有關,這極大的增加了像素點之間的聯(lián)系,同時與MSE這種只針對每一個像素點的損失函數(shù)區(qū)分開來。同時DICE可以改善掩模中的類別不平衡問題[12]。掩模的透光部分只占整體的1/5,具有類別不平衡的特點,使用DICE損失可以處理這樣的不平衡問題。

2 實驗方案

2.1 實驗環(huán)境

本實驗平臺環(huán)境為Ubuntu 18.04操作系統(tǒng),GPU使用NVIDIA RTX3080Ti 12G,在深度學習環(huán)境下使用CUDA以及cuDNN圖形加速,在PyCharm環(huán)境中搭建PyTorch1.11深度學習框架,編譯語言使用Python3.8。

2.2 數(shù)據(jù)集

本文的訓練數(shù)據(jù)集采用由文獻[7]作者整理并發(fā)布的包含4375對目標布局和標準掩模組成的掩模對。目標布局由ICCAD2013競賽官方提供代碼版本,經過文獻[7]整理成圖像并發(fā)布對應的標準掩模供學術使用。據(jù)筆者所知,這是唯一提供給學術界使用的開源掩模優(yōu)化數(shù)據(jù)集。測試集采用ICCAD2013競賽官方提供的10張由不同結構、不同大小組成的掩模。該測試集沒有標準掩模。該數(shù)據(jù)集的詳細信息如表1所示。

表1 ICCAD2013數(shù)據(jù)集詳細

2.3 模型評估指標

為了客觀地評估模型生成的掩模質量,采用L2均方誤差以及工藝變化帶(Process Variation Band,PV Band)來衡量生成的掩模質量。將生成的掩模經過光刻模擬軟件生成晶圓圖像并與目標布局進行對比,得出掩模質量。光刻模擬軟件由文獻[6]給出。其中L2均方誤差為

式中:Z為根據(jù)預測掩模生成的晶圓圖像;Zt為目標布局。

工藝變化帶為在不同光刻條件下晶圓圖像的變化,用來衡量掩模對于光刻條件變化的容忍程度。光刻條件刻在光刻模擬軟件中調整,生成不同光刻條件的晶圓圖像,作差值作為工藝變化帶的值。

2.4 實驗結果與分析

2.4.1 不同算法對比實驗

為了驗證本文所提出算法的可行性,本文將不同提取特征網絡ResNet26,ResNet38和ResNet50進行對比,并和改進的本方法放在一起對比,對比結果如表2所示。其中的L2和PVB指標均為在10個測試用例上取平均值?；A網絡僅使用MSE作為損失函數(shù)。為了體現(xiàn)公平,在ResNet26和ResNet38均為同樣的卷積塊,因此層數(shù)為26和38而非傳統(tǒng)的18和34層。

表2 不同模型的性能

(a)ResNet26;(b)ResNet38;(c)ResNet50; (d)ILT;(e)Model-Based;(f)Ours.圖5 不同模型生成的掩模

由表2可以看出:該方法相比于ResNet26在L2上提升了10%,在PVB上提升了3%。相比于ResNet38在L2上提升了3%,在PVB上提升了3%。相比于ResNet50在L2上提升了8%,在PVB上提升了5%。相比于當前主流使用的基于模型的掩模優(yōu)化方法,本文方法相比于ILT提升了2%,相比于Model-Based提升了9%。在圖5中,前3張圖片來自于逐步增加層數(shù)的ResNet。由于掩模優(yōu)化任務更加關注邊緣的處理,雖然ResNet層數(shù)增加能有效解決梯度消失問題,但是對于圖像生成任務,掩模的質量隨著層數(shù)下降。而在圖5(d)～(e)中,基于模型的方法因為處理邊緣不夠精細,甚至出現(xiàn)了邊緣空洞的情況,會嚴重影響掩模的制造和晶圓的生成。在本文模型中增加注意力機制,像素重組層和新的DICE損失函數(shù)后,模型對邊緣的處理更加詳細,掩模中邊緣的粘連和冗余更少,邊緣更加順滑。從表和圖中能看出本文改進模型的有效性。

2.4.2 消融實驗

在本模型中,增加了卷積注意力機制模塊、像素重組層和DICE損失函數(shù)。為了進一步體現(xiàn)不同模塊之間組合的效果,通過消融實驗進一步證明增加模塊的有效性。全部消融實驗結果如表3所示。表3中的CBAM代表卷積注意力機制模塊,Shuffle代表像素重組層模塊,DICE代表DICE損失函數(shù)模塊。

表3 消融實驗結果

由表3可以看出,分別加入CBAM、Shuffle、DICE模塊的3種模型相比于原模型分別提升了2%、7%和4%。消融實驗結果對比見圖6,可以看出:加入模塊的模型生成的掩模相比于原模型生成的掩模,邊緣更加順滑,拐角處棱角更少,便于制造。在分別加入2組模塊的模型中,也都有不同程度的效果。最后,綜合3種模塊,使掩模質量提升了7.1%,模型生成的掩模最為光滑,拐角處沒有粘連,且掩模質量最好。在圖6中,根據(jù)掩模生成的晶圓圖像被列在對應掩模的第二行。在其他的掩模生成的晶圓中,包含例如布局間粘連,布局覆蓋過多,布局拐角不平滑等問題。這些問題在最后一個由本文模型所生成的晶圓圖像中并沒有出現(xiàn)。因此綜合掩模質量和晶圓質量,本文模型生成的效果更好。通過消融實驗證實了改進后的PSPNet模型能夠生成質量更高的掩模。

圖6 消融實驗結果對比

3 結論

1) 針對掩模優(yōu)化任務中更加注重邊緣區(qū)域的優(yōu)化,本文在PSPNet模型中的提取特征網絡ResNet增加卷積注意力機制模塊,提高提取特征網絡的提取特征能力,更加注重對邊緣區(qū)域的提取與保留。

2) 針對上采樣過程的雙線性插值會有冗余信息添加的問題,本文在上采樣過程中加入像素重組層,它可以迅速對像素進行重組且不添加任何冗余信息,完整的保留特征的信息。

3) 針對損失函數(shù)中僅使用MSE會造成掩模生成質量不高、梯度不便于計算的問題,加入DICE損失函數(shù),使梯度更加順滑的同時,能讓模型更加關注邊緣區(qū)域的優(yōu)化,與注意力機制配合一起優(yōu)化掩模最重要的邊緣區(qū)域。

4) 由實驗結果可知,本文的模型相比于原始模型提升了7.1%,相比于基于模型的提升了至少2%。同時生成的掩模邊緣更加順滑,便于制造,拐角處的粘連更少,掩模質量更優(yōu)。