李曄彬，劉娟秀，王旭東，王興國(guó)

(1.電子科技大學(xué) 光電科學(xué)與工程學(xué)院, 成都 610054; 2.電子科技大學(xué) 智能顯微技術(shù)聯(lián)合研究中心， 成都 610054)

1 引言

在工業(yè)芯片生產(chǎn)過(guò)程中，廠商往往在每一顆生產(chǎn)的芯片表面上加工字符，芯片字符由一串?dāng)?shù)字和字母組成，作為芯片的唯一標(biāo)識(shí)，以方便芯片整個(gè)生命周期的追溯和管控。目前，現(xiàn)有工業(yè)芯片上的字符識(shí)別方法存在效率低、精度和魯棒性差等一系列問(wèn)題，而且流程復(fù)雜，需要人工全程在現(xiàn)場(chǎng)勘誤并記錄結(jié)果，無(wú)法滿足工業(yè)現(xiàn)場(chǎng)的字符智能化識(shí)別需求。相較于傳統(tǒng)方法，深度學(xué)習(xí)就體現(xiàn)出巨大的優(yōu)勢(shì)。深度學(xué)習(xí)可以讓計(jì)算機(jī)自動(dòng)學(xué)習(xí)樣本特征，并將特征學(xué)習(xí)融入到建模的過(guò)程中，從而減少人為設(shè)計(jì)特征的不完整。目前深度學(xué)習(xí)在OCR領(lǐng)域的主要應(yīng)用是宏觀自然場(chǎng)景下字符識(shí)別和文檔識(shí)別兩大方面，而對(duì)于微小半導(dǎo)體芯片上的微觀字符進(jìn)行光電成像識(shí)別還尚未有大量的應(yīng)用。

本文中將深度學(xué)習(xí)應(yīng)用到微小半導(dǎo)體芯片上的微觀字符識(shí)別，提出了一種基于深度學(xué)習(xí)的面向顯微光學(xué)的智能字符識(shí)別系統(tǒng)，顯著提高了識(shí)別正確率，實(shí)現(xiàn)工業(yè)芯片字符識(shí)別的智能化。

2 檢測(cè)與識(shí)別算法設(shè)計(jì)研究

本文中提出的OCR系統(tǒng)分為文本檢測(cè)、方向分類和文本識(shí)別3個(gè)階段，3個(gè)階段分別訓(xùn)練深度模型最后進(jìn)行串聯(lián)檢測(cè)。文本檢測(cè)基于最新的DBNet模型，負(fù)責(zé)檢測(cè)圖像中的字符區(qū)域并將文本框變成水平方向。方向分類基于一個(gè)二分類網(wǎng)絡(luò)，可判斷文本是否是顛倒的，如果是則旋轉(zhuǎn)180°再識(shí)別。文本識(shí)別使用一個(gè)基于CNN的字符識(shí)別模型，可處理檢測(cè)到的文本框，識(shí)別其中包含的字符。本文中提出的OCR系統(tǒng)結(jié)構(gòu)如圖1所示，在識(shí)別過(guò)程中，首先將訓(xùn)練好的深度學(xué)習(xí)模型部署在服務(wù)器上，然后通過(guò)顯微鏡采集芯片的顯微圖像并上傳到服務(wù)器，圖片在服務(wù)器端經(jīng)過(guò)深度學(xué)習(xí)模型的識(shí)別推理之后得到相應(yīng)的識(shí)別結(jié)果并返回給前端界面，在前端界面可以實(shí)時(shí)查看識(shí)別結(jié)果，從而能夠更好地反饋指導(dǎo)芯片前段的工藝制造過(guò)程。

2.1 文本檢測(cè)模型

本研究中檢測(cè)的目的在于定位圖像中的字符區(qū)域。在OCR系統(tǒng)中，使用基于分割的DBNet文本檢測(cè)算法，可以得到字符區(qū)域的包圍框，而且DBNet的后處理比較簡(jiǎn)單，整體推理速度非?？?，方便實(shí)際應(yīng)用。為了提升檢測(cè)速度，將DBNet的特征提取器更換為了MobileNetV3。文本的檢測(cè)模型結(jié)構(gòu)如圖2所示，首先圖像后經(jīng)過(guò)特征提取器和特征金字塔(feature pyramid networks，F(xiàn)PN)得到4張大小為原圖的1/4、1/8、1/16、1/32的特征圖，然后將這些特征圖分別上采樣至原圖的1/4大小，并將它們進(jìn)行特征融合，得到特征圖，由得到概率圖(probability map)和閾值圖(threshold map)，通過(guò)和計(jì)算可以得到近似二值圖B(approximate binary map)。最后根據(jù)B計(jì)算損失函數(shù)，反向傳播進(jìn)行參數(shù)優(yōu)化。

其中分別通過(guò)一次卷積操作和兩次反卷積操作得到和，其中卷積操作的卷積核大小為3×3，反卷積操作的卷積核大小為2×2，卷積步長(zhǎng)為2。具體過(guò)程為先經(jīng)過(guò)卷積層，將通道壓縮為輸入的1/4，然后經(jīng)過(guò)歸一化和ReLU激活函數(shù)計(jì)算得到相應(yīng)的特征圖；然后將得到的特征圖進(jìn)行第一次反卷積操作，得到的特征圖大小為原圖的1/2大??；再進(jìn)行第二次反卷積操作，輸出的特征圖通道為1，其大小與原圖大小相同；最后經(jīng)過(guò)sigmoid激活函數(shù)，輸出概率圖和閾值圖。

最后和是經(jīng)過(guò)一個(gè)可微分二值化公式，計(jì)算得到了近似二值圖B。由于標(biāo)準(zhǔn)二值化的結(jié)果只有0和1兩個(gè)值，導(dǎo)致訓(xùn)練過(guò)程中梯度不可微，無(wú)法使用梯度下降法優(yōu)化網(wǎng)絡(luò)。為了解決梯度不可微的問(wèn)題，文本檢測(cè)引入了可微分二值化

(1)

式中：其為概率圖；為閾值圖；為放大倍數(shù)。

圖1 面向顯微光學(xué)的智能字符識(shí)別系統(tǒng)結(jié)構(gòu)示意圖

圖2 檢測(cè)模型結(jié)構(gòu)示意圖

2.2 方向分類器

由于芯片上的字符序列都是橫排的文本行，為了保證后續(xù)字符識(shí)別階段的效果和效率，希望檢測(cè)模型輸出的文本框都是水平的且字符是正向的，如圖3(a)所示；如果文本行是傾斜或顛倒的則會(huì)導(dǎo)致后續(xù)識(shí)別錯(cuò)誤。這里通過(guò)檢測(cè)框矯正和方向分類器來(lái)實(shí)現(xiàn)。文本檢測(cè)模型輸出的包圍框是一個(gè)不規(guī)則的四邊形，由4個(gè)頂點(diǎn)的坐標(biāo)來(lái)表示。為了將其變?yōu)橐?guī)則的矩形，通過(guò)仿射變換將這個(gè)四邊形變成水平方向(長(zhǎng)邊在水平方向)或豎直方向(長(zhǎng)邊在豎直方向)的矩形，并對(duì)于豎直方向的矩形將其旋轉(zhuǎn)90°變?yōu)樗椒较颉＝?jīng)過(guò)上述處理后所有輸出檢測(cè)框變?yōu)樗椒较虻臋z測(cè)框。然而矩形框內(nèi)的文字內(nèi)容可能是180°顛倒的，如圖3(b)所示。經(jīng)過(guò)大量實(shí)驗(yàn)驗(yàn)證，字符識(shí)別網(wǎng)絡(luò)對(duì)于倒立的字符識(shí)別效果不佳。因此，使用一個(gè)基于二分類網(wǎng)絡(luò)的方向分類器判斷文本框的旋轉(zhuǎn)角度是0°還是180°，如圖4所示，并根據(jù)分類結(jié)果將旋轉(zhuǎn)后的文本框輸入至字符識(shí)別網(wǎng)絡(luò)進(jìn)行識(shí)別。

圖3 方向分類數(shù)據(jù)示例圖

圖4 方向分類器網(wǎng)絡(luò)結(jié)構(gòu)示意圖

2.3 文本識(shí)別模型

文本識(shí)別階段是基于CNN模型和CTC損失來(lái)生成每個(gè)字符的轉(zhuǎn)錄，如圖5所示，首先圖片經(jīng)過(guò)特征提取器ResNet34得到特征圖，將其輸入至全卷積網(wǎng)絡(luò)中得到特征序列以及它的概率分布，最后經(jīng)過(guò)CTC解碼得到最終的輸出結(jié)果。因?yàn)樾酒址蛄兄凶址c字符之間無(wú)明顯上下文關(guān)系，所以不需要使用顯式的遞歸模塊或者任何注意機(jī)制，而是直接生成每個(gè)字符的概率。卷積操作可建模字符之間的交互關(guān)系，計(jì)算效率更高。

圖5 識(shí)別網(wǎng)絡(luò)模型結(jié)構(gòu)示意圖

該模型使用CTC損失進(jìn)行訓(xùn)練，它解決了2個(gè)問(wèn)題，一是不需要字符級(jí)的標(biāo)注，只需根據(jù)神經(jīng)網(wǎng)絡(luò)輸出的特征向量和相應(yīng)的ground-truth(GT)文本輸入到CTC損失函數(shù)中進(jìn)行計(jì)算。二是對(duì)于解決編碼重復(fù)的字符，通過(guò)引入一個(gè)偽字符(比如空格)，在編碼時(shí)可以在任意位置插入任意多的空格，在解碼時(shí)刪除空格，但是必須在重復(fù)的字符之間插入空格。CTC損失理論上可以預(yù)測(cè)任意長(zhǎng)度的文本。

3 實(shí)驗(yàn)過(guò)程

3.1 數(shù)據(jù)來(lái)源與數(shù)據(jù)標(biāo)注

模型訓(xùn)練所需的芯片圖片數(shù)據(jù)由四川光恒公司提供，芯片型號(hào)為DFB半導(dǎo)體芯片。通過(guò)光學(xué)成像顯微鏡拍攝芯片字符圖片共得到2 026張。原圖為1 280×960像素大小的圖片，其中字符區(qū)域只占了很小一部分，需要對(duì)原圖進(jìn)行標(biāo)注，得到模型訓(xùn)練所需的圖片和對(duì)應(yīng)的標(biāo)簽。

首先使用矩形框?qū)⒆址麉^(qū)域在原圖中框出并記錄從矩形框的左上角開(kāi)始順時(shí)針依次得到的4個(gè)點(diǎn)坐標(biāo)即文本檢測(cè)網(wǎng)絡(luò)需要的標(biāo)簽。然后將矩形框中的區(qū)域從原圖中裁剪出來(lái)，并將其中的文字內(nèi)容記錄下來(lái)得到字符識(shí)別網(wǎng)絡(luò)所需的圖片和標(biāo)簽。最后把識(shí)別所用標(biāo)簽的文本內(nèi)容替換為0°和180°，就得到方向分類器所需的標(biāo)簽。

3.2 數(shù)據(jù)擴(kuò)充與增強(qiáng)

為了能夠獲得良好的字符識(shí)別性能，數(shù)據(jù)集應(yīng)包含較大數(shù)量的芯片圖像數(shù)據(jù)，尤其是包含所有可能出現(xiàn)的字符且各個(gè)字符的分布是均勻的，否則可能導(dǎo)致部分字符識(shí)別錯(cuò)誤。然而獲取大量數(shù)據(jù)需要花費(fèi)較長(zhǎng)時(shí)間且人工標(biāo)注較昂貴，此外DFB半導(dǎo)體芯片未進(jìn)行大批量生產(chǎn)，數(shù)量有限。因此所收集數(shù)據(jù)集中圖像數(shù)量較少，不足以訓(xùn)練字符識(shí)別網(wǎng)絡(luò)，需要進(jìn)一步對(duì)數(shù)據(jù)集進(jìn)行擴(kuò)充。統(tǒng)計(jì)了數(shù)據(jù)集中各個(gè)字母和數(shù)字在訓(xùn)練樣本中出現(xiàn)的頻次，對(duì)于出現(xiàn)頻次較少的字符進(jìn)行數(shù)據(jù)擴(kuò)充處理。具體的擴(kuò)充手段是通過(guò)傳統(tǒng)圖像處理的方法，將待擴(kuò)充的字母或者數(shù)字剪切出來(lái)，然后將它們與其他字母和數(shù)字進(jìn)行隨機(jī)組合從而得到一批新的數(shù)據(jù)。合成圖像與其對(duì)應(yīng)的標(biāo)簽如圖6所示。

圖6 數(shù)據(jù)合成示例圖(左側(cè)為合成數(shù)據(jù) 右側(cè)為對(duì)應(yīng)標(biāo)簽)

合成前后的數(shù)據(jù)集如表1所示。合成前后數(shù)據(jù)集中各個(gè)字符的分布情況如圖7、圖8所示。

表1 合成前后的數(shù)據(jù)集

圖7 數(shù)據(jù)擴(kuò)充之前各個(gè)字符數(shù)量統(tǒng)計(jì)直方圖

圖8 數(shù)據(jù)擴(kuò)充之后各個(gè)字符數(shù)量統(tǒng)計(jì)直方圖

考慮到實(shí)際工業(yè)環(huán)境的復(fù)雜性，顯微鏡采集到的原始圖像存在幾何位移和光照不均勻等問(wèn)題，會(huì)對(duì)檢測(cè)識(shí)別造成較大影響，所以在網(wǎng)絡(luò)的每一輪訓(xùn)練過(guò)程中使用數(shù)據(jù)增強(qiáng)提高算法的魯棒性。數(shù)據(jù)增強(qiáng)方式包括：隨機(jī)旋轉(zhuǎn)、隨機(jī)模糊、隨機(jī)銳化、隨機(jī)亮度、隨機(jī)噪聲。

3.3 評(píng)價(jià)指標(biāo)

在深度學(xué)習(xí)中，Precision是檢索到的相關(guān)實(shí)例的比例，Recall是實(shí)際檢索到的相關(guān)實(shí)例總數(shù)的比例。精度-查全率(PR)曲線是精確值在軸上，查全率值在軸上的圖表。是曲線與軸、軸所圍成的面積，是目標(biāo)檢測(cè)中廣泛使用的評(píng)價(jià)指標(biāo)。對(duì)于檢測(cè)任務(wù)，使用Precision、Recall和Hmean來(lái)衡量模型的性能，公式如下：

Recall()：可與預(yù)測(cè)框匹配的真值框占所有真值框的比例。

(2)

Precision()：可匹配真值框的預(yù)測(cè)框占所有預(yù)測(cè)框的比例。

(3)

Hmean()：為和的調(diào)和平均數(shù)。

(4)

式中：代表正類判定為正類；代表父類判定為正類；代表正類判定為負(fù)類；代表負(fù)類判定為負(fù)類。

對(duì)于識(shí)別模型，使用正確率和誤檢率作為衡量指標(biāo)，正確率是正確識(shí)別的圖片數(shù)占所有圖片總數(shù)的比例，誤檢率代表將一張正常圖像識(shí)別錯(cuò)誤的概率。

精度的計(jì)算是基于對(duì)整個(gè)驗(yàn)證集的預(yù)測(cè)統(tǒng)計(jì)量的準(zhǔn)確性。為了精確計(jì)算，一個(gè)預(yù)測(cè)只有在預(yù)測(cè)字符和真值完全匹配時(shí)才被計(jì)算為正，準(zhǔn)確率指標(biāo)提供正確識(shí)別單詞的百分比信息。

推理時(shí)間：檢測(cè)模型的推理時(shí)間表示為檢測(cè)所花費(fèi)的時(shí)間和計(jì)算圖像中所有可見(jiàn)文本邊界框的時(shí)間。識(shí)別模型的推理時(shí)間表示為運(yùn)行識(shí)別模型識(shí)別每個(gè)檢測(cè)文本框所花費(fèi)的時(shí)間。使用單個(gè)GPU下檢測(cè)和識(shí)別串聯(lián)推理運(yùn)行時(shí)間作為系統(tǒng)最終的推理時(shí)間，單位為秒(s)。

4 實(shí)驗(yàn)結(jié)果及分析

在文本檢測(cè)階段使用1 826張圖片作為訓(xùn)練集，剩余200張作為測(cè)試集。在字符識(shí)別階段將擴(kuò)充后的數(shù)據(jù)集劃分為訓(xùn)練集和測(cè)試集，分別為21 549張圖片和2 400張圖片。方向分類器同樣使用擴(kuò)充后的訓(xùn)練集和測(cè)試集。

本文的算法基于paddlepaddle框架，環(huán)境：Window 10(64bit)Intel(R)Core(TM)i7-5960xmCPU@3.00GHz,NVIDIA GeTorce GTX 1080 Ti GPU。

同時(shí)，在云端完成識(shí)別推理之后，用戶不需要再去工業(yè)現(xiàn)場(chǎng)回收結(jié)果，可以直接在云端工作臺(tái)遠(yuǎn)程查看、統(tǒng)計(jì)并分析識(shí)別結(jié)果，如圖9所示，極大地提高了效率并簡(jiǎn)化了整個(gè)工業(yè)流程。

圖9 云端可視化識(shí)別結(jié)果界面

在該OCR系統(tǒng)中，文本檢測(cè)部分是推理過(guò)程中計(jì)算量最密集的部分同時(shí)也是最耗費(fèi)時(shí)間的部分?？紤]到實(shí)際的工業(yè)現(xiàn)場(chǎng)中的高實(shí)時(shí)性和易部署的需求，選取了DBNet作為檢測(cè)網(wǎng)絡(luò)，因?yàn)樗梢栽诜指钪袌?zhí)行二值化操作，自適應(yīng)設(shè)置二值化閾值，簡(jiǎn)化了后處理，使得它相較于其他檢測(cè)網(wǎng)絡(luò)更加高效。并且對(duì)比了不同backbone下DBNet的性能。backbone這個(gè)單詞原意指的是人的脊梁骨，后來(lái)引申為支柱，核心的意思。在神經(jīng)網(wǎng)絡(luò)中，尤其是計(jì)算機(jī)視覺(jué)(CV)領(lǐng)域，一般先對(duì)圖像進(jìn)行特征提取(常見(jiàn)的有vggnet，resnet，谷歌的inception)，這一部分是整個(gè)CV任務(wù)的根基，因?yàn)楹罄m(xù)的下游任務(wù)都是基于提取出來(lái)的圖像特征去做文章(比如分類，生成等等)。所以將這一部分網(wǎng)絡(luò)結(jié)構(gòu)稱為backbone。更換對(duì)比了backbone后最終選取了MobileNetV3作為文本檢測(cè)網(wǎng)絡(luò)的backbone，如表2所示，在保持較高檢測(cè)精度的情況下提升了模型的運(yùn)行速度同時(shí)使模型更加輕量，方便在終端部署。

表2 不同Backbone下檢測(cè)網(wǎng)絡(luò)性能參數(shù)

對(duì)于文本識(shí)別模型，因?yàn)槠溆?jì)算量相較于文本檢測(cè)要小很多，訓(xùn)練和推理的速度都很快，所以更關(guān)注它的正確率指標(biāo)。同樣也對(duì)比了不同backbone下識(shí)別模型的性能，在考慮了速度和準(zhǔn)確率之后選取了ResNet-34作為識(shí)別網(wǎng)絡(luò)的backbone，如表3所示。

表3 不同Backbone下識(shí)別網(wǎng)絡(luò)性能參數(shù)

此外，深度學(xué)習(xí)里面所謂的卷積運(yùn)算是將圖像矩陣中，從左到右，由上到下，取與卷積核同等大小的一部分，卷積核滑動(dòng)的同時(shí)，每一部分中的值與卷積核中的值對(duì)應(yīng)相乘后求和，最后的結(jié)果組成一個(gè)矩陣。滑動(dòng)卷積核時(shí)，我們會(huì)先從輸入的左上角開(kāi)始，每次往左滑動(dòng)一列或者往下滑動(dòng)一行逐一計(jì)算輸出，將每次滑動(dòng)的行數(shù)和列數(shù)稱為步長(zhǎng)。步長(zhǎng)的作用就是成倍縮小尺寸，比如步幅為2，輸出就是輸入的1/2；步幅為3，輸出就是輸入的1/3。以此類推。

本文中所使用的芯片圖像經(jīng)過(guò)檢測(cè)網(wǎng)絡(luò)之后會(huì)得到一個(gè)矩形的文本框切片，然后這個(gè)文本框切片作為輸入進(jìn)入到識(shí)別網(wǎng)絡(luò)。由于這個(gè)文本框的長(zhǎng)寬比相對(duì)較大也就是它的寬度本身就比較小，如果在識(shí)別網(wǎng)絡(luò)訓(xùn)練過(guò)程中對(duì)寬度方向不斷進(jìn)行下采樣壓縮，那么豎直方向的特征就很不清楚。因此，只對(duì)水平方向進(jìn)行下采樣。也就是說(shuō)，將所使用的骨干網(wǎng)ResNet-34的水平卷積步幅更改為2，垂直卷積步幅更改為1，盡可能保留寬度上的序列信息，以保留更豐富的文字信息。

經(jīng)過(guò)訓(xùn)練測(cè)試在測(cè)試集上的識(shí)別準(zhǔn)確率由0.986提高到0.987，識(shí)別精度提高了0.001。

最后為了檢驗(yàn)該OCR系統(tǒng)的性能，在測(cè)試集上對(duì)比了現(xiàn)有的幾種常見(jiàn)的OCR識(shí)別算法，如表4所示。

表4 幾種字符識(shí)別算法結(jié)果

由于圖片中待識(shí)別的字符區(qū)域占整張圖像的比例較小，并且是短文字行，所以一些基于回歸的目標(biāo)檢測(cè)算法如 Faster-RCNN和主流的識(shí)別算法如CRNN效果并不理想。端到端的識(shí)別算法雖然模型更小、速度更快，但并沒(méi)有針對(duì)顛倒的文本行做特定的處理，所以對(duì)顛倒的文本行雖然可以準(zhǔn)確檢測(cè)出字符區(qū)域卻無(wú)法準(zhǔn)確的識(shí)別。本OCR系統(tǒng)采用了DBNet文本檢測(cè)網(wǎng)絡(luò)和基于CNN模型的字符識(shí)別網(wǎng)絡(luò)，并針對(duì)顛倒的文本行專門加了方向分類器進(jìn)行角度判斷，在工業(yè)芯片字符的識(shí)別中實(shí)現(xiàn)了準(zhǔn)確率高達(dá)99%識(shí)別效果。綜上對(duì)比分析，本OCR系統(tǒng)在工業(yè)芯片字符識(shí)別中具有更高的性能。

表5 測(cè)試結(jié)果統(tǒng)計(jì)

5 結(jié)論

2) 通過(guò)數(shù)據(jù)增強(qiáng)、數(shù)據(jù)擴(kuò)充和網(wǎng)絡(luò)優(yōu)化，有效對(duì)背景進(jìn)行抑制，正確識(shí)別工業(yè)環(huán)境下光照不均勻、芯片臟污等復(fù)雜背景下的芯片字符圖像。

3) 所設(shè)計(jì)的OCR系統(tǒng)速度達(dá)到平均0.56 s/張，識(shí)別結(jié)果在云端遠(yuǎn)程查看，無(wú)需人工現(xiàn)場(chǎng)回收結(jié)果，有效地節(jié)省了人力、提高了效率，對(duì)實(shí)現(xiàn)工業(yè)智能化檢測(cè)具有重要意義。