王星琪，楊波

（上海理工大學(xué) 光電信息與計算機(jī)工程學(xué)院，上海 200093）

引言

現(xiàn)如今，患有消化道疾病的人數(shù)在逐年增長。據(jù)統(tǒng)計，在中國，上下消化道疾病發(fā)病率約為60%，嚴(yán)重影響人類健康。膠囊內(nèi)窺鏡是一種消化道檢測器件，在被患者吞服后會隨著消化道的蠕動而緩慢移動，并在此過程中不斷拍攝圖片或視頻記錄消化系統(tǒng)內(nèi)的情況。醫(yī)生通過分析實時傳輸?shù)囊曨l或者儲存的照片，以此診斷患者的情況。與傳統(tǒng)胃鏡和腸鏡相比，膠囊內(nèi)窺鏡體積小，檢測時帶給患者的疼痛小，無交叉感染風(fēng)險，在醫(yī)療領(lǐng)域備受關(guān)注。

2001 年，以色列Given Imaging 公司上市了第一款M2A 膠囊內(nèi)窺鏡產(chǎn)品[1]。此后，日本奧林巴斯公司推出Endo Capsule 膠囊內(nèi)窺鏡[2]并使用了電荷耦合元件提高靈敏度。韓國Intro Medic公司的產(chǎn)品手冊上介紹MiroCam 膠囊內(nèi)窺鏡系統(tǒng)以3 幀/s 的速度捕捉圖像并工作超過11 h。國內(nèi)產(chǎn)品有金山公司的OMOM 膠囊內(nèi)窺鏡、安翰科技的磁控膠囊胃鏡、資福醫(yī)療的大圣膠囊內(nèi)鏡等[3]，但存在圖像清晰度不高、拍攝畫面較小、受噪聲影響大等問題。

對于一個成像系統(tǒng)，提高光學(xué)鏡頭的性能可以明顯改善成像質(zhì)量，但在一定的限制條件下則很難達(dá)到令人滿意的結(jié)果。例如膠囊內(nèi)窺鏡系統(tǒng)有限的空間尺寸使得光學(xué)鏡頭設(shè)計自由度較小，難以同時滿足多個應(yīng)用需求?；谏疃葘W(xué)習(xí)的圖像處理算法迅速發(fā)展，使得完成成像過程后再次改善像質(zhì)變?yōu)榭赡?，從而逐漸成為一種提升成像系統(tǒng)性能的補(bǔ)充方案。

針對膠囊內(nèi)窺鏡系統(tǒng)軟硬件相結(jié)合的特點(diǎn)，本文探討了一種綜合光學(xué)系統(tǒng)優(yōu)化與圖像處理提升像素的方案。首先使用光學(xué)設(shè)計軟件設(shè)計了一款超小型大視場膠囊內(nèi)窺鏡頭，引入Q-type 非球面校正像差[4-6]；然后通過分析圖像傳感器的物理成像過程，得到其各個階段產(chǎn)生噪聲的特性[7]，使用得到的噪聲模型生成訓(xùn)練數(shù)據(jù)并在數(shù)據(jù)集上訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型，在臨床圖像上驗證網(wǎng)絡(luò)模型的效果。

1 膠囊內(nèi)窺鏡成像鏡頭光學(xué)設(shè)計

1.1 Q-type 非球面

美國QED 公司的Forbes 等提出了一種新的非球面數(shù)學(xué)描述方式[8]，包括Qcon和Qbfs，統(tǒng)稱為Q-type 非球面。這種描述方式使用了一個正交基底替換冪級數(shù)非球面中的附加多項式。當(dāng)基底正交時，各項系數(shù)的平方和與正交分解中相關(guān)參數(shù)疊加的均方值是相等的，這使得系數(shù)能夠直接體現(xiàn)出非球面的面形相對于基準(zhǔn)曲線凹陷誤差的均方值大小，從而加強(qiáng)了對面型形狀的約束控制能力。其中Qcon多項式一般用來表示非球面與其最接近的二次曲面之間的偏離程度，而Qbfs多項式用來表示非球面與最佳擬合球面之間的偏離程度。本文使用Qcon非球面，其矢高表達(dá)式為：

式中：ccon為所表示的非球面最接近的球面的曲率半徑；u為r/rmax；是一組以am為系數(shù)的m階正交化Jacobi 多項式，am為表征偏離基準(zhǔn)曲面的系數(shù)。

與傳統(tǒng)的冪級數(shù)多項式相比，Q-type 多項式的優(yōu)勢主要有：

(1)其基底相互正交，在設(shè)計優(yōu)化過程中各系數(shù)相互獨(dú)立，互不影響；

(2)可供使用的非球面系數(shù)更多，且各系數(shù)有更大的量級，有利于提高設(shè)計效率和加工精度[9]。

1.2 優(yōu)化設(shè)計及結(jié)果分析

目前的膠囊內(nèi)窺鏡產(chǎn)品尺寸為26 mm×11 mm，其內(nèi)部結(jié)構(gòu)還包含照明模塊、電池、無線傳輸模塊等，因此留給透鏡和傳感器的空間十分有限。本文選擇了一款使用COB 封裝工藝的傳感器模組，其有效像面尺寸為2.4 mm×1.8 mm，單個像元尺寸為3.6 μm×3.6 μm，對應(yīng)光學(xué)系統(tǒng)的分辨率為1/(2×3.6 μm)=138 lp/mm。

由于膠囊內(nèi)窺鏡在工作時拍攝范圍較難控制，因此需要大視場來獲取足夠多的視覺信息。在廣角鏡頭中，第一片透鏡通常會有較大的直徑以接受來自大角度的光線。因此，本次設(shè)計視場設(shè)置為160°并限制鏡片尺寸，使其結(jié)構(gòu)總長小于5 mm 且鏡片的最大直徑不超過3 mm。具體的設(shè)計參數(shù)如表1 所示。

表1 光學(xué)系統(tǒng)的設(shè)計參數(shù)Tab.1 Design parameters of the optical system

通過查找專利數(shù)據(jù)庫和論文[10-12]選擇一款美國的專利鏡頭[12]作為初始結(jié)構(gòu)。在優(yōu)化過程中逐次添加Qcon非球面并采用低色散和高色散的兩種光學(xué)塑料來補(bǔ)償色差。最終將第一、二、四片鏡片替換為APL5014CL材料；第三片鏡片為OKP-A2 材料。這兩種材料都廣泛應(yīng)用于成像鏡頭，使用注塑工藝批量生產(chǎn)，有利于降低制造成本。通常非球面系數(shù)的項數(shù)越多，表面曲率越大，其加工越難，所有非球面的高次項數(shù)控制不超過4 項。同時非球面過于彎曲或者出現(xiàn)拐點(diǎn)會導(dǎo)致加工難度增大，因此在優(yōu)化時可以通過控制光線矢高來避免。

最終系統(tǒng)結(jié)構(gòu)如圖1 所示，4 片透鏡均為塑料Qcon非球面鏡片，整個系統(tǒng)總長為4.3 mm，第一片鏡片口徑最大為2.4 mm。其全視場角為160°，工作距離為15 mm，系統(tǒng)的有效焦距為0.9 mm。其調(diào)制傳遞函數(shù)（modulation transfer function，MTF）如圖2 所示，在奈奎斯特空間截止頻率138 lp/mm 處MTF 值高于0.3，在整個視場都具有比較好的對比度和分辨率，滿足清晰成像要求[13]。

圖1 光學(xué)系統(tǒng)結(jié)構(gòu)圖Fig.1 Optical system structure diagram

圖2 光學(xué)系統(tǒng)的MTF圖Fig.2 MTF diagram of the optical system

1.3 公差分析

一個光學(xué)系統(tǒng)不能單獨(dú)以成像質(zhì)量來進(jìn)行評價，還需要對其進(jìn)行公差分析。通過調(diào)制傳遞函數(shù)受分配公差的影響程度驗證系統(tǒng)的加工可行性。在CODEV 軟件中，給出如表2 所示的公差分配參數(shù)?？紤]到整個系統(tǒng)尺寸較小，所給的公差適用于微小型鏡頭，并且目前這類小口徑的鏡片是可以加工制造的。在0°、40°、80°、120°、160°等5 個視場下，以奈奎斯特頻率為100 lp/mm處的平均MTF 值作為評價標(biāo)準(zhǔn)，結(jié)果如圖3 所示，在MTF 值大于0.3 時，所有視場的積累概率均能達(dá)到80%，基本達(dá)到設(shè)計要求。

圖3 公差性能Fig.3 Tolerance performance

表2 公差參數(shù)表Tab.2 Table of the tolerance parameters

2 膠囊內(nèi)窺鏡系統(tǒng)降噪算法

在完成膠囊內(nèi)窺鏡光學(xué)系統(tǒng)的優(yōu)化之后，我們通過分析和處理傳感器產(chǎn)生的圖像噪聲來進(jìn)一步改善像質(zhì)。

2.1 噪聲模型的基本原理

在大多數(shù)情況下可以用異方差高斯模型來近似表示圖像噪聲，但是在環(huán)境光照很弱時會產(chǎn)生誤差，往往導(dǎo)致去噪效果不理想，因此需要改變噪聲模型。一般地，一幅數(shù)字圖像D[7,14]可以用線性模型表示為：

式中：D為數(shù)字圖像；K為系統(tǒng)整體增益（包括模擬增益和數(shù)字增益）；I為接收到的光電子數(shù)；N為噪聲。而噪聲N在傳感器不同的工作階段有不同的特性，如圖4 所示。

圖4 各階段引入的噪聲Fig.4 Noise introduced at each stage

第一階段：在曝光過程中，入射光以光子的形式撞擊到光傳感器的成像區(qū)域，因光電效應(yīng)產(chǎn)生與入射光強(qiáng)度成正比的光電子。這部分光電子存在著不確定性，其數(shù)量服從泊松分布：

式中：Np為光子脈沖噪聲；P為泊松分布。這種噪聲取決于入射光強(qiáng)，并且普遍存在于傳感器中。同時這一階段還引入了一些其他的噪聲源，如光響應(yīng)不均勻和暗電流噪聲。

第二階段：在成像區(qū)域每個位置都收集電子后，它們通常被集成、放大，并在曝光時間結(jié)束時作為可測量的電荷或電壓輸出。這一階段的噪聲取決于傳感器所采用的電路設(shè)計和處理技術(shù)。因此稱為像素電路噪聲，包括熱噪聲、復(fù)位噪聲、源跟隨噪聲和帶型噪聲。為了簡化分析，將暗電流噪聲Nd、熱噪聲Nt和源跟隨噪聲Ns等多個噪聲源合一，稱為讀噪聲Nread，表達(dá)式為：

受噪聲的閃爍和隨機(jī)電信號成分，或者由暗電流引起的暗峰的影響，讀噪聲具有長尾性質(zhì)。由于膠囊內(nèi)窺鏡工作時照明有限，此時不可忽略的直流噪聲成分使得噪聲分布不再以0為中心。因此用Tukey lambda 分布族來描述：

式中：λ表示形狀參數(shù)；μc表示位置參數(shù)；σTL表示尺度參數(shù)。

引入行噪聲Nr來解釋帶型噪聲Nb。雖然Nb可能以水平或垂直線的形式出現(xiàn)在圖像中，但只考慮模型中的行方向分量(水平條紋)，因為在測量噪聲數(shù)據(jù)時，列方向分量通?？梢院雎圆挥?。用正態(tài)分布來描述:

第三階段：為了產(chǎn)生可以存儲在數(shù)字存儲介質(zhì)中的圖像，在最后階段讀出模擬電壓信號，采用模數(shù)轉(zhuǎn)換器量化成離散碼，這一過程會引入量化噪聲。該噪聲是模數(shù)轉(zhuǎn)換器的模擬輸入電壓與輸出值之間的舍入誤差，用均勻分布來描述：

因此，噪聲模型N可以分解成4 個部分:

2.2 降噪處理的過程及結(jié)果

在兩種特定條件下獲取所需的圖像。第一種是明場圖像，是在傳感器均勻照明時拍攝的圖像，表現(xiàn)了光子散粒噪聲的性質(zhì)。具體操作是：在光照均勻的環(huán)境下拍一張白紙，鏡頭安裝在靠近紙的位置。第二種是暗場圖像，是在無光環(huán)境下以最短曝光時間拍攝的圖像，描述了與光照無關(guān)的噪聲特性。具體操作是：在暗室里將鏡頭前端擋住，并以最短曝光時間拍攝。

由于拍攝的圖像格式是JPEG，是經(jīng)過圖像信號(image signal processing，ISP)處理過的，這一過程會引入其他的干擾。因此使用Unprocessing模型[15]先將JPEG 格式還原成RAW 格式，隨后再基于成像原理提取噪聲模型。第一步將拍攝到的不同曝光時間的明場圖像用光子傳遞法[16]得到參數(shù)K；第二步提取暗場圖像每一行的均值，通過最大似然估計得到行噪聲的參數(shù)σr；第三步對去除了行噪聲的暗場圖像，使用概率圖相關(guān)系數(shù)法[17]得到參數(shù)λ，使用概率圖法[18]估計參數(shù)σTL；第四步使用所得參數(shù)帶入式(8)中構(gòu)建噪聲模型。實驗測得的參數(shù)如表3 所示。

表3 噪聲模型參數(shù)表Tab.3 Noise model parameter table

運(yùn)用噪聲模型生成訓(xùn)練數(shù)據(jù)加入到數(shù)據(jù)集中，數(shù)據(jù)集包含800 幅圖像并用于訓(xùn)練U-net 神經(jīng)網(wǎng)絡(luò)模型，其結(jié)構(gòu)如圖5 所示。使用L1 損失函數(shù)和Adam 優(yōu)化器，模型迭代400 次，批量大小為4，學(xué)習(xí)率最初設(shè)置為10-4，在經(jīng)過200 次后降為10-5。

圖5 U-net 網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.5 The structure of the U-net

通常使用峰值信噪比（peak signal-to-noise radio，PSNR）來作為評價指標(biāo)，其值越大代表失真越少。給定大小為m×n的干凈圖像I1和噪聲圖像I2，均方誤差(MSE)定義為：

則PSNR 定義為：

式中，I1,max為圖片中可能的最大像素值。本文訓(xùn)練的網(wǎng)絡(luò)PSNR 值為34.37。在圖6中給出了3 組真實消化道圖像處理前后的對比圖。從圖中可以看到圖像的清晰度有明顯地提高。

圖6 原圖及處理結(jié)果圖Fig.6 Original image and processed image

3 結(jié)論

本文就提高膠囊內(nèi)窺系統(tǒng)的成像質(zhì)量問題，探討一種結(jié)合光學(xué)鏡頭優(yōu)化與圖像處理的綜合解決方案。一方面使用CODEV 軟件重新優(yōu)化設(shè)計鏡頭，通過引入Q-type 非球面校正像差。最終得到一款視場角160°，相對孔徑為F#3.0，結(jié)構(gòu)總長為4.3 mm 的膠囊內(nèi)窺鏡頭，全視場MTF在140 lp/mm 處均大于0.3，實現(xiàn)了大視場，高分辨率與小型化。另一方面基于傳感器的工作特性得到噪聲模型，使用其生成訓(xùn)練數(shù)據(jù)集訓(xùn)練神經(jīng)網(wǎng)絡(luò)。經(jīng)真實樣本測試，結(jié)果表明該網(wǎng)絡(luò)模型能夠有效地提高圖像清晰度。本文提出的方案可以全面地改善像質(zhì)，提高膠囊內(nèi)窺系統(tǒng)的整體性能，為相關(guān)的醫(yī)學(xué)影像研究提供新的思路。