郭智慧 魏巍

（長春理工大學(xué)計(jì)算機(jī)科學(xué)技術(shù)學(xué)院 吉林省長春市 130022）

圖像傳感器是將光學(xué)圖像信息轉(zhuǎn)換成電信號的器件[1]。固態(tài)圖像傳感器主要有兩種：電荷耦合器件(Charge Couple Device, CCD)和互補(bǔ)金屬氧化物半導(dǎo)體(Complementary Metal Oxide Semiconductor, CMOS)。

自20 世紀(jì)六、七十年代誕生以來，CMOS 圖像傳感器的發(fā)展遠(yuǎn)遜于CCD 圖像傳感器。近年來，隨著CMOS 圖像傳感器設(shè)計(jì)技術(shù)和半導(dǎo)體制造技術(shù)的不斷發(fā)展，CMOS 圖像傳感器(CMOS Image Sensor, CIS)因其制造工藝所取得的成就，低成本、低電壓、低功耗，且集光敏器件、模擬讀出電路、數(shù)字控制系統(tǒng)、智能信號處理電路于一體的優(yōu)勢顯現(xiàn)，使得CMOS 圖像傳感器廣泛應(yīng)用于數(shù)碼相機(jī)、安防監(jiān)控、汽車倒車影像、醫(yī)療影像等領(lǐng)域。但由于結(jié)構(gòu)上的差異，CIS 的暗電流始終高于同尺寸的CCD[2]。暗電流限制了CIS 的性能如動(dòng)態(tài)范圍、靈敏度，引入固定模式噪聲(FPN, fixed pattern noise)和瞬時(shí)噪聲。因此，在在圖像處理階段，采用暗電平校正算法對其進(jìn)行校正是很有必要的。

1 CMOS圖像傳感器芯片結(jié)構(gòu)

CMOS 圖像傳感器芯片是由像素陣列(Pixel Array)、可編程放大器(PGA)、圖像信號處理(ISP)、模數(shù)轉(zhuǎn)換(ADC)、時(shí)序控制(Timing Control)、行解碼(Row Decoder)和列解碼(Column Decoder)等模塊組成。如圖1 所示。

圖1： CMOS 圖像傳感器芯片架構(gòu)圖

像素陣列是CMOS 圖像傳感器的核心部分，作用是將光信號轉(zhuǎn)換為電信號，并且在行解碼和列解碼的驅(qū)動(dòng)下尋址相應(yīng)的像素單元。在時(shí)序的驅(qū)動(dòng)下，將像素中的信號依次進(jìn)行相關(guān)采樣，接著讀入到可編程放大器中。信號經(jīng)過可編程放大器放大后，進(jìn)入到模數(shù)轉(zhuǎn)換器中，將模擬信號轉(zhuǎn)換為數(shù)字信號。然后進(jìn)行相應(yīng)的圖像信號處理包括暗電平校正、自動(dòng)白平衡處理、顏色插值、顏色校正、噪點(diǎn)去除、圖像降噪、伽馬校正等。經(jīng)過處理后的圖像數(shù)據(jù)，最終由輸出接口進(jìn)行輸出到存儲(chǔ)設(shè)備進(jìn)行存儲(chǔ)或顯示設(shè)備中進(jìn)行顯示。根據(jù)應(yīng)用和設(shè)計(jì)的不同，CIS 輸出形式有：數(shù)字信號輸出、模擬信號（NTSC/PAL）輸出、兩者都可以輸出。

2 暗電流校正方法

2.1 暗電流產(chǎn)生原因

CMOS 圖像傳感器的一個(gè)重要特點(diǎn)是在像素陣列中采用了有源像素傳感器(Active Pixel Sensor, APS)。CIS的像素單元是采用基于PN 結(jié)的光電二極管，一個(gè)光電二極管作為一個(gè)像素，當(dāng)光子入射到半導(dǎo)體材料中，光子被吸收而激發(fā)產(chǎn)生電子空穴對，稱為光生載流子。在受到光照時(shí)，光電二極管加反偏電壓，可將光信號轉(zhuǎn)換成電信號。理想情況下，在沒有入射光的圖像傳感器應(yīng)該輸出為0，但實(shí)際上在不發(fā)生光電效應(yīng)時(shí)，二極管由于熱激發(fā)也會(huì)形成電子空穴對，產(chǎn)生電流即暗電流。這是由讀出電路及ADC 本身偏移量的存在導(dǎo)致的[2]。

綜上，暗電流是指器件在反向偏壓下，沒有入射光時(shí)產(chǎn)生于反向偏置的感光二極管和寄生結(jié)的漏電流。如圖2 中，即使采用PPD 4 晶體管像素結(jié)構(gòu)能有效降低暗電流，但是余下的暗電流仍然不可忽略，如光電二極管的體區(qū)和外圍區(qū)、光電二極管和氧化層界面、轉(zhuǎn)移晶體管的柵極電荷和浮置擴(kuò)散結(jié)點(diǎn)FD。鉗位光電二極管的體區(qū)和表面產(chǎn)生的暗電流是由重金屬和晶格缺陷等引起的。鉗位光電二極管的外圍區(qū)是指靠近其附近的淺槽隔離（STI）的側(cè)墻和邊緣區(qū)域，來自于該區(qū)域的暗電流是最主要來源。而來自于轉(zhuǎn)移晶體管的暗電流在此像素結(jié)構(gòu)可以得到很好的抑制[3]。來自浮置擴(kuò)散結(jié)點(diǎn)FD 的暗電流在單幀模式是比較大的，然而在正常工作模式是可以忽略的。

圖2： 4T 有源像素結(jié)構(gòu)

2.2 暗電流校正方法

在設(shè)計(jì)CIS 芯片時(shí)采用了很多方法來消除CIS 的暗電流，如：

（1）通過改善像素結(jié)構(gòu)和調(diào)整版圖設(shè)計(jì)來減少暗電流；

（2）通過采用列相關(guān)全差分采樣電路來消除暗電流；

（3）提高幀速率；

（4）通過遮黑虛假感光晶體管；

（5）通過零偏置電壓技術(shù)降低暗電流；

（6）差分放大校正暗電流等。

通過以上優(yōu)化像素結(jié)構(gòu)、完善工藝、版圖優(yōu)化等[4][5]方法可以很好的校正暗電流。但是暗電流會(huì)隨著溫度的增加而增大，通常認(rèn)為，暗電流與絕對溫度呈指數(shù)關(guān)系[7]：

式中，Ea為半導(dǎo)體的禁帶寬度；k 為波爾茲曼常數(shù)；T 為絕對溫度。且暗電流是隨著積分時(shí)間和傳感器增益等條件變化而變化的，由此暗電流不可能被完全消除。由殘余暗電流和工藝等原因?qū)е孪袼匦盘柕淖x出電路和ADC（analog to digital converter）不匹配從而引起了電壓/電平偏移，成為暗電平。該電平侵占了傳感器的動(dòng)態(tài)范圍，降低了圖像的質(zhì)量。

3 暗電平校正算法

3.1 暗電平校正算法概述

殘余的暗電流、由PGA(programmable gain amplifier)引起的電壓偏移和由ADC 引起的暗電平偏移會(huì)降低圖像的質(zhì)量。因此，在圖像處理階段采用暗電平校正算法進(jìn)行校正很有必要。

圖3 是簡化的CMOS 圖像傳感器結(jié)構(gòu)框圖。其中包括像素單元（pixel），相關(guān)雙采樣（CDS），可編程放大器（PGA），模數(shù)轉(zhuǎn)換（ADC）。

圖3： 簡化的CMOS 圖像傳感器結(jié)構(gòu)框圖

光信號入射到像素陣列，在像素單元內(nèi)轉(zhuǎn)換成電信號，然后經(jīng)CDS 電路采樣，采樣后再經(jīng)過PGA 放大器放大，最后經(jīng)過ADC 轉(zhuǎn)換成數(shù)字信號輸出。圖中ADC的輸出ADCout為：

ADCout=Data+Offset+Temp+FPN（2）

式（2）中Data 是由光信號激發(fā)而產(chǎn)生的電信號，是光學(xué)信息的真實(shí)反映；Offset 是由CDS、PGA 和ADC 引起的電平偏移量；Temp 是電路中瞬時(shí)噪聲總和；FPN 是由于半導(dǎo)體集成電路制造工藝偏差等原因?qū)е缕骷涠鸬墓潭Ｊ皆肼暋?/p>

暗電平校正即是要對讀出電路（CDS 和PGA）引起的電壓偏移和由ADC 引起的電平偏移進(jìn)行校正，以提高傳感器的圖像質(zhì)量。暗電平校正的通常做法是，先獲取遮黑像素（黑行）的信號，然后從正常的圖像信號中減去該信號，即為傳感器所獲取的真正的由光激發(fā)而產(chǎn)生的電信號，從而消除暗電平的影響。

3.2 典型的暗電平校正算法

模擬端的暗電平校正是在模擬域進(jìn)行校正即在ADC 之前進(jìn)行的校正。圖4 是模擬端暗電平校正的結(jié)構(gòu)框圖，其中平均值計(jì)算單元(Averaging Unit)、數(shù)字比較模塊(Digital Comparator)、加/減計(jì)數(shù)模塊(Up/Down Counter)、DAC(Digital to Analog Converter) 和 暗電平鉗位模塊(Black Level Clamp Circuit)共同組成了暗電平校正模塊[6]。參考電壓產(chǎn)生模塊(Reference Voltage Generator)為ADC 和DAC 模塊提供參考電壓。

圖4： 模擬端暗電平校正框圖

校正過程為：首先CDS 采樣像素陣列中黑行的像素值，經(jīng)過PGA 放大器放大。經(jīng)過放大后的黑行信號值經(jīng)過ADC 轉(zhuǎn)為數(shù)字信號。在平均值計(jì)算單元中計(jì)算求出黑行電平的平均值。將此平均值與設(shè)置的目標(biāo)值相減得到黑行暗電平值后再與設(shè)置的偏移電平值進(jìn)行比較。加減計(jì)數(shù)器根據(jù)比較結(jié)果輸出相應(yīng)的數(shù)字控制信號到DAC 中，將該數(shù)字信號轉(zhuǎn)換成模擬信號即暗電平后，供給暗電平鉗位電路模塊[6]。暗電平鉗位模塊將暗電平的值加到CDS采樣的圖像信號上，然后進(jìn)行校正暗電平。

數(shù)字端暗電平校正既是在信號經(jīng)過模數(shù)轉(zhuǎn)換之后在數(shù)字域進(jìn)行的校正。一個(gè)簡單有效的方法是設(shè)置閾值，依據(jù)此閾值進(jìn)行校正像素陣列中的暗電平，位于該閾值以下的數(shù)字信號值視為暗電平。因此，閾值電壓的選取尤為重要，其值太大會(huì)侵占圖像的動(dòng)態(tài)范圍，太小則在較黑暗的環(huán)境中圖像細(xì)節(jié)又不夠清晰。圖5 是簡化的數(shù)字端暗電平校正的結(jié)構(gòu)框圖，其中BLC(black level calibration)是暗電平校正模塊，接收經(jīng)過去除白點(diǎn)后的ADC 輸出的暗電平數(shù)據(jù)，然后從ADC 輸出的圖像信號中減去該值即可得到校正后的圖像信號。

圖5： 簡化的數(shù)字端暗電平校正框圖

以上BLC 模塊一般包括黑行均值計(jì)算模塊(Black line average)、目標(biāo)值設(shè)置模塊(Target black level)和暗電平調(diào)節(jié)模塊(Offset adjust)三部分如圖6 所示。

圖6： BLC 模塊

黑行均值計(jì)算模塊接收黑行像素單元的像素值，求出其平均值BLA。將其與暗電平目標(biāo)值TBL 相減后得到暗電平偏移量Offset。目標(biāo)值由目標(biāo)值設(shè)置模塊設(shè)置的一個(gè)較小的正的偏移量。之所以要設(shè)置一個(gè)目標(biāo)值，是為在暗光環(huán)境中能夠使得圖像細(xì)節(jié)更加清晰且能夠校正正的暗電平偏移的同時(shí)也能夠校正負(fù)的暗電平偏移。

由于暗電平是隨著外界的溫度、光照強(qiáng)度、積分時(shí)間和傳感器的增益等因素變化而變化的，因此在視頻圖像中要實(shí)時(shí)消除其影響，BLC 模塊就得不斷判斷這些因素的變化，并據(jù)此做出相應(yīng)調(diào)節(jié)。在時(shí)序的控制下，BLC 模塊接受來自黑行的信號，并計(jì)算出其平均值即黑行的平均電平。然后，在時(shí)序的驅(qū)動(dòng)下，從正常圖像信號中減去黑行的平均電平，即可得到校正后的圖像。

綜上，模擬端的校正是在ADC 之前進(jìn)行的校正，該方法的優(yōu)點(diǎn)是校正范圍較大，且通過這種滯回比較的方法可以較好抑制幀間或幀內(nèi)校正引起的閃爍噪聲。缺點(diǎn)是由ADC 引起的暗電平不能得到校正使得校正不準(zhǔn)確。數(shù)字端暗電平校正是在采集的信號轉(zhuǎn)換成數(shù)字信號后進(jìn)行的，其優(yōu)點(diǎn)是校正比較精確、不需要DAC，缺點(diǎn)是由于校正是在信號被放大之后進(jìn)行的，所以校正范圍較小，在某些情況下易于到達(dá)飽和，導(dǎo)致動(dòng)態(tài)范圍減小。

3.3 改進(jìn)的暗電平校正算法

本文提出改進(jìn)的暗電平校正算法，即數(shù)字和模擬相結(jié)合的校正方法，可以較好的避免以上的問題又不會(huì)使得電路面積增加太多。此方法先在模擬端進(jìn)行粗略的校正后，在數(shù)字域再進(jìn)行更加精確的校正。圖7 為模擬和數(shù)字相結(jié)合的暗電平校正框圖。暗電平校正模塊由平均值計(jì)算單元、數(shù)字比較模塊、加/減計(jì)數(shù)模塊、DAC 和暗電平鉗位模塊共同組成。其中加強(qiáng)了加/減計(jì)數(shù)模塊的功能，依據(jù)不同情況可以輸出不同的校正步長。如果暗電平較大且超出一定范圍，則首先進(jìn)行模擬校正稱為粗校正。粗校正完成之后，再在數(shù)字域進(jìn)行細(xì)校正。如果暗電平較小且低于某個(gè)范圍，就直接進(jìn)行細(xì)校正。

圖7： 模擬和數(shù)字相結(jié)合的校正方法

該校正方法通過微控制器設(shè)置目標(biāo)值、偏移電平值和校正步長。在計(jì)算出黑行的暗電平之后，與偏移電平值進(jìn)行比較，判斷暗電平是正值還是負(fù)值。如果為正值，加/減計(jì)數(shù)器就輸出一個(gè)正的大步長。反之，加/減計(jì)數(shù)器就輸出一個(gè)負(fù)的大步長。接著DAC 將該校正信號轉(zhuǎn)換為模擬信號。然后暗電平鉗位模塊將其負(fù)值加到PGA 之前的校正點(diǎn)與CDS 采樣的圖像信號進(jìn)行求和以校正暗電平。反復(fù)判斷校正之后，黑行暗電平值落入設(shè)置的偏移電平值范圍內(nèi)，暗電平鉗位模塊對校正的結(jié)果進(jìn)行累計(jì)輸出以完成一次校正。然后重新計(jì)算黑行的暗電平以進(jìn)行下一步的校正。

經(jīng)過幾輪往復(fù)的判斷校正之后，就實(shí)現(xiàn)了暗電平的快速精確地校正。但因?yàn)榘惦娖綍r(shí)刻受外界因 素影響，因此BLC 模塊就要時(shí)刻判斷這些變化進(jìn)行調(diào)節(jié)。

3.4 測試方案

采用兩種測試方法：隨機(jī)測試和典型測試。典型測試就是讀入指定參數(shù)和圖像數(shù)據(jù)，進(jìn)行計(jì)算、判斷和校正后，查看校正結(jié)果是否達(dá)到預(yù)期。通過多幅不同數(shù)據(jù)圖像，來判斷校正的正確性和準(zhǔn)確性。

隨機(jī)測試是隨機(jī)產(chǎn)生的參數(shù)，這些參數(shù)是根據(jù)電平隨增益和溫度變化的線性模型產(chǎn)生的。溫度每增加5℃，暗電平增加一倍，增益增大一倍暗電平增大一倍。使用這些參數(shù)和數(shù)據(jù)進(jìn)行校正后，利用自動(dòng)比較的方式將校正前后的圖像數(shù)據(jù)進(jìn)行比較，來判斷校正的準(zhǔn)確性。

利用該暗電平模型模擬校正后，如圖8 是溫度緩慢升至42℃的校正結(jié)果，可以看出相較于改進(jìn)算法的圖像，圖8(b)中的圖像模糊且亮度高，圖8(a)質(zhì)量好些。

圖8： 校正結(jié)果

4 總結(jié)

本文介紹了CMOS 圖像傳感器的構(gòu)成和工作原理，闡述了暗電流暗電平產(chǎn)生的原因。介紹分析了以往的暗電平校正方法，并在此基礎(chǔ)上提出了改進(jìn)的暗電平校正算法。該方法在模擬域中校正的范圍較大，隨后在數(shù)字域進(jìn)行校正，因此這種方法兼有校正范圍大、校正精度高的優(yōu)點(diǎn)，提高了圖像的質(zhì)量。