□　文/陶艷

攝像機(jī)圖像處理技術(shù)原理及應(yīng)用

□文/陶艷

隨著視頻技術(shù)的飛速發(fā)展，視頻監(jiān)控從早期的模擬時(shí)代步入了數(shù)字高清時(shí)代，清晰、真實(shí)的高質(zhì)量圖像效果的重要性不言而喻。作為視頻監(jiān)控的“眼睛”，監(jiān)控?cái)z像機(jī)用圖像傳感器（sensor）將自然界中的光信號(hào)先轉(zhuǎn)換成數(shù)字信號(hào)，并在芯片上對(duì)采集到的原始數(shù)字信號(hào)做一系列圖像處理，再通過(guò)圖像編碼、傳輸、解碼最終給用戶顯示出來(lái)。其中對(duì)sensor輸出的原始信號(hào)進(jìn)行處理獲得真實(shí)、清晰的圖像過(guò)程一般稱作圖像處理技術(shù)（ISP）。監(jiān)控?cái)z像機(jī)流程如下圖1如示：

▲圖1 攝像機(jī)系統(tǒng)流程圖

對(duì)于安防監(jiān)控的核心價(jià)值來(lái)說(shuō)，圖像首先要能看得見(jiàn)，其次要能看得清，最后要看得舒服。圖像處理技術(shù)（ISP）在此過(guò)程中承擔(dān)著重要的角色。本文主要講述了圖像處理技術(shù)的通用流程和各模塊的應(yīng)用說(shuō)明，以及目前圖像處理技術(shù)面臨的挑戰(zhàn)和發(fā)展。

圖像處理技術(shù)原理概述

圖像傳感器（sensor）每個(gè)感光單元稱為一個(gè)像素，像素值的大小表示感應(yīng)到的光照強(qiáng)度大小，只有強(qiáng)度信息沒(méi)有顏色信息。為了表征顏色，每個(gè)像素前加一個(gè)顏色濾鏡（color filter）形成顏色濾鏡陣列（CFA），只允許單一顏色的光通過(guò)，圖2列舉了CMOS圖像傳感器的結(jié)構(gòu)示意圖。這樣就能不僅表征強(qiáng)度且能表征顏色了。目前我們用到的主流CMOS或CCD基本采用拜爾模式（bayer Pattern）。經(jīng)過(guò)這樣的圖像傳感器輸出的圖像呈現(xiàn)出馬賽克的形式，所以必須經(jīng)過(guò)圖像處理算法來(lái)得到接近我們?nèi)搜鄹泄俚膱D像。

▲圖2. CMOS的結(jié)構(gòu)說(shuō)明

從sensor獲取的bayer數(shù)據(jù)我們一般會(huì)經(jīng)過(guò)Rawdata域的處理、RGB域的處理、YUV余的處理，最終顯示，如圖3。

▲圖3 ISP系統(tǒng)圖

▲圖4 ISP流程圖說(shuō)明

其中，RAW域模塊一般包括黑電平（BLC）模塊、去壞點(diǎn)校正模塊（DPC）、raw域的2D降噪（2DNR）、綠通道校正模塊、數(shù)據(jù)統(tǒng)計(jì)以及白平衡模塊等；RGB域的處理主要包括：CFA插值模塊、CCM顏色校正模塊、gamma校正等；YUV域主要包括：RGB2YUV轉(zhuǎn)換、銳化、3D降噪、YUV444到Y(jié)UV422轉(zhuǎn)換等。具體流程如圖4所示：

從流程圖上可以看到，ISP的各模塊環(huán)環(huán)相扣，各自對(duì)圖像起著重要作用，影響著圖像的顏色、清晰度、對(duì)比度和動(dòng)態(tài)范圍，且有些模塊也會(huì)相互影響。比如黑電平不對(duì)，不僅影響著圖像的對(duì)比度，而且會(huì)造成白平衡不對(duì)。邊緣增強(qiáng)會(huì)增加圖像的銳度，但過(guò)強(qiáng)又會(huì)帶來(lái)噪聲。每個(gè)模塊要發(fā)揮自己最大的能力，同時(shí)又要減小對(duì)相關(guān)其他模塊的負(fù)面影響。

自動(dòng)曝光（AE）

顧名思義，自動(dòng)曝光就是由相機(jī)代替人的手動(dòng)操作，自動(dòng)對(duì)所拍攝物體進(jìn)行曝光，從而獲得具有一定亮度的圖像。這個(gè)過(guò)程最終要達(dá)到的目標(biāo)是使得曝光的圖像具有一個(gè)理想的視覺(jué)亮度。

圖像顯示的亮度(即電信號(hào)的強(qiáng)度)是與圖像傳感器接收到的光的總能量成正比的。雖然入射光的能量不變，但是被接收的光能量卻是可以由相機(jī)系統(tǒng)調(diào)節(jié)的。當(dāng)接收到的光能量增加時(shí)圖像亮度增加，當(dāng)其減小時(shí)圖像亮度也減小，當(dāng)其完全不被接收時(shí)圖像就幾乎一片漆黑了。因此，在自動(dòng)曝光過(guò)程中，相機(jī)通過(guò)自動(dòng)調(diào)節(jié)光的進(jìn)入的能量大小(光圈大小)、光到達(dá)的時(shí)間長(zhǎng)度(曝光時(shí)間)以及其它相關(guān)參數(shù)（增益），保證圖像傳感器所接收到的光的能量處于一個(gè)合適的水平，通過(guò)轉(zhuǎn)換得到具有一定強(qiáng)度的電信號(hào)。

通過(guò)調(diào)節(jié)光圈和曝光時(shí)間就能調(diào)節(jié)攝像機(jī)接收到的光能量大小。通過(guò)調(diào)節(jié)增益對(duì)所得到的信號(hào)進(jìn)行放大。三者綜合作用改變最終圖像的亮度。光圈越大，亮度越高，但同時(shí)景深會(huì)受影響。增益一定時(shí)，曝光時(shí)間越長(zhǎng)，亮度越高。增益加大能提高亮度，但同時(shí)可能會(huì)帶來(lái)噪聲。

▲圖5 曝光不同的差異

▲圖6 增益帶來(lái)噪聲增大

▲圖7 不同色溫的影響

自動(dòng)白平衡（AWB）

自然界的光源是有色溫的，人眼和大腦對(duì)色溫有一定的生理和心理自適應(yīng)性，所以看到的顏色受色溫偏移的影響較小。但是攝像機(jī)的sensor沒(méi)有這種能力，如果不經(jīng)過(guò)白平衡處理，會(huì)和人眼看到的顏色有較大的偏差。在圖像處理中，只有作準(zhǔn)了白平衡，其他顏色才能作準(zhǔn)。白平衡算法一般有Grey World、Max white path、Grey-Edge等方法。

壞點(diǎn)校正

傳感器由于生產(chǎn)工藝的限制，在出廠前可能會(huì)有一些壞的像素點(diǎn)，在成像時(shí)會(huì)留下離散的、比較突兀(過(guò)暗或者過(guò)亮)的像素點(diǎn)。在ISP模塊里需對(duì)其進(jìn)行壞點(diǎn)校正。壞點(diǎn)校正分為靜態(tài)去壞點(diǎn)和動(dòng)態(tài)去壞點(diǎn)。靜態(tài)去壞點(diǎn)主要采用LUT查找表的方式，需要根據(jù)不同sensor在無(wú)光環(huán)境下檢測(cè)缺陷點(diǎn)的具體位置，然后用查找表的方法來(lái)實(shí)現(xiàn)，實(shí)現(xiàn)起來(lái)相對(duì)麻煩。所以通用的做法是采用動(dòng)態(tài)檢測(cè)的方法。簡(jiǎn)單來(lái)說(shuō)就是將當(dāng)前像素與周圍若干個(gè)像素點(diǎn)進(jìn)行灰度值的比較，如果該像素點(diǎn)的灰度值比周圍的像素大或者小很多，認(rèn)為是壞點(diǎn)，那么就用周圍和其像素值灰度值接近的值來(lái)代替。進(jìn)行校正時(shí)，在消除壞點(diǎn)的同時(shí)，也會(huì)在一定程度上對(duì)圖像有模糊作用降低清晰度。

黑電平校正模塊

理論上來(lái)說(shuō)，將鏡頭光圈關(guān)死，sensor的輸出應(yīng)該為0，但由于暗電流的影響，sensor實(shí)際輸出不為0，所以我們需要將其減掉一個(gè)值校正為0，這個(gè)值就是黑電平。黑電平是否減對(duì)，對(duì)白平衡模塊很重要，同時(shí)也影響著圖像的對(duì)比度。

▲圖8 黑電平對(duì)圖像的影響

raw域降噪

在信號(hào)采集過(guò)程中，由于暗電流、溫度、硬件的影響，sensor本身會(huì)帶著噪聲輸出，ISP各部分的處理也可能帶來(lái)噪聲。噪聲會(huì)讓人感覺(jué)圖像模糊不清楚，干擾物體的輪廓，對(duì)后續(xù)圖像壓縮、編碼以及圖像信息的識(shí)別都帶來(lái)干擾。降噪主要思想是將信號(hào)通過(guò)低通濾波器，將高頻成分濾掉。Raw域降噪是利用幀內(nèi)相鄰像素進(jìn)行濾波處理。簡(jiǎn)單的raw域降噪是對(duì)每個(gè)點(diǎn)進(jìn)行相鄰像素的加權(quán)平均，復(fù)雜一些會(huì)提前檢測(cè)該點(diǎn)是否為噪點(diǎn)，是噪點(diǎn)就會(huì)取平均，不是噪點(diǎn)就會(huì)原樣輸出，再?gòu)?fù)雜一些的會(huì)考慮該點(diǎn)為噪點(diǎn)的概率，從而計(jì)算不同的加權(quán)權(quán)重等。

插值模塊

由于sensor經(jīng)過(guò)CFA后輸出的是每一像素點(diǎn)只是R、G、B一種顏色分量的馬賽克圖像，必須補(bǔ)全每一像素點(diǎn)遺失的顏色信息，這樣才能得到一幅全彩影像。利用每一像素及其鄰近像素已知的顏色信息做數(shù)學(xué)運(yùn)算來(lái)估測(cè)遺失顏色信息過(guò)程及方法即為CFA插值，也稱color interpolation或demosaicing，如圖9所示。常見(jiàn)的插值算法包括：雙線性插值、最近鄰插值、色比恒定插值、色差恒定插值、邊緣導(dǎo)向插值、Hamilton插值等。插值的好壞直接反映至重建全彩影像中，進(jìn)而影響圖像的后續(xù)處理及最終效果。插值主要對(duì)圖像的清晰度和圖像的邊緣細(xì)節(jié)有很大的影響。同時(shí)由于顏色采樣導(dǎo)致插值算法在某些地方很容易計(jì)算錯(cuò)誤會(huì)導(dǎo)致偽色（假色、zipper效應(yīng)等），有時(shí)也會(huì)引入噪聲。

▲圖9 插值模塊示意圖

▲圖10 插值模塊對(duì)圖像的影響

▲圖11 插值模塊帶來(lái)的假色

顏色校正

由于人眼的三色感應(yīng)系統(tǒng)對(duì)光譜的響應(yīng)情況和sensor的光譜響應(yīng)有較大的差異，攝像機(jī)經(jīng)過(guò)插值模塊后必須進(jìn)行顏色校正。目前一般的做法是在幾個(gè)不同色溫的標(biāo)準(zhǔn)光源下對(duì)著24色卡進(jìn)行標(biāo)定，生成不同色溫下相應(yīng)的3×3的顏色矩陣，其他中間色溫可以通過(guò)這幾個(gè)標(biāo)準(zhǔn)色溫的顏色矩陣插值得到。

▲圖12 顏色校正模塊對(duì)圖像的影響

Gamma校正

Gamma校正最初是用來(lái)校正CRT顯示器電路的非線性響應(yīng)的。攝像機(jī)系統(tǒng)中使用Gamma校正來(lái)使相機(jī)的線性采集適合人眼的生理特性。Gamma的調(diào)整影響圖像的對(duì)比度、亮度、顏色。

▲圖13 Gamma校正對(duì)圖像的影響

邊緣增強(qiáng)

該模塊增強(qiáng)圖像邊緣部分細(xì)節(jié)，它主要是一種補(bǔ)償輪廓、突出邊緣信息以使圖像更為清晰的處理方法。它的目標(biāo)實(shí)質(zhì)上是要增強(qiáng)圖像中的高頻成分。它與降噪濾波是一個(gè)相對(duì)的處理過(guò)程。若圖像未做邊緣增強(qiáng)時(shí)，人眼看上去像邊緣部分不夠銳利，但是同時(shí)該模塊如果做的太強(qiáng)會(huì)對(duì)整體圖像引入新的噪聲，如圖14所示：

▲圖14 邊緣增強(qiáng)對(duì)圖像效果的影響

圖像處理技術(shù)的挑戰(zhàn)

隨著近年來(lái)人們對(duì)安防領(lǐng)域的重視和安防產(chǎn)品的普及，安防監(jiān)控的圖像質(zhì)量也得到了很快的發(fā)展，同時(shí)客戶對(duì)圖像質(zhì)量也提出越來(lái)越高的要求，主要體現(xiàn)在低照度和寬動(dòng)態(tài)兩方面。低照度和寬動(dòng)態(tài)技術(shù)的發(fā)展正逐步的實(shí)現(xiàn)攝像機(jī)看得見(jiàn)、看得清、看得舒服的目標(biāo)。

首先，在很多場(chǎng)景，如夜深人靜或是路燈昏暗，或是在鄉(xiāng)村監(jiān)控項(xiàng)目中，由于自然光光照不足，傳統(tǒng)攝像機(jī)有些會(huì)轉(zhuǎn)黑白，有些則通過(guò)加大增益提高亮度，這些都會(huì)帶來(lái)一些負(fù)面影響如顏色信息丟失或是噪聲增大，對(duì)圖像質(zhì)量有較大影響。圖像處理技術(shù)面臨著如何在提高亮度保證圖像細(xì)節(jié)信息的同時(shí)又能減少噪聲，此時(shí)就需要使用3D降噪技術(shù)。

二維降噪為只考慮單幀圖像的空間信息，3D降噪為視頻流信息，增加了時(shí)域上的信息。通常的噪聲為隨機(jī)噪聲，二維空間上的特性為孤立的點(diǎn)，時(shí)域上的特性為閃爍的點(diǎn)，即并非每一幀都存在，根據(jù)該時(shí)域特性，針對(duì)視頻幀序列，進(jìn)行運(yùn)動(dòng)估計(jì)，運(yùn)動(dòng)區(qū)域去噪強(qiáng)度弱，靜止區(qū)域噪聲抑制強(qiáng)度大。

▲圖15 3D降噪對(duì)圖像效果的影響

其次，因?yàn)閟ensor的動(dòng)態(tài)范圍是有限的，而實(shí)際場(chǎng)景中的動(dòng)態(tài)范圍遠(yuǎn)大于sensor的動(dòng)態(tài)范圍，所以當(dāng)監(jiān)控?cái)z像機(jī)安裝在道路監(jiān)控、大廳出入口、銀行柜臺(tái)等場(chǎng)景下，如果是傳統(tǒng)攝像機(jī)就有由于動(dòng)態(tài)范圍不足導(dǎo)致亮處過(guò)曝或是暗處過(guò)暗的問(wèn)題，此時(shí)攝像機(jī)中的寬動(dòng)態(tài)技術(shù)顯得尤為重要了。

目前主流的寬動(dòng)態(tài)技術(shù)以多次曝光合成為主。以2次曝光為例，Sensor利用長(zhǎng)曝光獲得暗處的信息，短曝光獲得亮處的信息，然后將2次曝光信息合成輸出。ISP收到這個(gè)數(shù)據(jù)后項(xiàng)進(jìn)行寬動(dòng)態(tài)數(shù)據(jù)解壓縮，將sensor輸出的壓縮數(shù)據(jù)解壓縮為原始的線性數(shù)據(jù)，然后經(jīng)過(guò)動(dòng)態(tài)范圍壓縮模塊，將原始的線性數(shù)據(jù)通過(guò)映射曲線，映射到12bit范圍內(nèi)，并獲得對(duì)應(yīng)的壓縮系數(shù)。最后經(jīng)過(guò)灰度重映射模塊，數(shù)據(jù)通過(guò)壓縮系數(shù)映射到最終的12bit范圍內(nèi)。這樣獲得的圖像能同時(shí)看到亮處細(xì)節(jié)和暗處細(xì)節(jié)，得到比較好的動(dòng)態(tài)范圍和對(duì)比度。

▲圖16 寬動(dòng)態(tài)對(duì)圖像效果的影響

結(jié)語(yǔ)

在監(jiān)控?cái)z像機(jī)的發(fā)展歷程中，圖像處理技術(shù)發(fā)揮著舉足輕重的作用，每一次圖像效果的提升，與圖像處理各模塊的算法密切相關(guān)，從而推動(dòng)了視頻監(jiān)控的發(fā)展。未來(lái)隨著傳感器的發(fā)展和圖像處理算法的不斷優(yōu)化和完善，特別是3D降噪和寬動(dòng)態(tài)算法的優(yōu)化，視頻監(jiān)控將為我們提供更可見(jiàn)、更清晰的圖像效果，為數(shù)據(jù)分析提供優(yōu)質(zhì)的視頻源。

作者單位：浙江大華技術(shù)股份有限公司