劉珈吟,金 鳳

(1. 武漢設計工程學院,湖北 武漢 430060;2. 國防科技大學信息通信學院,陜西 西安 710106)

1 引言

近年來,在圖像處理領域中多幀影視圖像的校正頗受關注,而常規(guī)灰色圖像因其過于匱乏的信息量[1],導致多幀影視圖像的研究與使用無法更深入。相對于灰色圖像而言,彩色圖像不僅具有更好的觀賞價值,而且在細節(jié)和內容方面也更具優(yōu)勢。因此使多幀影視圖像彩色化在多幀影視圖像扭曲校正方面具有重要意義[2,3]。

參考圖像到灰度圖像的色彩傳遞是圖像彩色化的重要環(huán)節(jié)。色彩傳遞分為全局傳遞和局部傳遞,相對于全局傳遞,局部色彩傳遞能夠更好地保持圖像的連貫性和區(qū)分性。為使多幀影視圖像彩色化效果更佳,本文采用局部色彩傳遞方法中的Levin算法對多幀影視圖像進行彩色化處理。

局部色彩傳遞方法雖然優(yōu)于全局傳遞,但是忽略了局部紋理特性,常常導致局部顏色混合、邊緣顏色越界等問題[4]。本文采用局部色傳遞的方法使多幀影視圖像彩色化后,用雙邊過濾方法對圖像進行優(yōu)化,進而更好地完成多幀影視圖像扭曲校正。采集圖像后,對圖像進行自適應結構元網(wǎng)格線交叉點坐標提取、Biharmonic樣條曲面插值,實現(xiàn)對局部色彩傳遞的多幀影視圖像的扭曲校正。

2 多幀影視圖像扭曲校正

2.1 多幀影視圖像色彩化

2.1.1 Levin算法

采用Levin算法實現(xiàn)多幀影視圖像的局部色彩傳遞[5],其理念為若圖像中像素的亮度值大致相同,那么像素的顏色值也大致相同。Levin利用這一基本原理創(chuàng)造了一種二次能量函數(shù),通過求解這個函數(shù)實現(xiàn)灰色圖像色彩化。這種方法以顏色線條理論為基礎,因而要求用戶必須提供初始顏色線條且此顏色是用戶要得到結果的顏色點。通過求取每一個像素和其相鄰像素的加權差、所有像素的平方和最小值進行顏色傳遞是Levin色彩傳遞的基本思想[6]。為了確保圖像彩色化最佳,應該使得二次能量函數(shù)值最低,U、V是兩種顏色通道的色度、飽和度,Y是亮度通道。通過Y的信息可以得到U、V的分布,改變的U、V與未改變的Y結合,通過數(shù)學推導,對U、V求解,可實現(xiàn)圖像彩色化。

Levin算法應用時首先要確定最小目標函數(shù)

(1)

式中,灰色像素點r的顏色值用U(r)代表,它的一塊領域用N(r)代表。U(s)表示第s個彩色化像素點的顏色值,歸一化函數(shù)為Wrs,圖像中全部灰色像素點用∑r()描述,歸一化函數(shù)用Wrs描述,根據(jù)像素點r、s間的距離可以計算出歸一化函數(shù)的值,前提是滿足∑s∈N(r)Wrs=1。Wrs函數(shù)值越小,說明兩個像素點顏色相似度越低,反之值越大顏色相似度也越高。

以兩個亮度值平方差Wrsαe-(Y(r)-Y(s))2/2σr2為基礎,其中Y(U)表示亮度值,第一步先將目標函數(shù)方程轉化為式(2):

J(U)=(AU)TAU=UTATAU

(2)

式中,權值矩陣用A代表,UT表示圖像速度分量轉化成的列向量,表示如式(3)所示。將式(3)帶入式(2)中,可將色度值的權重關系通過亮度值歸結為式(4),同時為確保圖像色彩化時人工標注色彩的穩(wěn)定性還需要定義函數(shù)(5),式中b是代表原始信息的列向量。

UT=[u1,u2,…,un]

(3)

(4)

bTU=bTb

(5)

在滿足式(5)的情況下,求解最終圖像彩色化最優(yōu)的問題實際上就是使式(1)所示的目標函數(shù)最小化,要想解決這個問題需要使用拉格朗日乘子,這時可求得最小化式(6),并對式(5)求導可得到式(7)

P(U)=UTAU+λ(bTb-bTU)

(6)

AU=b

(7)

式中,b是列向量bT=[b1,b2…,bn],A代表權值矩陣,U表示求解的顏色值轉化矩陣,對這個方程進行求解可使圖像的色彩化。

2.1.2 聯(lián)合雙邊過濾的圖像優(yōu)化

Levin算法雖然能夠通過圖像分割處理使圖像色彩化,但在圖像邊緣和紋理較弱區(qū)域中存在不穩(wěn)定因素,使得圖像色彩化有誤差存在[7],因而在Levin算法的基礎上,采用聯(lián)合雙邊過濾技術對基于Levin算法的局部色彩傳遞多幀影視圖像進行優(yōu)化。優(yōu)化處理流程示意如圖1。

圖1 優(yōu)化處理流程示意圖

1)雙邊過濾

采用雙邊濾波對圖像像素周圍的局部像素值進行加權平均處理,得到的二維高斯濾波則是圖像的像素值[8]。像素距離目標像素距離與其價值度具有反比例關系。雙邊過濾算法依據(jù)高斯分布對初步彩色化圖像的像素p進行計算,其計算如式(8),式(8)中的k(p)可表示為式(9)

(8)

(9)

若想得到空間域的權重,需要通過高斯函數(shù)gα計算對像素間距離進行運算實現(xiàn)[9]。修正參數(shù)σα、σγ實現(xiàn)寬度值的修正。

2)聯(lián)合雙邊過濾

把另一個圖像加入到雙邊過濾值域的權重計算中就是聯(lián)合雙邊過濾。把雙邊過濾權重計算中的初步彩色化結果替換成原始灰色圖形,則像素的計算為式(10),k(p)變化為式(11)

(10)

(11)

原始灰度圖像幾乎無噪聲,因而把參數(shù)σγ設置成較小值可以保證邊緣停止函數(shù)gr(Fp-FP′)選擇正確權重。

3)細節(jié)傳遞

聯(lián)合雙邊過濾對局部色彩傳遞的多幀影視圖像雖然進行了優(yōu)化,但是不能增加影視圖像初步彩色化圖像中的細節(jié)。相反的原始圖像卻能將更多表面細節(jié)呈現(xiàn)出來。為達到對原始圖像細節(jié)進行傳遞的目的,先要用式(12)計算原始灰度圖像的一個細節(jié)層

(12)

式中,FBase代表原始圖像雙邊過濾結果。為了降低圖像中某些信號值產(chǎn)生的影響,設置參數(shù)ε,計算各RGB通道的ε值,捕捉圖像F的局部細節(jié)變化。從計算機視覺角度出發(fā),一般將其叫作比值圖像(商像)。將聯(lián)合雙邊過濾圖像乘以該比值圖像AFinal,可實現(xiàn)細節(jié)傳遞。彩色化圖像最終計算方法如下

AFinal=(1-M)ANRFDetial+MABase

(13)

其中,M為選擇控制條件,在檢測陰影、高光區(qū)域如果圖像彩色化像素沒出現(xiàn),取值為0,否則為1。

2.2 圖像扭曲校正

2.2.1 獲取自適應結構元網(wǎng)格線交叉點坐標

1)膨脹與腐蝕

對圖像進行處理要以膨脹、腐蝕為基礎。其中圖像中目標變粗、生長的過程就叫膨脹[10]。結構元素形狀控制著目標的生長、變粗程度。膨脹公式可以定義為

A⊕B={z|()z∩A≠φ}

(14)

其中,結構元為B;φ是空集;A⊕B描述A被B膨脹。

為過濾原物體周圍的邊界點,要對圖像進行腐蝕操作,同樣的腐蝕公式可以定義為

E=B?S={x,y|Sxy?B}

(15)

其中,二值圖像E是S腐蝕B形成的全部點(x,y)的集合;若B中含有全部的S,則要求S平移到點(x,y)。

2)結構元

結構元是膨脹、腐蝕最基本的部分。一般情況下,它具有以下特征:數(shù)值是1、0組成的矩陣;大小形狀任意且小于處理的圖像很多;原點指定待處理像素范圍且數(shù)值為1的點決定膨脹、腐蝕時領域像素參與計算與否。

2.2.2 圖像扭曲校正

Biharmonic樣條曲面插值圖像校正方法作為一種全局校正方法,它的優(yōu)點是可靈活操作、整體平滑局部性能好,且對控制點的分布與數(shù)量無要求[11];便于實驗者增加、刪除特征點的數(shù)量和調整特征點位置。與其它全局方法的不同之處在于:插值結果具有最小曲率;不同維度的Biharmonic方程的解就是不同維度的Green函數(shù);插值結果與不精確數(shù)據(jù)點不匹配。

用矩陣X2,Y2、x1,y1和四個列向量x1,y1、x2與y2存儲多幀影視圖像扭曲網(wǎng)格線交叉點橫、縱坐標值。理想圖像坐標值是(X2,Y2),提取的扭曲網(wǎng)格線交叉點橫、縱坐標相對應的理想圖像的交叉點坐標值(x2,y2)。之后用x1,y1、x2與y2擬合出x2=f1(x1,y1)、y2=f2(x1,y1)兩個曲面。

在理想圖像中,通過映射扭曲變形多幀影視圖像的任意坐標就可以實現(xiàn)多幀影視圖像的扭曲校正[12]。在校正多幀影視圖像扭曲的過程中,需要不斷輸出和運算圖像像素位置,因此該過程是一種向后映射過程。

差值X1、Y1矩陣需要通過Biharmonic樣條曲面插值方法獲取,兩種矩陣同扭曲圖像對應的坐標值分別是X2和Y2。通過雙線性插值算法計算矩陣X1、Y1中的坐標點,得出圖像校正后的像素灰度值。

3 實驗與論證

3.1 數(shù)據(jù)采集

本文采用南京普愛射線影像裝備有限公司的7200型號C臂CT機對多幀影視圖像進行采集,C臂CT機參數(shù)如表1。

表1 C臂CT機參數(shù)

3.2 多幀影視圖像彩色化驗證

應用本文方法對多幀影視圖像彩色化效果進行驗證,圖2、圖3分別給出本文方法的兩組實驗結果圖,其中圖2中的圖像為白天拍攝,圖3中的圖像為夜晚拍攝。圖2(a)為白天拍攝到的初始顏色線條圖,圖2(b)是應用本文方法的Levin算法進行局部色彩傳遞得到的圖像,圖2(c)是應用本文方法的聯(lián)合雙邊過濾優(yōu)化得到的圖像;圖3(a)為夜晚拍攝得到的初始顏色線條圖,圖3(b)應用本文方法的Levin算法進行局部色彩傳遞得到的圖像,圖3(c)是應用本文方法的聯(lián)合雙邊過濾優(yōu)化得到的圖像。

圖2 白天拍攝圖像

圖3 夜晚拍攝圖像

從圖2和圖3可以看出,對比初始顏色線條圖2(a)、圖3(a),本文應用Levin算法得到的多幀影視圖像圖2(b)、圖3(b)不僅具有很好的觀賞價值,而且在細節(jié)和內容方面也更具優(yōu)勢。但是通過Levin算法得到的多幀影視圖像局部色彩存在模糊現(xiàn)象,降低了圖像視覺效果;而本文方法應用聯(lián)合雙邊過濾優(yōu)化得到的多幀影視圖像圖2(c)、圖3(c)圖像更清晰,不存在局部色彩模糊現(xiàn)象,處理結果較為理想,視覺效果也更佳,說明本文方法的多幀影視圖像彩色化效果顯著,彩色化處理后圖像細膩,視覺效果更加理想。

3.3 扭曲校正驗證

3.3.1 交叉點坐標提取結果

應用本文方法對C臂CT機采集的圖像進行實驗,交叉點坐標提取步驟見圖4。從中可以看出通過提取膨脹結構元以及腐蝕結構元,可以得到網(wǎng)格交叉點坐標。其中膨脹結構元是交叉點臨近兩組網(wǎng)格線寬度均值的25%,而腐蝕結構元是膨脹后網(wǎng)格交叉點兩組網(wǎng)格線寬度均值的50%。

圖4 坐標提取過程

分析圖4可知,從采集到原始圖像(a)可以看出,圖像中網(wǎng)格線存在明顯的扭曲現(xiàn)象,扭曲程度較重。圖4(b)是膨脹時正方形結構元邊長是4、腐蝕時正方形結構元邊長設置成8提取的結果。從圖4(b)可看出,膨脹時若結構元邊長過小,會導致部分區(qū)域腐蝕過度,無法提取所需交叉點;圖4(c)是膨脹時將正方形邊長設置成5、腐蝕時將正方形邊長設置成8提取的結果。同樣從圖4(c)可看出,膨脹時結構元邊長設置過大,腐蝕后還能看到某些網(wǎng)格線。圖4(d)是用自適應結構元處理得到的結果。從圖4(d)可看出應用本文方法的網(wǎng)格交叉處充滿了要提取的點,說明本文方法應用坐標提取算法,能有效保留網(wǎng)格交叉點,可有效提取圖像坐標,為圖像扭曲校正提供可靠依據(jù)。

表2是應用本文方法的兩種交叉點坐標提取結果。

表2 交叉點坐標

從表2可以看出,采用本文方法的自適應結構元提取的網(wǎng)格交叉點坐標精度域理想交叉點坐標之間的誤差極小,完全可滿足圖像扭曲校正時所要求的控制點坐標值精度。

3.3.2 圖像扭曲校正

采用本文方法應用的Biharmonic樣條插值方法對圖4(a)進行圖像扭曲校正,得到的校正結果見圖5。

圖5 圖像校正結果

從圖5分析可得,原始圖像中扭曲的網(wǎng)格線已經(jīng)明顯變直,驗證了本文方法對局部色彩傳遞的多幀影視圖像扭曲校正的可行性。

4 結論

本文提出基于局部色彩傳遞的多幀影視圖像扭曲校正方法,應用Levin算法和聯(lián)合雙邊過濾方法對多幀影視圖像原始灰度圖像進行局部色彩傳遞及優(yōu)化,在此基礎上,采用Biharmonic樣條多幀影視圖像扭曲校正方法,通過自適應結構元網(wǎng)格線坐標提取網(wǎng)格線交叉點坐標,并用Biharmonic樣條對局部色彩傳遞的多幀影視圖像扭曲校正。經(jīng)實驗驗證,本文方法的多幀影視圖像彩色化處理效果好,且能夠通過提取交叉點坐標有效校正局部色彩傳遞的多幀影視圖像。