洪朝群，陳旭輝

(1.廈門理工學(xué)院計(jì)算機(jī)與信息工程學(xué)院，福建 廈門 361024；2.福建省高校物聯(lián)網(wǎng)應(yīng)用技術(shù)重點(diǎn)實(shí)驗(yàn)室，福建 廈門 361024)

面向在線實(shí)時(shí)應(yīng)用的卡通風(fēng)格化方法

洪朝群1，2，陳旭輝1，2

(1.廈門理工學(xué)院計(jì)算機(jī)與信息工程學(xué)院，福建 廈門 361024；2.福建省高校物聯(lián)網(wǎng)應(yīng)用技術(shù)重點(diǎn)實(shí)驗(yàn)室，福建 廈門 361024)

針對(duì)視頻的卡通風(fēng)格化存在著處理速度慢和連續(xù)幀中邊緣視覺效果差的問題，提出具有高實(shí)時(shí)性的視頻卡通風(fēng)格化處理方法.該方法主要包括擴(kuò)展非線性擴(kuò)散、邊緣檢測(cè)、彩色量化和融合4個(gè)步驟.邊緣檢測(cè)算法基于高斯-拉普拉斯算子進(jìn)行改進(jìn)，速度更快而且在連續(xù)幀中視覺效果更好;在擴(kuò)展非線性擴(kuò)散和色彩量化的過程中利用查表法獲取濾波系數(shù)和量化值，避免了對(duì)每一個(gè)像素計(jì)算高斯方程和量化方程，進(jìn)一步提高了速度;同時(shí)，在傳輸過程中對(duì)邊緣圖像和量化圖像采取分離編碼進(jìn)行傳輸，降低了碼率.實(shí)驗(yàn)證明，在視頻聊天、在線游戲等實(shí)時(shí)性要求高的應(yīng)用場(chǎng)合中，該方法對(duì)人臉和景物都取得了良好的卡通風(fēng)格化效果.

卡通風(fēng)格化；實(shí)時(shí)應(yīng)用；邊緣檢測(cè)；擴(kuò)展非線性擴(kuò)散；色彩量化

目前，各種圖像與視頻風(fēng)格化特效被廣泛應(yīng)用到在線視頻聊天場(chǎng)合，用于增強(qiáng)娛樂效果或者改變自己的形象.微軟的LiveMessenger、羅技的USB攝像頭驅(qū)動(dòng)已經(jīng)實(shí)現(xiàn)了部分特效并進(jìn)入實(shí)際應(yīng)用領(lǐng)域.而在線游戲同樣有類似需求.把現(xiàn)實(shí)抽象為卡通、動(dòng)漫風(fēng)格的方法是圖像與視頻風(fēng)格化的方法之一，通常被稱為卡通風(fēng)格化，最近倍受國內(nèi)外研究工作者的關(guān)注[1-5].在卡通風(fēng)格化的相關(guān)方法中，DougDeCarlo和AnthonySantella提出了一種處理照片的算法[6]，用于獲得簡(jiǎn)化的、風(fēng)格化的視覺效果，然而該方法沒有考慮實(shí)時(shí)性的要求，只應(yīng)用于靜態(tài)圖像，未能應(yīng)用于視頻序列當(dāng)中.Wang提出了把現(xiàn)實(shí)視頻轉(zhuǎn)化為卡通化視頻的半自動(dòng)算法[7]，該算法復(fù)雜度很高，不適合實(shí)時(shí)處理應(yīng)用.JanFischer等人提出了一種更快的方法[8]，并且應(yīng)用于虛擬現(xiàn)實(shí)系統(tǒng)，但是所獲得的視覺效果存在問題，特別是視頻中連續(xù)幀的邊緣效果，會(huì)出現(xiàn)前一幀中被檢測(cè)為邊緣的部分在下一幀的相似位置被檢測(cè)為非邊緣的現(xiàn)象.這一問題當(dāng)視頻中存在人臉的時(shí)候尤為明顯.Winnnemoller等人提出了實(shí)時(shí)視頻抽象方法[9]，獲得了比較好的效果，但是該方法的速度仍然較慢，在CPU模式下對(duì)于CIF分辨率的視頻僅能達(dá)到每秒3到4幀，因此不能滿足在線視頻聊天等應(yīng)用的高實(shí)時(shí)性要求.可見,現(xiàn)有方法在風(fēng)格化速度和連續(xù)幀的邊緣檢測(cè)效果上還存在不足.本文基于傳統(tǒng)卡通風(fēng)格化方法的框架，在上述兩方面提出了相應(yīng)的改進(jìn)方法，使其能夠滿足在線視頻聊天等應(yīng)用的高實(shí)時(shí)性要求.

1　本文提出的改進(jìn)方法

基于對(duì)當(dāng)前工作問題的分析，本文提出的改進(jìn)處主要包括：

1)針對(duì)邊緣檢測(cè)過程，采用基于高斯-拉普拉斯算子(LaplacianofGaussian,LOG)的方法；

2)針對(duì)擴(kuò)展非線性擴(kuò)散和彩色量化過程，采用查表的方式獲得濾波系數(shù)和量化值；

3)除了對(duì)風(fēng)格化視頻幀進(jìn)行編碼過程外，將邊緣檢測(cè)和量化的結(jié)果數(shù)據(jù)分離.

1.1整體結(jié)構(gòu)

本文提出的實(shí)時(shí)卡通風(fēng)格化方法的整體結(jié)構(gòu)主要分為擴(kuò)展非線性擴(kuò)散、邊緣檢測(cè)、彩色量化和融合4個(gè)步驟.通過擴(kuò)展非線性擴(kuò)散的濾波處理，圖像中對(duì)比度較高的邊緣區(qū)域被銳化，而對(duì)比度較低的區(qū)域被平滑.擴(kuò)展非線性擴(kuò)散的這種特性可以提高邊緣部分的對(duì)比度，增強(qiáng)邊緣檢測(cè)算法的效果.邊緣檢測(cè)算法應(yīng)用到擴(kuò)散后的圖像上，可以得到視頻幀中梯度變化較為明顯的部分，即邊緣信息，從而獲得素描的效果.而色彩量化應(yīng)用到擴(kuò)散后的圖像上，則可獲得油畫的效果.最后，將邊緣檢測(cè)和色彩量化的結(jié)果進(jìn)行融合，便可產(chǎn)生卡通風(fēng)格化的效果.

1.2擴(kuò)展非線性擴(kuò)散

在視頻風(fēng)格化的過程中，邊緣檢測(cè)是計(jì)算復(fù)雜度最高的部分.先通過濾波操作銳化邊緣區(qū)域，然后通過邊緣檢測(cè)算子獲得梯度變化劇烈的像素點(diǎn)，即邊緣點(diǎn).在濾波操作中，采用擴(kuò)展非線性擴(kuò)散.該方法最早由Barash和Comaniciu[10]提出，迭代雙邊濾波是其中的一個(gè)方法，并且可以使用Pham和Vliet提出的分離內(nèi)核方法[11]進(jìn)行近似，加快濾波操作的處理速度.

一維雙邊濾波可以用公式(1)來表示：

(1)

式(1)中x0是中心點(diǎn)p0的縱坐標(biāo)或者橫坐標(biāo)，s是p0到濾波窗口邊緣的距離,I(p0)是p0的灰度值.f(x,x0)是p0周圍的雙邊濾波器，定義為：

(2)

式(2)中σs和 σt是雙邊濾波的空間和色調(diào)比例.在本文實(shí)現(xiàn)的系統(tǒng)中，分別設(shè)定σs=3 和σt=25.這些設(shè)定值比文獻(xiàn)[9]方法中所使用的值高，因?yàn)榻?jīng)過實(shí)驗(yàn)證明，較高的值可以在不進(jìn)行多次循環(huán)處理的情況下獲得對(duì)比度較高的結(jié)果，從而提高處理速度.gs和gt分別為空間和色調(diào)權(quán)重系數(shù)，由高斯方程定義為：

(3)

在分離內(nèi)核的濾波方法中，一維雙邊濾波首先被應(yīng)用到第一維空間上，接著對(duì)第一維空間上的濾波結(jié)果在第二維空間上進(jìn)行二次濾波.通過該處理方式，擴(kuò)展非線性擴(kuò)散的計(jì)算復(fù)雜度從O(Nmd) 降為O(Nmd)，其中N是圖像中的像素?cái)?shù)量，m是濾波窗口的寬度，d是圖像的維數(shù).因此，使用雙邊濾波可以使濾波過程的處理速度得到明顯的提高.

觀察公式(1)和(2)中的參數(shù)，可以發(fā)現(xiàn)輸入?yún)?shù)的定義域?yàn)椋?/p>

(4)

1.3邊緣檢測(cè)

現(xiàn)有的邊緣檢測(cè)方法非常多，包括了Canny算子[12]、LOG算子[13]等.本文所使用的邊緣檢測(cè)方法基于Shen等提出的LOG算子的實(shí)時(shí)化實(shí)現(xiàn)[14].原始的LOG算子值域較大.Shen等利用了LOG算子的循環(huán)對(duì)稱特性，使得查詢表的大小控制在可接受的范圍內(nèi).

離散LOG掩碼定義為：

(5)

式(5)中k要使得掩碼系數(shù)D(x,y,σd)的和接近于0，即k滿足：

(6)

設(shè)w(i)代表高斯-拉普拉斯掩碼數(shù)值.由于LOG算子的循環(huán)對(duì)稱特性，掩碼數(shù)值構(gòu)成的數(shù)組的大小為：

(7)

因此本文中的LOG算子掩碼的查詢表可以表示為：

(8)

式(8)中i是表1中所示掩碼的位置，j是要進(jìn)行LOG算子掩碼計(jì)算的點(diǎn)的灰度值.其中i和j的定義域表示為：

(9)

1.4色彩量化

標(biāo)量量化方程定義為：

(10)

式(10)中qclosest是最接近于p0灰度值的量化邊緣，Δq是量化寬度，φq是控制邊緣尖銳程度的參數(shù).本文在實(shí)驗(yàn)中設(shè)置這兩個(gè)參數(shù)為：

(11)

根據(jù)觀察，量化方程唯一的參數(shù)是I(p0)，其定義域?yàn)椋?/p>

(12)

類似調(diào)色板的思想，本文的方法初始化一個(gè)一維數(shù)組來保存所有灰度值可能的量化結(jié)果.該數(shù)組的大小為256.最終的量化操作便通過簡(jiǎn)單獲取數(shù)組中第I(p0)個(gè)值來立即獲得點(diǎn)p0的量化值.該方法也可以很容易地拓展到彩色圖像的量化過程當(dāng)中，以RGB顏色向量來代替I(p0).這一改進(jìn)方法通過消耗一定的內(nèi)存空間，大幅度提升了處理速度.

1.5分離編碼

對(duì)于在線視頻聊天而言，帶寬往往是有限的.特別是面向移動(dòng)網(wǎng)絡(luò)的應(yīng)用更是如此.實(shí)驗(yàn)表明，如果直接將風(fēng)格化的結(jié)果進(jìn)行編碼，則效率較低，不利于網(wǎng)絡(luò)傳輸.本文實(shí)現(xiàn)的系統(tǒng)把色彩量化與邊緣檢測(cè)結(jié)果分別進(jìn)行編碼，然后在解碼端分別解碼再結(jié)合成為完整的風(fēng)格化結(jié)果.其中，量化結(jié)果直接進(jìn)行編碼，而邊緣檢測(cè)的結(jié)果轉(zhuǎn)化為二值圖像進(jìn)行編碼.該二值圖像定義為：

(13)

2　實(shí)驗(yàn)結(jié)果

本文的實(shí)驗(yàn)系統(tǒng)運(yùn)行在賽揚(yáng)2.8 GHz、內(nèi)存為512 MB的計(jì)算機(jī)上.系統(tǒng)用Visual C++2005實(shí)現(xiàn).視頻序列的分辨率為CIF.原始視頻進(jìn)行實(shí)時(shí)卡通風(fēng)格化，并通過網(wǎng)絡(luò)傳輸進(jìn)行在線播放.

2.1邊緣檢測(cè)結(jié)果

為了展示邊緣檢測(cè)方法的效果，本文使用的檢測(cè)方法與Canny算子進(jìn)行了比較.

在Canny算子中使用的兩個(gè)參數(shù)被設(shè)置為105和150[12].此處列出了Akiyo序列的第4幀和第5幀.如圖1所示，在Canny算子的檢測(cè)結(jié)果中，部分衣服的邊緣在第4幀中被成功檢測(cè)，而在第5幀中丟失(如播音員胸口的麥克風(fēng))，但本文改進(jìn)后的方法則未出現(xiàn)此種現(xiàn)象.因此，本文的方法在連續(xù)幀中的視覺效果比Canny算子好.另，本文的方法平均時(shí)間消耗為每幀1.8 ms，而Canny算子的平均時(shí)間消耗為每幀3.2 ms.

2.2色彩量化結(jié)果

為了展示色彩量化方法的效果，改進(jìn)的方法應(yīng)用到CIF分辨率的Akiyo、Carphone和Silence序列中.經(jīng)過實(shí)驗(yàn)證實(shí)，該方法只需要一次初始化過程就能在整個(gè)視頻的處理過程中獲得良好的速度提升，所消耗的時(shí)間僅為未經(jīng)優(yōu)化的色彩量化方法的30%.同時(shí)，該方法所實(shí)現(xiàn)的油畫效果良好(圖2).2.3時(shí)間消耗

本實(shí)驗(yàn)記錄了實(shí)驗(yàn)中對(duì)Carphone和Silence序列進(jìn)行卡通風(fēng)格化全部處理過程的平均時(shí)間，并且與文獻(xiàn)[5]和[9]的方法進(jìn)行比較，結(jié)果如表1所示.從表1可見，本文的方法速度更快，更適合實(shí)時(shí)應(yīng)用.

表1　時(shí)間消耗的比較

2.4編碼效率

把原始視頻、風(fēng)格化后的視頻以及分離的視頻幀分別用Xvid進(jìn)行編碼，獲取各自的編碼后數(shù)據(jù)大小，結(jié)果如表2所示.實(shí)驗(yàn)表明，與原始的視頻幀1相比，對(duì)風(fēng)格化結(jié)果進(jìn)行編碼會(huì)增加碼率.而對(duì)量化結(jié)果和邊緣檢測(cè)結(jié)果分離后進(jìn)行編碼，空間消耗比直接對(duì)風(fēng)格化幀進(jìn)行編碼更低，而且與原始數(shù)據(jù)的尺寸差別很小，使得本文提出的風(fēng)格化方法更能適應(yīng)在線視頻應(yīng)用.

表2　分離編碼與未分離編碼的空間消耗比較

2.5風(fēng)格化效果

為了展示本文實(shí)現(xiàn)的系統(tǒng)中連續(xù)幀的視覺效果，本實(shí)驗(yàn)在圖3中列出了Carphone序列的第27幀到第30幀，在圖4中列出了Silence序列的第7幀到第10幀.這些序列與在線視頻聊天的場(chǎng)景比較類似.這組實(shí)驗(yàn)說明本文實(shí)現(xiàn)的系統(tǒng)在有人臉的場(chǎng)景下獲得了良好的視覺效果.

3　結(jié)論

通過邊緣檢測(cè)方法的改進(jìn)，視頻風(fēng)格化整體處理速度得到明顯提高，而且在視頻中連續(xù)幀的視覺效果超過了其他使用固定閾值的邊緣檢測(cè)方法；避免了對(duì)每一個(gè)點(diǎn)計(jì)算高斯方程和量化方程的大量時(shí)間消耗，實(shí)現(xiàn)了對(duì)視頻的實(shí)時(shí)處理；通過對(duì)風(fēng)格化后的視頻進(jìn)行分離壓縮，減小了傳輸和存儲(chǔ)過程中的數(shù)據(jù)量.基于這一方法，本文實(shí)現(xiàn)了一套風(fēng)格化系統(tǒng)，并且應(yīng)用到高實(shí)時(shí)性要求的場(chǎng)合中，如在線聊天等.該方法完全自動(dòng)運(yùn)行，從而擴(kuò)展了風(fēng)格化方法的應(yīng)用領(lǐng)域.

[1]ZHAO H,JIN X,SHEN J,et al.Real-time feature-aware video abstraction[J].The Visual Computing,2008,24(7):727-734.

[2]ZHAO H,MAO X,JIN X,et al.Real-time saliency-aware video abstraction[J].The Visual Computer,2009,25(11):973-984.

[3]KANG H,LEE S,CHUI C K.Flow-based image abstraction[J].IEEE Transaction on Visualization and Computer Graphics,2009,15(1):62-76.

[4]胡光琴,唐旭光,胡礦,等.卡通畫的非真實(shí)感繪制技術(shù)[J].實(shí)驗(yàn)科學(xué)與技術(shù)，2012,10(5):39-41.

[5]高寶玉,方漪,杜娜,等.基于 RGB 顏色向量的二維彩色圖像卡通風(fēng)格渲染[J].青島大學(xué)學(xué)報(bào):自然科學(xué)版，2010,23(2):31-37.

[6]DECARLO D,SANTELLA A.Stylization and abstraction of photographs[C]//International Conference on Computer Graphics and Interactive Techniques.New York:ACM,2002:769-776.

[7]WANG J,XU Y,SHUM H Y，et al.Video tooning[C]//International Conference on Computer Graphics and Interactive Techniques.New York:ACM,2004:574-583.

[8]FISCHER J,BARTZ D,STRABER W.Stylized augmented reality for improved immersion[C]//Virtual Reality Conference.USA:IEEE,2005:195-202.

[9]WINNEMOLLER H,OLSEN S C,GOOCH B.Real-time video abstraction[J].ACM Transactions on Graphics,2006:1 221-1 226.

[10]BARASH D,COMANICIU D.A common framework for nonlinear diffusion,adaptive smoothing,bilateral filtering and mean shift[J].Image and Vision Computing,2004,22(1):73-81.

[11]PHAM T Q,VLIET L J.Seperal bilateral filtering for fast video preprocessing[C]//International Conference on Multimedia and Expo.USA:IEEE,2005:CD.1-4.

[12]CANNY J.A computational approach to edge detection[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,1986,6:679-698.

[13]HUERTAS A.Detection of intensity changes with subpixel accuracy using laplacian-gaussian masks[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,1986,8(5):651-664.

[14]SHEN L Q,SHEN D G,QI F H.Edge detection on real time using LOG filter[C]//International Symposium on Speech,Image Processing and Neural Networks.USA:IEEE,1994:37-40.

(責(zé)任編輯馬誠)

Cartoon-like Video Stylization for Online Real-time Applications

HONG Chao-qun1，2,CHEN Xu-hui1，2

(1.School of Computer & Information Engineering,Xiamen University of Technology,Xiamen 361024,China;2.Fujian Universities Key Lab of IOT Application Technology,Xiamen 361024,China)

Cartoon-like stylization for video suffers the problems of low speed and unpleasant visual effect of edges in contiguous frames.In this paper,a novel approach of cartoon-like stylization for video is presented，which works well for occasions with a high real-time requirement. Generally speaking,this approach consists of four steps:extended nonlinear diffusion, edge detection, color quantization and fusion. In this approach,the edge detection algorithm is improved based on the Laplacian of Gaussian(LOG).It is faster and has better visual effect of edges in contiguous frames. In addition to that,an implementation based on querying the tables of filter coefficients and quantization values is used in extended nonlinear diffusion and color quantization. It avoids computing Gaussian function and quantization function for each pixel and further improves the speed of the proposed method.Furthermore,the encoding process of the edge picture and quantized picture are separated, which reduces the bit-rate.The experimental results show that the proposed method performs well on the human faces and scenery in the circumstances of video chatting and online games.

Cartoon-like stylization;real-time applications;edge detection;extended nonlinear diffusion;color quantization

2014-09-26

2014-11-27

國家自然科學(xué)基金項(xiàng)目(61202145)；福建省自然科學(xué)基金項(xiàng)目(YKJ12005R)

洪朝群(1984-)，男，副教授，博士,研究方向?yàn)槎嗝襟w信息處理與檢索.E-mail:cqhong@xmut.edu.cn

TP391A

1673-4432(2015)01-0073-06