孫玉紅 張元科 孟靜 韓麗娟

摘要：針對目前鉛筆畫生成方法中的線條不夠靈活、紋理缺少方向感的問題，提出了一種基于帶方向的紋理和線條草圖將一幅圖像轉換為鉛筆畫風格的方法。首先，對輸入圖像進行直方圖匹配得到圖像的色調圖，并將圖像分割為多個區(qū)域，對每個區(qū)域，根據(jù)其顏色和形狀計算其色調和方向，以此決定鉛筆紋理的色調和方向；然后，通過可調整的線性卷積方法得到鉛筆畫的線條草圖；最后，將紋理和草圖結合得到鉛筆畫效果。運用提出的方法對不同類型的自然圖像進行了鉛筆畫的轉換，并與已有的線卷積積分方法和基于色調的方法進行了對比。實驗結果表明帶方向的區(qū)域紋理能更好地模擬手工鉛筆畫紋理的方向，可調整的線條能夠更好地模擬手工鉛筆畫的線條的隨意性和靈活性。

關鍵詞：

圖像處理；鉛筆畫；非真實感繪制；紋理；草圖

中圖分類號： TP391.9 文獻標志碼：A

0引言

鉛筆是一種最觸手可及和易于使用的繪畫工具。鉛筆畫作為一種最基本的圖畫語言來抽取對自然場景的理解，有其獨特的吸引力。在一些文獻插圖、影視制作、廣告設計中，時常見到鉛筆畫的應用，它可以準確地描繪畫面的內容，同時給人一種簡潔、準確的藝術效果。手工繪制鉛筆畫需要一定的專業(yè)技巧，而且費時費力，在計算機輔助下進行鉛筆畫的繪制是一種可行的方法，也是非真實感圖形學繪制的一種重要形式。

自從非真實感繪制技術出現(xiàn)以來，許多鉛筆畫的繪制方法被提出，如文獻[1-10]。這些方法可分為基于3D模型的繪制方法和基于2D圖像的繪制方法。三維的繪制方法需要復雜的3D模型，隨著數(shù)碼相機技術的不斷發(fā)展，獲取高質量的2D圖像比建立3D模型容易得多，因此本文研究基于2D圖像生成鉛筆畫的方法，基本框架是根據(jù)已有的鉛筆紋理和一幅待處理的圖像，通過計算圖像區(qū)域的紋理色調和方向，并結合線卷積生成的線條草圖，形成最后的鉛筆畫。

1相關研究

通過對眾多鉛筆畫的觀察可以發(fā)現(xiàn)，藝術家一般用手繪的線條表示整體的形狀和輪廓，通過重復的涂抹鉛筆筆畫描述色調或陰影，形成特定的鉛筆紋理效果，因此鉛筆畫由表示形狀的線條和描述陰影的紋理組成。在已有的2D圖像生成鉛筆畫的過程中，許多方法是分別模擬鉛筆畫紋理和鉛筆線條，再組合在一起生成最后的鉛筆畫效果，如文獻[3-4]、[7-9]等。

1.1鉛筆紋理的生成

對生成鉛筆畫風格的陰影和紋理的研究有大量的成果?；?D模型的方法如Sousa等[1]和Lee等[2]提出的方法，根據(jù)光照和模型的紋理材質形成陰影，并不適合于圖像處理。在基于圖像生成陰影的方法中，Li等[3]根據(jù)輸入圖像的局部結構，使用線積分卷積（Line Integral Convolution， LIC）的方法生成鉛筆紋理。Chen等[4]通過基于區(qū)域的LIC方法，結合邊界線、unsharp的圖像和紋理生成鉛筆畫。Yamamoto等[5]則將原圖像劃分為不同層次，根據(jù)圖像的色調生成鉛筆風格的陰影線。Yang等[6]提出了一種旋轉的雙邊線積分卷積（Swing Bilateral LIC， SBL）濾波的方法生成可以控制的鉛筆紋理效果，通過交互和調整參數(shù)能生成多種交叉的陰影線的效果。國內一些學者也都采用了LIC的方法生成鉛筆畫的紋理效果，如文獻[7-8]。

在LIC方法中，需要指定一幅噪聲圖像，然后沿著特定的矢量場進行卷積。噪聲圖像一般設定為與圖像的色調相關的高斯白噪聲，對矢量場的獲得，李龍生等[7]通過分割圖像并進行傅里葉分析以抽取紋理的方向；Li等[3]則計算圖像的矩來獲得區(qū)域的方向；而Yang等[6]的方向場是由不同類型的筆畫流構成。

上述這些LIC方法的缺點在于計算量較大，而且由于結果受到矢量場和噪聲圖的影響，算法在擴展時有一定的局限。例如，矢量場分布到整個圖像，而不論圖像描述的色調如何，都要進行卷積生成紋理。而手工繪制鉛筆畫時，對背景區(qū)域和對象區(qū)域不會采用相同的紋理。

Lu等[9]提出了一種結合草圖和色調的方法生成鉛筆畫。與上述LIC方法生成紋理的方法不同，該方法通過用樣本紋理不同次數(shù)的重復來模擬鉛筆畫圖像的不同色調。該方法運行快速，有很大啟示，但該方法對色調圖的近似，是用鉛筆紋理對圖像每個像素單獨進行的，然后使用梯度懲罰項來保持紋理的連續(xù)性，因此，最終結果中每個像素的色調接近原圖像，而圖像區(qū)域整體上缺乏明顯的鉛筆紋理的特點，如方向感，與手工繪制的鉛筆筆畫有一定差距。對此，本文進行了改進，進一步考慮了圖像塊整體的紋理特征和方向性。

1.2鉛筆線條生成

根據(jù)一幅真實感圖片，抽取有意義的線條在圖像抽象中有大量研究。一般的邊界檢測方法生成的線條一般不盡如人意，或者有孤立的小線段，或者線段不夠光滑，而且對噪聲極為敏感。為了獲得更準確、有意義的描述物體的線條，Kang等[11]提出了使用邊界切線流（Edge Tangent Flow， ETF），并用迭代的高斯差分方法得到連續(xù)的線條畫；基于ETF[11]、Wang等[12]建立了方向增強的邊界流線場，并由此生成線畫效果；趙艷丹等[13]利用線積分卷積的方法生產(chǎn)了人臉肖像的素描畫；Kim等[14]提出一種基于最大濾波器的方法，生成手繪風格的特征線和紋理；Lu等[9]提出基于線性卷積的線條抽取方法，生成的線條類似手工草圖的效果。本文進一步改進了文獻[9]的卷積方法，通過調整卷積核的大小得到不同的細節(jié)程度和粗糙程度的線條。實驗結果證明了本文方法的有效性。

2鉛筆畫繪制

2.1算法概述

在本文的方法中，首先計算輸入圖像的鉛筆畫色調，接著根據(jù)顏色和亮度將圖像分割成不同區(qū)域，本文采用了mean shift的圖像分割方法。然后，計算每個區(qū)域的方向和色調，基于給定的鉛筆紋理進行色調和方向模擬，同時用線性卷積方法提取圖像的鉛筆線條，最后結合紋理和線條生成鉛筆畫。算法流程如圖1所示。

2.2鉛筆紋理生成

在手工創(chuàng)作鉛筆畫的過程中，藝術家通過在特定區(qū)域重復繪制鉛筆筆畫來形成特定的紋理效果。在以前的研究方法中，LIC方法用于模擬特定方向的鉛筆筆畫，但該方法模擬的紋理效果是單調和生硬的，與實際手繪的鉛筆畫有一定差距，如圖2所示。Lu等[9]中模擬鉛筆紋理的方法是使用一個指數(shù)運算來模擬鉛筆筆畫的重復，能夠較好地近似鉛筆畫的色調。

通過對鉛筆畫創(chuàng)作的觀察，藝術家通常在圖像的特定區(qū)域，沿著一定的方向重復繪制鉛筆筆畫，尤其是大片同色調的區(qū)域。它們是“一筆一筆或連筆”畫，而不是“逐點”畫，由此形成了方向感明顯的鉛筆紋理，因此本文根據(jù)圖像的區(qū)域，采用帶方向的紋理來模擬這種鉛筆紋理效果。

2.2.1紋理色調模擬

首先，通過直方圖匹配的方法計算輸入圖像轉化為鉛筆畫的色調。一些方法如文獻[3-8]使用圖像的灰度作為鉛筆畫的色調，但通過觀察手工鉛筆畫，可以看出真正的鉛筆畫色調與灰度圖的色調差別是比較大的，手工繪制的圖像常常有許多空白和亮度較高的區(qū)域。而且經(jīng)觀察可以發(fā)現(xiàn)，無論自然圖像的色調是否有差別，鉛筆畫的色調直方圖都是比較類似的，因此，在Lu等[9]的方法中，通過計算一個參數(shù)模型來模擬鉛筆畫的色調分布。在本文中，考慮到鉛筆畫的色調直方圖是類似的，因此，借助于一幅已有的鉛筆畫色調，通過直方圖匹配，可以快速方便地得到待處理圖像的鉛筆畫色調。

對一特定的色調值，采用類似Lu等[9]的方法，通過紋理的指數(shù)運算來模擬鉛筆畫的效果，如圖3所示。首先根據(jù)圖像分割，得到n個不同顏色的區(qū)域，n的值由圖像顏色的多少和設定的顏色差的大小決定。然后，對圖像的某一區(qū)域Ri，如果其色調圖Ji，給定的鉛筆紋理圖為Ti，計算其指數(shù)βi，如式（1），使得βi在最小二乘意義下滿足Ti βi = Ji：

2.2.2紋理方向計算

對鉛筆畫紋理的方向，通過生成對應每個區(qū)域的帶方向的紋理來模擬。如果區(qū)域方向是直線方向，通過旋轉操作將給定的紋理調整到對應的方向；如果區(qū)域的方向是曲線方向，通過變形路徑的方式變形紋理，如圖4所示。根據(jù)分割所得區(qū)域的形狀，采用不同的方式?jīng)Q定其方向，對于小的和細長的區(qū)域，計算其方向為區(qū)域主軸（principal axis）的方向。主軸是一個與區(qū)域內所有點距離之和最小的直線。對不規(guī)則和復雜的區(qū)域，計算區(qū)域的中軸（medial axis），并進一步細化得到區(qū)域的方向。首先，根據(jù)距離轉換（distance transform）計算區(qū)域內距離區(qū)域邊界最遠的像素；然后，對中軸進行細化以消除不連續(xù)性和雙線問題。根據(jù)此細化結果確定該中軸線上各像素的方向為沿此線切線的方向。區(qū)域的方向即為該中軸線的方向，如圖5所示。

在現(xiàn)有研究方法中，Li等[3]計算區(qū)域的矩作為矢量方向，李龍生等[7]使用了紋理分析的方法決定矢量場的方向，這些方法的計算量都是比較大的。Lu等[9]在鉛筆畫生成中沒有考慮區(qū)域的方向，或者說整幅圖像使用了同一個方向。本文方法在Lu等[9]的基礎上，計算了每個區(qū)域的方向，因此在模擬鉛筆紋理的有效性和準確性上優(yōu)于已有的方法。

通過觀察實際的鉛筆畫繪制，發(fā)現(xiàn)許多細節(jié)是通過清晰的線條或筆畫表示的，而不是涂抹的筆畫，因此不需要對所有的區(qū)域計算色調和方向，在實現(xiàn)中，設置一個與區(qū)域的面積有關的閾值Th來區(qū)分一個區(qū)域是否需要填充紋理。其次，一些自然圖像中的細節(jié)，在區(qū)域劃分過程中可能被統(tǒng)一到一個區(qū)域內部，因此在最終的繪制中丟失了。對此問題的解決，本文通過統(tǒng)計區(qū)域的直方圖，如果一個區(qū)域對應原圖像中的部分在直方圖中的最大值與最小值差別不大，即比較平穩(wěn)，則認為區(qū)域內部沒有細節(jié)，否則需要注意區(qū)域內部的細節(jié)，本文使用2.3節(jié)的方法生成不同細節(jié)層次的線條來表述。

2.2.3鉛筆草圖生成

對彩色圖像轉化為彩色鉛筆畫，首先將圖像從RGB顏色空間轉化到YUV顏色空間，因為在YUV顏色空間中，U和V表示了色度信息，Y表示亮度，根據(jù)Y值生成一幅鉛筆畫Y′，最后將Y′和U、V值重新合成，最后生成一幅彩色的鉛筆畫。本文方法所生成的鉛筆畫效果如2.4節(jié)。

在鉛筆畫中，線條一般用于描述物體的形狀和輪廓或描述細節(jié)，是鉛筆畫的重要元素。在手工繪制過程中，由于手和筆尖的移動，鉛筆筆畫通常在連接點或拐點處斷開或交叉，因此手工鉛筆線條在一些連接處有交叉線，顯得比較隨意。一些生成特征線條的方法如文獻[3-8]等都不能生成這樣的效果，本文改進了Lu等[9]的卷積的方法。卷積生成線條的基本思想是使用適當長度的直線卷積核，對圖像的梯度圖進行卷積，從而生成交叉線、分支線等類似手繪的效果。

首先，計算圖像的梯度圖G，如式（2）：

G=（（xI）2+（YI）2）1/2（2）

其中：I為圖像的灰度圖，（XI）和（YI）分別為圖像在水平和垂直方向的梯度。然后，確定每個像素的方向，方法是沿著特定的直線方向對梯度圖進行卷積以抑制該方向的噪聲。取幾個不同的直線方向di對G進行卷積得到不同的卷積圖Ci，如果一個像素p有方向di，則在所有方向的卷積圖中，di方向對應的卷積圖有最大值，由此可以確定像素p的方向為di。

得到像素的方向后，沿每一個卷積圖再次卷積，以沿著像素的正確方向進行延長。最后所有的卷積圖加和，以此模擬手繪線條，如圖6所示。

在卷積過程中，核Li的大小直接影響到線條的粗糙程度，如圖7所示。小的卷積核可以得到工整的線條，但缺少手工繪制的隨意性，如圖7（a）。大的卷積核形成較為隨意和粗糙的線條，更類似于速寫效果，但不利于表現(xiàn)細節(jié)，如圖7（b），但在手工畫圖的時候，對不同的部分會使用不同的細節(jié)表達（有的地方需要詳細的細節(jié)，有的地方則用大段線條）對此情況，本文根據(jù)不同區(qū)域采用可調整的卷積核進行處理。卷積核的大小根據(jù)如下方式?jīng)Q定：統(tǒng)計卷積圖Ci中亮度值大于閾值V的連續(xù)像素的個數(shù)num，如果num足夠大（>N），則選擇一個較大長度的Li，否則選擇較小長度的Li。如圖7（c）塊1中，只有少量像素亮度值大于V，因此此處有細節(jié)，使用較小的卷積核；而在塊2中，亮度值大于V的連續(xù)像素構成一條較長的線，因此選擇較大的卷積核?？烧{整卷積核的卷積效果如圖7（d）?？梢钥闯?，圖（d）中既有詳細的細節(jié)（魚上方翅膀），也有長的線條（頭部線條和尾部線條），從而證明本文的可調整卷積核的方法能夠得到不同細節(jié)的鉛筆畫。

2.3本文方法的結果

本節(jié)給出方法實現(xiàn)的一些鉛筆畫結果。圖8所示為本文方法與傳統(tǒng)的LIC方法生成的鉛筆畫。對如8（a）圖像，文獻[5]的LIC方法生成的鉛筆畫如圖8（b），通過本文方法生成的鉛筆畫如圖8（c）。由圖8可以看出本文方法跟手繪鉛筆畫更接近。

對于改進的LIC方法，文獻[6]采用SBL生成的鉛筆畫如圖9（b）所示，但由于鉛筆線條依賴于特征流線，所生成的鉛筆畫比較工整，不像手工繪制那么隨意，本文方法處理結果如圖9（c）所示，更接近手工鉛筆畫的效果。

本文方法與文獻[9]方法的對比結果如圖10所示。對于輸入圖像圖10（a），文獻[9]方法生成的效果如圖9（b），圖像的色調比較準確，但缺少明顯的紋理方向感，本文生成的方法如圖9（c），可以看出紋理有明顯的方向。

本文方法的更多結果如圖11～1411。圖11包含3幅不同的自然圖像，所生成的灰度鉛筆畫和彩色鉛筆畫效果如圖11（b）～（c）所示?？梢?，本文方法不論對有顯著特征的圖像（dog圖圖11（a）、woman圖11（b）），還是一般的自然圖像（sky圖11（c）），都能夠生成逼真的鉛筆畫效果。

2.4本文方法的局限性

在本文生成鉛筆畫的過程中，需要分割圖像為不同的區(qū)域，因此圖像分割的結果影響到最終的繪制效果，尤其是在背景與對象難以通過顏色進行清晰分割時。例如，光照情況影響對象在照片中的顏色，造成分割的效果不理想，最終影響到生成的鉛筆畫效果。這依賴于更好的圖像分割算法，此處不作贅述。

3結語

本文提出了一種基于鉛筆紋理和線條草圖將圖像處理為鉛筆畫的方法。首先，對圖像分割，并計算鉛筆畫的色調。對圖像的不同區(qū)域，采用不同色調和方向的紋理來模擬鉛筆畫效果，區(qū)域的色調使用給定鉛筆紋理的指數(shù)運算來近似，區(qū)域的方向通過距離轉換和細化中軸來近似。線條草圖的生成，本文使用了改進的線性卷積的方法，通過對圖像的梯度進行卷積，使用可調整的卷積核，得到不同細節(jié)程度的、類似手工繪制效果的線條。最后帶方向的區(qū)域紋理和鉛筆線條結合生成圖像的鉛筆畫效果。

與現(xiàn)有的基于圖像的鉛筆畫方法相比，本文方法有如下優(yōu)點：首先，陰影線和鉛筆紋理的模擬通過已有的鉛筆紋理進行計算，在運算速度和準確性上，優(yōu)于傳統(tǒng)的和改進的線卷積LIC的方法；在對鉛筆畫紋理的處理上，比文獻[9]進一步考慮了圖像區(qū)域的方向，更接近真正的手繪鉛筆畫；在鉛筆線條的處理上，采用對圖像的梯度線性卷積的方式，抑制了噪聲的干擾，并模擬了手工繪制中線條的交叉和分支的情況；而且，本文考慮了可調整核長度的卷積，可以在鉛筆畫生成的結果中能夠生成不同細節(jié)程度的線條，更接近實際的手繪效果；最后，本文方法可以在給定不同的樣本鉛筆紋理的條件下，生成多種風格的鉛筆畫，從而適用于用戶定制。

接下來進一步的研究包括把本文方法的框架從靜態(tài)圖像擴展到視頻序列，或應用于游戲軟件及移動設備軟件中，如文獻[15]。

參考文獻：

[1]

SOUSA M C， BUCHANAN J W. Computer generated graphite pencil rendering of 3D polygonal models [J]. Computer Graphics Forum， 1999， 18（3）： 195-207.

[2]

LEE H， KWON S， LEE S. Realtime pencil rendering [C]// NPAR 2006： Proceedings of the 4th International Symposium on NonPhotorealistic Animation and Rendering. New York： ACM， 2006： 37-45.

[3]

LI N， HUANG Z. A featurebased pencil drawing method [C]// GRAPHITE 2003： Proceedings of the 1st International Conference on Computer Graphics and Interactive Techniques in Australasia and South East Asia. New York： ACM， 2003： 135-140.

[4]

CHEN Z Y， ZHOU J Y， GAO X Y， et al. A novel method for pencil drawing generation in nonphotorealistic rendering [C]// PCM 2008： Proceedings of the 9th Pacific Rim Conference on Multimedia， LNCS 5353. Berlin： Springer， 2008： 931-934.

[5]

YAMAMOTO S， MAO X Y， IMAMIYA A. Enhanced LIC pencil filter [C]// CGIV 2004： Proceedings of the 2004 International Conference on Computer Graphic， Imaging and Visualization. Washington， DC： IEEE Computer Society， 2004： 251-256.

[6]

YANG H， KWON Y， MIN K. A stylized approach for pencil drawing from photographs [J]. Computer Graphics Forum， 2012， 31（4）： 1471-1480.

[7]

李龍生，周經(jīng)野，陳益強，等.一種改進的鉛筆畫的生成方法[J].中國圖象圖形學報，2007，12（8）：1423-1429.（LI L S， ZHOU J Y， CHEN Y Q， et al. An improved generation method of pencil sketching [J]. Journal of Image and Graphics， 2007， 12（8）： 1423-1429.）

[8]

謝黨恩，趙楊，徐丹.一種鉛筆濾鏡生成算法及其在GPU上的實現(xiàn)[J].計算機輔助設計與圖形學學報，2008，20（1）：26-31.（XIE D E， ZHAO Y， XU D. A method for generation of pencil filter and its implementation on GPU [J]. Journal of ComputerAided Design & Computer Graphics， 2008， 20（1）： 26-31）

[9]

LU C W， XU L， JIA J Y. Combining sketch and tone for pencil drawing production [C]// NPAR12： Proceedings of the 10th International Symposium on NonPhotorealistic Animation and Rendering. AirelaVille： Eurographics Association， 2012： 65-73.

[10]

KIM G， WOO Y， YIM C. Color pencil filter for nonphotorealistic rendering applications [C]// ISCE 2014： Proceedings of the 18th IEEE International Symposium on Consumer Electronics. Piscataway， NJ： IEEE， 2014： 1-2.

[11]

KANG H， LEE S， CHUI C K. Coherent line drawing [C]// NPAR 2007： Proceedings of the 5th International Symposium on Nonphotorealistic Animation and Rendering. New York： ACM， 2007： 43-50.

[12]

WANG S D， WU E H， LIU Y Q， et al. Abstract line drawings from photographs using flowbased filters [J]. Computer & Graphics， 2012， 36（4）： 224-231.

[13]

趙艷丹，趙漢理，許佳奕，等.基于人臉特征和線積分卷積的肖像素描生成[J].計算機輔助設計與圖形學學報，2014，26（10）：1711-1719.（ZHAO Y D， ZHAO H L， XU J Y， et al. portrait drawing generation based on facial features and line integral convolution [J]. Journal of ComputerAided Design & Computer Graphics， 2014， 26（10）： 1711-1719.）

[14]

KIM G， KIM T， LIM DH， et al. Sketch filter for feature extraction and rendering applications [J]. Electronics Letters， 2013， 49（13）： 805-806.

[15]

JUNG J J， KIM J Y， CHUNG H S， et al. An intuitive user interaction method using multisensors for pencil drawing filter of NPR rendering in mobile devices [J]. Multimedia Tools & Applications， 2015， 74（7）： 2371-2389.