莊曉宇，楊小康，陳 立

（上海交通大學(xué) 圖像通信與信息處理研究所；上海交通大學(xué) 上海數(shù)字媒體處理與傳輸重點實驗室，上海 200240）

0 引言

電影是人類寶貴的藝術(shù)文化遺產(chǎn)。然而電影膠片是一種容易老化的化學(xué)物質(zhì)，并且由于不恰當(dāng)?shù)谋４?、播放和拷貝，使得許多舊影片或損壞或丟失。隨著數(shù)字技術(shù)的發(fā)展，數(shù)字修復(fù)成了舊電影修復(fù)的主要方式。該技術(shù)的目標是將嚴重降質(zhì)的老電影膠片恢復(fù)成為可滿足觀眾需求的無損傷的高質(zhì)量數(shù)字視頻。研究針對舊電影中的閃爍、斑點、劃痕、褪色等損傷的檢測修復(fù)算法，是該領(lǐng)域的重要工作。

本文主要針對電影膠片中經(jīng)常出現(xiàn)的劃痕損傷進行了分析和研究。劃痕的形成原因主要有兩個，一是視頻在拍攝過程中顆粒對膠片產(chǎn)生了劃傷，二是視頻在播放過程中膠片與攝像機摩擦產(chǎn)生了損傷。因此，劃痕通常呈線狀分布在電影膠片中，一般為3～10個像素寬，長短不一，或為白色或為黑色，所覆蓋區(qū)域圖像信息被嚴重破壞。直線劃痕會在同一位置保持若干幀，或輕微移動。

劃痕檢測算法在很多文章中已有討論。Kokaram[1]認為劃痕是一種加性損傷，不含有原圖的任何信息。Kokaram通過霍夫變換提取圖像劃痕，并向水平軸垂直投影，獲得劃痕模型，再利用貝葉斯算法限定模型參數(shù)，找出劃痕位置。Kokaram模型過于簡單，對長度較短的短劃痕容易造成漏檢。Bruni[2]修改了Kokaram劃痕模型，提出了一種更為通用的劃痕亮度特征模型。Bruni算法改進了Kokaram的不足之處，但此算法不能自動檢測白色劃痕和黑色劃痕，也不能提供劃痕的長度信息以及在垂直軸上的位置信息。除此之外，文獻[3-5]均利用了劃痕空域亮度模型進行檢測。

除了以上的主要方法之外，另有一些利用劃痕的邊緣形態(tài)特性進行檢測[6-9]，但是由于沒有利用劃痕的亮度余弦衰減特性，容易產(chǎn)生誤檢和漏檢現(xiàn)象。

綜上所述，Kokaram和Bruni提出的基于劃痕空域亮度模型的檢測方法，可以較為精確地檢測到垂直劃痕在圖像水平方向上的位置，但是這種方法沒有考慮到劃痕的形態(tài)特性，因此無法獲得垂直劃痕在垂直方向上的長度和具體位置等細節(jié)信息。另一方面，僅僅利用劃痕的邊緣特性進行檢測方法，雖然可以獲得劃痕的細節(jié)信息，但由于作用于整幅圖像并且缺少定量的分析，主觀性較大，不可避免地會檢出許多同樣具有邊緣特性的干擾物體。

1 新算法簡介

針對以上問題，筆者提出了一種新的檢測算法，將檢測過程分為兩個步驟（如圖1所示），先利用垂直劃痕的空域亮度特征模型定位劃痕在水平方向上的位置，再利用劃痕的形態(tài)學(xué)特征獲取這些劃痕在垂直方向上的細節(jié)信息。不同于傳統(tǒng)意義上的利用劃痕單一特征進行檢測的方法，這種新的檢測算法同時考慮了劃痕的兩方面特征，使得檢測過程：

1）精確度高。劃痕位置定位和劃痕細節(jié)獲取這兩個步驟之間相輔相成，前者對于劃痕水平位置的預(yù)定位縮小了后者的作用范圍從而去除了后者檢出的大量干擾噪聲，而后者對于前者進行了細化從而提取出了垂直劃痕的長度及垂直方向上的位置信息。

2）計算復(fù)雜度低。劃痕位置定位的算法復(fù)雜度只有O（N）（N為待檢測圖像列數(shù)），遠小于通過神經(jīng)網(wǎng)絡(luò)預(yù)篩選劃痕的方法[7]。

3）自動化程度高。在第一步中改進了劃痕的亮度空間模型，并且在Bruni的檢測方法基礎(chǔ)上加入了劃痕顏色的判斷，使得檢測過程自動化程度提高。實驗證明，此檢測方法能自動檢測電影膠片中的各種垂直劃痕，可投入實際應(yīng)用中。

2 劃痕位置定位

2.1 傳統(tǒng)的劃痕空域亮度模型

根據(jù)Kokaram和Bruni對于垂直劃痕亮度特性的研究成果，劃痕在圖像水平方向上呈衰減的余弦特性，數(shù)學(xué)表達式為

式中：i為圖像x軸，j為圖像y軸，bp是劃痕最小亮度，mp和cp分別代表余弦曲線的斜率和截距，kp為劃痕的衰減系數(shù)，ωp為劃痕寬度的一半[1]。

Bruni檢測算法主要過程是：首先對圖像采取零均值的Random投影以加強劃痕亮度的余弦特性，并獲得圖像的亮度截面曲線（如圖2所示），接下來，根據(jù)劃痕的寬度特性（3～10像素寬），亮度特性（超過圖像平均亮度閾值），以及人眼特性（人眼對同一物體的辨別力隨背景亮度的變化而變化），依次篩除亮度截面曲線中不符合條件的極值點，最終得到垂直劃痕在水平方向上的位置。

2.2 改進的劃痕空域亮度模型

傳統(tǒng)的垂直劃痕模型只描述了劃痕亮度的余弦衰減特征，缺少長度和寬度信息。因此筆者提出了一個更為詳盡的劃痕空域亮度模型

式中：i為圖像x軸，j為圖像y軸。rs（j）是圖像第j列劃痕的起始位置，re（j）為圖像第j列劃痕的終端位置，bp為劃痕最小亮度，pi代表余弦曲線的極值點位置，kp為劃痕的衰減系數(shù)，ωp為劃痕寬度的一半，sgn為階躍函數(shù)，定義為

基于Bruni檢測算法，在劃痕位置定位的檢測步驟中加入了對劃痕顏色的判斷，提高了檢測過程的自動化程度（檢測步驟見圖3）

得到的劃痕初級掩模如圖4所示。

3 劃痕細節(jié)獲取

3.1 算法描述

劃痕由外界損傷所致，對于整幅圖像不協(xié)調(diào)，對于其周圍像素而言，邊緣特性明顯。形態(tài)學(xué)作為圖像處理的一種常用手段，可用來提取與圖像形狀有關(guān)的圖像分量，而形態(tài)學(xué)濾波器則常用于去除圖像中的噪聲。這里，將劃痕也看成圖像中的一種噪聲，用形態(tài)學(xué)濾波器結(jié)合特定的結(jié)構(gòu)元素將其濾出。先用Canny算子對圖像進行邊緣檢測，再用形態(tài)學(xué)濾波器對圖像進行濾波，原圖和濾波之后的圖像之差即是所需的圖像劃痕細節(jié)。不可避免的是，此劃痕細節(jié)圖帶有少量噪聲，如圖5所示。

3.2 劃痕最終掩模確定

從圖4中看出，利用劃痕空域亮度模型得到的劃痕初級掩模指出了垂直劃痕在水平方向上的位置，但不包含劃痕的長度等細節(jié)信息。而如圖5所示，利用形態(tài)學(xué)濾波器雖然可以得到劃痕的細節(jié)信息，但是有很多干擾噪聲。將兩者有效結(jié)合，對兩圖進行與操作，這樣利用劃痕的初級掩模約束帶有噪聲的劃痕圖，去除劃痕位置周圍的干擾噪聲，同時利用帶噪聲的劃痕細節(jié)圖提取初級掩模中的劃痕細節(jié)信息，得到圖6a。為了連接斷點并去除劃痕位置上的噪聲，對此圖進行后處理：首先進行垂直方向和水平方向上的膨脹操作，再根據(jù)圖的大小將圖水平分成N段，設(shè)每一段起始值為top，終值為bottom，用數(shù)組T記錄每一段上每一列的像素之和，并設(shè)定閾值為threshold

得到劃痕的最終掩模見圖6b。

4 實驗結(jié)果

實驗選取Kokaram提出的被廣泛接受的劃痕檢測算法測試圖Knight和Sitdown測試本文提出的算法，并與Bruni算法以及基于神經(jīng)網(wǎng)絡(luò)和形態(tài)學(xué)濾波結(jié)合的方法[7]進行比較。

Knight中只包含一條主要劃痕，幾乎貫穿整個畫面寬度，圖像包含少量噪聲。經(jīng)過3種算法，分別得到圖7所示結(jié)果。

從實驗結(jié)果看出，3種算法都有效地檢測出了垂直劃痕在水平方向上的位置。對于貫穿圖像始終的劃痕來說，Bruni算法和本文提出的算法均能得到很好的檢測結(jié)果。Bruni算法由于不考慮劃痕長度，對于處理這種幾乎貫穿始終的劃痕基本沒有影響，而本文提出的算法檢測出的劃痕長度與真實劃痕長度基本相同?；谏窠?jīng)網(wǎng)絡(luò)和形態(tài)學(xué)濾波的檢測方法檢測出的劃痕長度則明顯小于真實劃痕長度。

Sitdown中包含主要劃痕、次要劃痕和一些輕微的劃痕，且有較大噪聲，接下來使用此圖像進行測試，得到圖8所示結(jié)果。

可以看出，對于圖像Sitdown，筆者提出的算法得到了效果較好的劃痕掩模，相對于Bruni算法，包含了劃痕的細節(jié)信息，大大有利于下一步劃痕的修復(fù)。相對于基于神經(jīng)網(wǎng)絡(luò)和形態(tài)學(xué)濾波相結(jié)合的檢測算法，漏檢率小，計算復(fù)雜度也小。筆者提出的算法可以很好地應(yīng)用于實際系統(tǒng)中。但也可看出，此算法在面對極類似劃痕特性的自然物體時，會造成誤判，這也是需要改進的地方。

5 結(jié)論

筆者提出了一種結(jié)合了劃痕空域亮度模型和形態(tài)學(xué)濾波的自動劃痕檢測算法。首先計算圖像灰度Random投影的亮度極值點，通過方差比較判斷劃痕的顏色，再根據(jù)劃痕的寬度和亮度特征及人眼的特性進行篩選，最后得到垂直劃痕的初級掩模，包含其水平位置信息及寬度信息。接下來，對圖像先后進行邊緣檢測和形態(tài)學(xué)濾波，從而得到劃痕在垂直方向上的具體位置信息以及劃痕的長度信息，最終得到理想的劃痕掩模。本算法精確度高，算法復(fù)雜度低，易實現(xiàn)，可應(yīng)用于實際系統(tǒng)。

[1]KOKARAM A C.Detection and removal of line scratches in degraded motion picture sequences[J].IEEE Trans.Signal Processing：VIII，1996，1：5-8.

[2]BRUNI V，VITULANO D.A generalized model for scratch detection[J].IEEE Trans.Image Processing，2004，13：44-50.

[3]ZHANG Hongying，WU Yadong，KUANG Zhonglin.An efficient scratches detection and inpainting algorithm for old film restoration[C]//Proc.2009 International Conference on Information Technology and Computer Science.Washington，DC：IEEE Press，2009：75-78.

[4]周磊.數(shù)字電影修復(fù)處理及相關(guān)技術(shù)的研究[D].上海：上海交通大學(xué)，2006.

[5]杜坤，鄒炎.基于空間特征的視頻劃痕修復(fù)技術(shù)[J].中國科學(xué)院研究生院學(xué)報，2008，25（4）：518-523.

[6]KIM N D，UDPA S.Nonlinear operators for edge detection and line scratch removal[C]//Proc.IEEE International Conference on SMC 1998.[S.l.]：IEEE Press，1998：4401-4404.

[7]KIM K T，KIM E Y.Film line scratch detection using neural network and morphological filter[C]//Proc.IEEE International Conference on CIS 2008.[S.l.]：IEEE Press，2008：1007-1010.

[8]張利文，張紅英，吳斌.基于多種邊緣檢測的視頻劃痕技術(shù)[J].電視技術(shù)，2010，34（1）：85-87.

[9]ZENG Qingyue，DING Yongdong.Scratch line detection and restoration based on Canny operator[C]//2009 Asia-Pacific Conference on Information Processing：Vol 2.[S.l.]：IEEE Press，2009：148-151.