岳 斌，侯春萍

(天津大學(xué)電子信息工程學(xué)院，天津 300072)

立體視差調(diào)整的快速估計(jì)方法

岳 斌，侯春萍

(天津大學(xué)電子信息工程學(xué)院，天津 300072)

立體圖像的視差調(diào)整多用于會(huì)聚調(diào)節(jié)和視差校正．為準(zhǔn)確地計(jì)算出立體圖像視差調(diào)整量的取值范圍，建立了立體視差調(diào)整的快速估計(jì)方法．算法首先將人類立體視覺(jué)的Panum融合區(qū)應(yīng)用于立體顯示空間，給出計(jì)算立體顯示屏幕Panum融合區(qū)的方法，然后推導(dǎo)出立體顯示屏幕Panum融合區(qū)對(duì)視差調(diào)整量的限定，最后通過(guò)對(duì)立體圖像深度線索的稀疏匹配快速估計(jì)出Panum融合區(qū)限定下視差調(diào)整量的適用范圍．經(jīng)實(shí)驗(yàn)驗(yàn)證，本方法可以快速、準(zhǔn)確地得到視差調(diào)整量的適用范圍，最大限度地避免立體圖像中出現(xiàn)雙眼復(fù)視的情況．

視差調(diào)整；Panum融合區(qū)；圖像分割；特征提??；特征點(diǎn)匹配

近年來(lái)隨著立體技術(shù)的持續(xù)火熱，立體顯示和立體編碼兩方面的研究已經(jīng)取得了許多重大成果．立體顯示方面，目前市場(chǎng)上應(yīng)用最多的視差式立體顯示設(shè)備可以提供較好的立體效果，讓人們能夠體驗(yàn)近乎真實(shí)的立體影像．立體編碼方面，通過(guò)眾多視頻編碼專家的努力工作，已經(jīng)建立起多視點(diǎn)視頻編碼(multiview video coding，MVC)標(biāo)準(zhǔn)[1]．MVC標(biāo)準(zhǔn)可以使立體節(jié)目在較大壓縮比下仍保持良好的效果．在立體顯示技術(shù)和立體編碼技術(shù)快速發(fā)展并不斷取得進(jìn)步的同時(shí)，立體節(jié)目的匱乏變成了影響立體產(chǎn)業(yè)快速發(fā)展的一塊短板，其質(zhì)量的好壞對(duì)觀看舒適度有著較大的影響．

立體節(jié)目可以通過(guò)電腦繪制、2,D轉(zhuǎn)3,D、雙(多)相機(jī)拍攝和深度相機(jī)拍攝等多種方式獲取．筆者僅討論由最基本的雙視點(diǎn)立體相機(jī)獲取的立體節(jié)目視差調(diào)整問(wèn)題．雙視點(diǎn)攝像系統(tǒng)是模擬人類視覺(jué)系統(tǒng)用兩只眼睛從自然界真實(shí)三維景物中獲取信息的方式，通過(guò)使用在水平方向上相隔一定距離的兩部相機(jī)(與左、右眼相對(duì)應(yīng)，分別稱為左視點(diǎn)相機(jī)和右視點(diǎn)相機(jī))，來(lái)實(shí)現(xiàn)對(duì)三維場(chǎng)景即拍攝空間信息的采集和記錄．根據(jù)兩部相機(jī)光軸交點(diǎn)位置不同，可將立體信息采集系統(tǒng)分為不同配置模式．如果光軸交于相機(jī)鏡頭前方，稱為會(huì)聚配置模式[2](convergence configuration)；如果光軸夾角為零，即兩部相機(jī)的光軸平行，稱為平行配置模式(parallel configuration)．

將會(huì)聚配置模式和平行配置模式進(jìn)行比較，會(huì)聚配置模式拍攝的節(jié)目具有同時(shí)存在交叉視差和非交叉視差(即同時(shí)具有2個(gè)方向的深度)的優(yōu)點(diǎn)，但也有深度平面彎曲失真[3]和梯形失真[4-5]的缺點(diǎn)；平行配置模式拍攝的節(jié)目雖然沒(méi)有上述2種失真，但是只存在單一方向的視差，即或者只有交叉視差(凸出屏幕方向的深度)，或者只有非交叉視差(凹進(jìn)屏幕方向的深度)，深度表現(xiàn)范圍較會(huì)聚配置模式?。叫信渲媚Ｊ胶蜁?huì)聚配置模式各有優(yōu)劣．在實(shí)際應(yīng)用中，平行配置模式因其易于實(shí)現(xiàn)、調(diào)整簡(jiǎn)單等優(yōu)點(diǎn)而被廣泛采用．

立體視差調(diào)整可以改善平行配置模式拍攝的節(jié)目只存在一個(gè)方向深度的缺點(diǎn)，使經(jīng)過(guò)調(diào)整的立體節(jié)目同時(shí)存在交叉視差和非交叉視差，形成等效會(huì)聚．立體視差調(diào)整需要限定范圍，不恰當(dāng)?shù)囊暡钫{(diào)整量可能會(huì)使立體節(jié)目在觀看時(shí)產(chǎn)生部分景物無(wú)法融合、出現(xiàn)重影等現(xiàn)象，因此在視差調(diào)整前必須計(jì)算好視差調(diào)整量的范圍．筆者提出了一種立體視差調(diào)整的快速估計(jì)算法，使用這種算法可以快速準(zhǔn)確地算出視差調(diào)整量的范圍，經(jīng)過(guò)算法調(diào)整的立體節(jié)目可以較舒適地融合，從而獲得較好的立體觀看效果．

1 平行配置模式立體視差調(diào)整的基本方法

平行配置模式立體視差調(diào)整主要有2種方法：一種是實(shí)時(shí)獲取的離軸平行法，主要用于視差的會(huì)聚調(diào)整；另一種是后處理的視差平移調(diào)整法，該方法既可用于視差的會(huì)聚調(diào)整，也可以用于視差的舒適量調(diào)整，即視差校正．

離軸平行法[6]采用一種特殊結(jié)構(gòu)的立體相機(jī)系統(tǒng)，結(jié)構(gòu)模型如圖1所示．這種系統(tǒng)的兩部相機(jī)的光軸相對(duì)(charge-coupled device，CCD)成像面中心在水平方向上有一定的偏移量．在拍攝時(shí)，兩部相機(jī)控制各自的CCD成像面中心，使相對(duì)應(yīng)的相機(jī)光心的連線相交于一點(diǎn)，形成等效會(huì)聚．這種方法通過(guò)硬件來(lái)實(shí)現(xiàn)平行配置攝像系統(tǒng)的視差會(huì)聚調(diào)整，其主要缺點(diǎn)是對(duì)相機(jī)本身提出了特殊要求，操作復(fù)雜，價(jià)格昂貴，不具有普遍適用性．

視差平移調(diào)整法是對(duì)已獲取的立體圖像進(jìn)行視差調(diào)整，利用圖像處理方法完成，本文所做的研究都是針對(duì)此方法．視差平移調(diào)整通常的做法是先確定視差調(diào)整量，再根據(jù)調(diào)整量對(duì)不同視點(diǎn)的圖像進(jìn)行剪切、平移處理，達(dá)到視差會(huì)聚調(diào)整和視差校正的目的．圖2以兩視點(diǎn)立體圖像為例說(shuō)明視差平移調(diào)整過(guò)程．首先確定視差調(diào)整量M，然后將左視點(diǎn)圖像左側(cè)寬度為M的一部分圖像剪切掉，同時(shí)將右視點(diǎn)圖像右側(cè)寬度也為M的一部分圖像剪切掉，最后將處理后的左、右視點(diǎn)圖像平移對(duì)齊，生成新的立體圖像對(duì)．Wl( ul, v)、Wr( ur, v)分別為左、右視點(diǎn)圖像中的一對(duì)對(duì)應(yīng)點(diǎn)，在視差調(diào)整前以各自視點(diǎn)圖像中心O為原點(diǎn)的坐標(biāo)系中橫坐標(biāo)分別為ul和ur，水平視差為ul-ur．在視差調(diào)整后的新左、右視點(diǎn)圖像中以圖像中心O′為原點(diǎn)生成新坐標(biāo)系，Wl和Wr的橫坐標(biāo)分別變?yōu)閡l-M/2和ur+M/2，水平視差變?yōu)閡l-ur-M．通過(guò)視差平移調(diào)整法，左、右視點(diǎn)圖像對(duì)應(yīng)點(diǎn)的視差減小M．

圖1 離軸平行相機(jī)模型Fig.1 Horizontal-moving stereoscopic camera model

圖2 視差平移調(diào)整法Fig.2 Disparity parallel moving adjustment metho d

盡管視差平移調(diào)整法使立體圖像在水平方向上損失了一部分信息，但損失的信息對(duì)立體圖像視場(chǎng)影響不大．因?yàn)槭紫热鐖D3所示，平行配置的雙視點(diǎn)相機(jī)存在同時(shí)可視區(qū)(圖3中陰影部分)和非同時(shí)可視區(qū)(圖3中非陰影部分)，左視點(diǎn)圖像左側(cè)和右視點(diǎn)圖像右側(cè)各有一部分區(qū)域無(wú)法在另一視點(diǎn)圖像中找到對(duì)應(yīng)．視差平移調(diào)整法剪切掉的區(qū)域包括對(duì)立體感沒(méi)有貢獻(xiàn)的非同時(shí)可視區(qū)；其次視差調(diào)整量M通常取值較小，剪切掉的部分相對(duì)整幅圖像的視場(chǎng)只占很小一部分．

圖3 平行配置雙視點(diǎn)相機(jī)視區(qū)Fig.3 Visual area of parallel configuration stereoscopic camera

2 Panum融合區(qū)界定的視差調(diào)整范圍

視差平移調(diào)整法如果沒(méi)有選取適當(dāng)?shù)囊暡钫{(diào)整量M，會(huì)使立體圖像中某些景物的視差過(guò)大，在觀看時(shí)無(wú)法融合成一個(gè)單一的像，形成雙眼復(fù)視．為了最大限度地避免這種現(xiàn)象，需要引入Panum融合區(qū)對(duì)視差調(diào)整量M進(jìn)行限定．

一般而言，雙眼復(fù)視和雙眼單視與人類立體視覺(jué)基本機(jī)理[7]有關(guān)．視覺(jué)生理學(xué)指出，在雙眼注視點(diǎn)上的物體，其刺激作用到雙眼視網(wǎng)膜的對(duì)應(yīng)點(diǎn)上，產(chǎn)生單一的像；注視點(diǎn)附近一定范圍的物體，盡管沒(méi)有刺激到雙眼視網(wǎng)膜的對(duì)應(yīng)點(diǎn)上，也可以形成單像．但這時(shí)如果某物體與注視點(diǎn)的距離超出一定范圍則無(wú)法融合成單像，只會(huì)觀察到雙像．這一現(xiàn)象是Panum發(fā)現(xiàn)并提出的[8]．如圖4所示，在注視點(diǎn)周圍可以形成單像的區(qū)域被稱為Panum融合區(qū)(Panum's fusional area)．在Panum融合區(qū)內(nèi)的物體均能形成雙眼單視，超出Panum融合區(qū)的物體則會(huì)形成雙眼復(fù)視．

圖4 Panum融合區(qū)Fig.4 Panum’s fusional area

當(dāng)人們?cè)谟^看立體顯示屏幕上的節(jié)目時(shí)，雙眼的注視點(diǎn)在屏幕上．通常注視點(diǎn)不是固定在屏幕上一點(diǎn)，而是隨著節(jié)目中的景物在屏幕上移動(dòng)，所以立體顯示屏幕上的Panum融合區(qū)不能定義為如圖4所示的馬鞍形區(qū)域，而應(yīng)該定義成如圖5虛線所示的、以前后2條直線為界的區(qū)域，這樣定義立體顯示屏幕的Panum融合區(qū)，即使注視點(diǎn)在屏幕邊緣時(shí)仍然能保證Panum融合區(qū)的準(zhǔn)確性．

文獻(xiàn)[9]測(cè)量出人眼Panum融合區(qū)的水平視差界，文中用視差角θ 來(lái)表示Panum融合區(qū)界．一般情況(短時(shí)間觀察獲得雙眼單視)穩(wěn)定情況(長(zhǎng)時(shí)間觀察獲得雙眼單視)因?yàn)橛^看立體節(jié)目是一個(gè)長(zhǎng)時(shí)間持續(xù)的活動(dòng)，所以為了保證在觀看時(shí)間內(nèi)都能形成雙眼單視，Panum融合區(qū)的水平視差界取θ=±42．

圖5 立體顯示屏幕的Panum融合區(qū)Fig.5 Panum’s fusional area of stereo screen

如圖5所示，可分別計(jì)算出人眼分別與立體顯示屏幕Panum融合區(qū)前界和后界的距離fz和bz，即

Panum融合區(qū)前界與屏幕之間的距離Pf和Panum融合區(qū)后界與屏幕之間的距離Pb的計(jì)算式分別為

由式(1)～式(4)可以看出，當(dāng)觀看者與屏幕之間的距離不同時(shí)，Panum融合區(qū)的范圍也不同．假設(shè)觀看距離v=2 000 mm ，計(jì)算出立體顯示屏幕Panum融合區(qū)的前界距離屏幕Pf=547 mm，后界距離屏幕Pb=-1205 mm．因此由左、右視點(diǎn)圖像對(duì)應(yīng)點(diǎn)視差引起的感知深度凸出屏幕不應(yīng)超過(guò)547 mm，凹進(jìn)屏幕不應(yīng)超過(guò)1205 mm．

觀看者感知到的深度，與顯示在屏幕上左、右視點(diǎn)圖像的對(duì)應(yīng)點(diǎn)視差有關(guān)，立體顯示屏幕Panum融合區(qū)前后界Pf=547 mm ，Pb=-1205 mm，由視差式立體顯示原理可以推導(dǎo)出Panum融合區(qū)對(duì)應(yīng)點(diǎn)的視差范圍為[-24.44 mm,24.47 mm]．在立體圖像處理和立體顯示時(shí)，為了更好地表述以及處理立體圖像，一般選用像素距離表示視差，根據(jù)立體顯示屏幕的像素密度(pixels per inch，PPI)，可以將視差從歐氏距離轉(zhuǎn)換為像素距離．目前市場(chǎng)上常見(jiàn)的平板立體電視PPI的典型值為56，即相鄰像素點(diǎn)距離為0.45 mm，當(dāng)觀看距離v=2 000 mm時(shí)，計(jì)算出雙視點(diǎn)立體電視上Panum融合區(qū)的視差像素范圍為[-54,54]．

為了視差調(diào)整處理方便，本文之后的立體顯示屏幕Panum融合區(qū)表示由以Panum融合區(qū)前后界與屏幕的距離范圍[Pb, Pf]轉(zhuǎn)換為以Panum融合區(qū)在左、右視點(diǎn)圖像的視差范圍[Pmin,Pmax]，其中Pmin為Panum區(qū)最小融合視差，Pmax為Panum區(qū)最大融合視差．

綜上所述，在進(jìn)行視差平移調(diào)整前必須充分考慮Panum融合區(qū)對(duì)視差調(diào)整量M的限制，以保證在觀看立體圖像時(shí)不會(huì)出現(xiàn)雙眼復(fù)視．此外，需要注意針對(duì)不同像素密度的顯示器以及不同觀看距離，Panum融合區(qū)的視差范圍是不同的．

3 Panum融合區(qū)內(nèi)視差調(diào)整量的計(jì)算

為了確定視差調(diào)整量M的取值范圍，除了需要計(jì)算立體顯示屏幕的Panum融合區(qū)范圍[Pmin,Pmax]，還需要計(jì)算顯示的立體圖像左右視點(diǎn)最大視差Smax和最小視差Smin．通過(guò)視差平移調(diào)整后，立體圖像的視差范圍由[Smin,Smax]變?yōu)閇Smin-M, Smax-M]，在盡量保證調(diào)整后視差范圍在Panum融合區(qū)范圍內(nèi)的前提下，可計(jì)算出視差調(diào)整量M的范圍為[Smax-Pmax,Smin-Pmin]．

計(jì)算立體圖像最大和最小視差最容易想到的方法是將左、右視點(diǎn)圖像中每個(gè)點(diǎn)做匹配，然后逐一比較視差，最終確定整個(gè)圖像的最大視差和最小視差．這種稠密匹配并比較視差的方法，需要計(jì)算左、右視點(diǎn)圖像的全部對(duì)應(yīng)點(diǎn)，計(jì)算量非常大；另外稠密立體匹配算法[10]在計(jì)算視差有跳躍的邊緣輪廓處的點(diǎn)，以及在平滑區(qū)域內(nèi)特征不明顯的點(diǎn)時(shí)，容易出現(xiàn)誤匹配，得到錯(cuò)誤的視差值．但是對(duì)于估計(jì)視差調(diào)整量的算法，最重要的需求是對(duì)應(yīng)點(diǎn)匹配的準(zhǔn)確性．

本文提出了一種快速計(jì)算立體圖像最大和最小視差的方法．該方法不用對(duì)左、右視點(diǎn)圖像進(jìn)行逐點(diǎn)匹配，只需在左、右視點(diǎn)圖像中找出少量對(duì)應(yīng)特征點(diǎn)，即可計(jì)算出圖像最大和最小視差，同時(shí)還顯著地降低對(duì)應(yīng)點(diǎn)的誤匹配率．

3.1 最大和最小視差的快速計(jì)算方法

本文提出的立體圖像最大和最小視差快速計(jì)算方法是通過(guò)對(duì)立體圖像的分析，逐步縮小最大和最小視差點(diǎn)的搜索范圍，最大限度地剔除不可能出現(xiàn)最大和最小視差點(diǎn)的區(qū)域．因?yàn)椴恍枰獙?duì)剔除區(qū)域內(nèi)的點(diǎn)進(jìn)行匹配運(yùn)算，所以可顯著減少計(jì)算量，降低時(shí)間復(fù)雜度．

在人類立體視覺(jué)中，物體表面的形狀輪廓、明顯紋理特征和光影等都是產(chǎn)生立體感的重要線索[11]，利用這些信息可以對(duì)立體圖像進(jìn)行分割．如圖6所示，立體圖像左、右視點(diǎn)圖像被分割成許多個(gè)對(duì)應(yīng)的圖像塊．這樣就可以將在左、右視點(diǎn)圖像中逐一尋找對(duì)應(yīng)點(diǎn)然后比較視差的問(wèn)題轉(zhuǎn)化為：首先進(jìn)行左、右視點(diǎn)圖像的分割，然后求左、右視點(diǎn)圖像中每個(gè)對(duì)應(yīng)圖像塊的最大和最小視差，最后逐一比較圖像塊的最大和最小視差問(wèn)題．

圖6 立體圖像的分割結(jié)果Fig.6 Result of stereo image segmentation

可以看出在分割后的每個(gè)圖像塊內(nèi)部紋理都是平滑的．根據(jù)立體視覺(jué)原理，如果排除由經(jīng)驗(yàn)產(chǎn)生的心理暗示，紋理平滑表面對(duì)立體感的貢獻(xiàn)很少．在只有生理立體視覺(jué)作用的情況下，人類通常將紋理平滑表面感知成在一個(gè)平面上．因此可以將立體圖像中物體的表面表示成由許多個(gè)被分割出來(lái)的小平面圖像塊組成的．左、右視點(diǎn)圖像間對(duì)應(yīng)的圖像塊，其最大視差和最小視差只會(huì)分布在圖像塊的邊緣，因此在搜索最大和最小視差時(shí)可以將對(duì)應(yīng)圖像塊內(nèi)部的點(diǎn)剔除，此時(shí)最大和最小視差點(diǎn)的搜索范圍縮小為左、右視點(diǎn)圖像分割出的對(duì)應(yīng)圖像塊邊緣．

然而，經(jīng)過(guò)分割的圖像塊對(duì)應(yīng)邊緣仍然有數(shù)量眾多的點(diǎn)，全部尋找對(duì)應(yīng)點(diǎn)，計(jì)算量也很大，同時(shí)匹配這些對(duì)應(yīng)點(diǎn)時(shí)還存在一定的誤匹配率，因此有必要進(jìn)一步縮小最大和最小視差的搜索范圍．

根據(jù)邊緣曲線可以按曲率變化用許多直線段近似描述，這樣就將分割出的邊緣用直線段近似描述，比較對(duì)應(yīng)邊緣視差近似成比較對(duì)應(yīng)直線段的視差．由直線段映射原理可知，當(dāng)2條直線段非平行時(shí)最大和最小視差點(diǎn)分布在線段端點(diǎn)；2條線段平行時(shí)所有對(duì)應(yīng)點(diǎn)視差相同．因此在搜索最大和最小視差時(shí)，可以進(jìn)一步把對(duì)應(yīng)邊緣直線上的非端點(diǎn)剔除，這樣就將最大和最小視差點(diǎn)的搜索范圍進(jìn)一步縮小為立體圖像分割邊緣上的曲率變化劇烈的特征點(diǎn)．

綜上所述，立體圖像的最大和最小視差搜索范圍可最終縮小為根據(jù)立體視覺(jué)線索對(duì)立體圖像進(jìn)行分割的邊緣上的特征點(diǎn)，在左、右視點(diǎn)圖像中逐一尋找對(duì)應(yīng)點(diǎn)然后比較視差的方法可簡(jiǎn)化為逐一尋找特征點(diǎn)的對(duì)應(yīng)點(diǎn)然后比較視差的方法，將稠密立體匹配問(wèn)題簡(jiǎn)化成稀疏立體匹配問(wèn)題．這個(gè)方法的優(yōu)點(diǎn)是能快速準(zhǔn)確地計(jì)算出立體圖像的最大和最小視差，大大減少了計(jì)算量，同時(shí)因所挑選的特征點(diǎn)具有較好的匹配特性，降低了誤匹配率．

3.2 算法實(shí)現(xiàn)

計(jì)算立體圖像最大和最小視差的步驟為：首先在立體圖像的右視點(diǎn)圖像中尋找特征點(diǎn)，然后在左視點(diǎn)圖像中對(duì)特征點(diǎn)進(jìn)行匹配，最后比較各對(duì)對(duì)應(yīng)點(diǎn)視差，找出最大和最小視差．

步驟1 使用CSS(curvature scale space)算法[12]在右視點(diǎn)圖像尋找特征點(diǎn)．CSS算法尋找到的點(diǎn)是在給定的邊緣上的曲率極大值點(diǎn)(即角點(diǎn))，CSS檢測(cè)的思想是首先在尺度空間粗糙尺度上檢測(cè)角點(diǎn)，然后向精細(xì)尺度跟蹤這個(gè)點(diǎn)，對(duì)它進(jìn)行修正．在根據(jù)立體圖像中景物輪廓、紋理和光影特征提取的邊緣上使用CSS算法獲取的角點(diǎn)是最大和最小視差快速估計(jì)中需要搜索的特征點(diǎn)．

特征點(diǎn)提取的方法如下．

1) 檢測(cè)邊緣并提取T形角點(diǎn)

第1步：選取適當(dāng)?shù)膮?shù)，使用canny算子[13]對(duì)右視點(diǎn)圖像景物的輪廓、紋理和光影等特征進(jìn)行邊緣提取．

第2步：填補(bǔ)提取邊緣的間隙，形成閉合曲線．

第3步：尋找并記錄下邊緣上的T形角點(diǎn)．

2) CSS角點(diǎn)檢測(cè)與跟蹤

第1步：在最高尺度上計(jì)算邊緣的曲率絕對(duì)值，并選擇局部極大值點(diǎn)作為角點(diǎn)候選點(diǎn)．候選點(diǎn)滿足：大于閾值t(去除圓形角和噪聲)；至少2倍于兩側(cè)相鄰的某個(gè)曲率極小值點(diǎn)．

第2步：跟蹤候選點(diǎn)到最低(細(xì))尺度以獲得更好的位置精度．對(duì)于在高尺度上檢測(cè)到的極大值點(diǎn)，在其低一級(jí)尺度的鄰域搜索極大值點(diǎn)．如此不斷向更低的尺度進(jìn)行跟蹤，對(duì)候選點(diǎn)進(jìn)行修正．

3) 去除重復(fù)標(biāo)記的角點(diǎn)

將1)、2)中得到的T形角點(diǎn)與CSS角點(diǎn)作比較，如果兩者非常臨近則去掉該T形角點(diǎn)．最終得到的角點(diǎn)即為提取的特征點(diǎn)．由右視點(diǎn)圖像最終提取的特征點(diǎn)如圖7所示．

圖7 右視點(diǎn)圖像提取的特征點(diǎn)Fig.7 Feature points of right viewpoint image

步驟2 對(duì)右視點(diǎn)圖像中得到的特征點(diǎn)使用歸一化互相關(guān)法(NCC)[14-15]在左視點(diǎn)圖像中尋找匹配點(diǎn).

歸一化互相關(guān)法首先在特征點(diǎn)圖I1中定義以特征點(diǎn)I1( x, y)為中心(2,n+1)(2,m+1)的區(qū)域，然后設(shè)定滑動(dòng)距離d在搜索圖I2中定義以I2(x, y+d)為中心(2,n+1)(2,m+1)的區(qū)域，計(jì)算這2個(gè)區(qū)域的相關(guān)系數(shù)，即I1( x, y)與I2(x, y+d)的相關(guān)度，通過(guò)改變滑動(dòng)距離d在I2中搜索與I1( x, y)相關(guān)度最高的點(diǎn)，此點(diǎn)即為1(,)I x y的對(duì)應(yīng)點(diǎn)．

文獻(xiàn)[15]中提供了計(jì)算NCC(,,)x y d的公式，即

其中

特征點(diǎn)匹配時(shí)，本文對(duì)相關(guān)系數(shù)NCC(x, y, d)進(jìn)行限定，相關(guān)系數(shù)必須高于一定閾值，否則認(rèn)為此點(diǎn)匹配失敗，同時(shí)將這組對(duì)應(yīng)點(diǎn)剔除，這樣做明顯降低了誤匹配率．匹配后的左、右視點(diǎn)圖像如圖8所示．

圖8 匹配后的立體圖像對(duì)Fig.8 Pair of stereo images after matching

步驟3 尋找最大和最小視差．

在匹配過(guò)程中，對(duì)每對(duì)匹配點(diǎn)的視差進(jìn)行記錄并比較，最后尋找出立體圖像最大視差maxS和最小視差minS．

步驟4 確定視差調(diào)整量M的范圍．

為使立體圖像視差平移調(diào)整后的新視差范圍[Smin-M, Smax-M]盡量在立體顯示屏幕的Panum融合區(qū)[Pmin,Pmax]內(nèi)，需要Smin-M≥Pmin，同時(shí)Smax-M≤Pmax，則M∈[Smax-Pmax,Smin-Pmin]．

需要注意的是，對(duì)有些最大視差Smax和最小視差Smin相差過(guò)大的立體圖像(即在立體圖像中近景與遠(yuǎn)景距離過(guò)大)，存在Smax-Pmax＞Smin-Pmin的情況，此時(shí)視差調(diào)整量M取Smax-Pmax．這樣取值保證了凸出屏幕的近景部分在立體顯示屏幕Panum融合區(qū)內(nèi)，不會(huì)出現(xiàn)雙眼復(fù)視．在立體節(jié)目中，近景多為主要景物，背景多為次要景物，人們?cè)谟^看時(shí)會(huì)將注意力更多地集中在主要景物上，而忽視次要景物．所以當(dāng)立體圖像中近景與遠(yuǎn)景出現(xiàn)融像沖突時(shí)，首先需要保證近景在立體顯示屏幕的Panum融合區(qū)內(nèi)．

4 實(shí)驗(yàn)結(jié)果和分析

本文使用來(lái)自middlebury網(wǎng)站的標(biāo)準(zhǔn)圖庫(kù)中的tsukuba[16]作為測(cè)試圖，選取第1視點(diǎn)圖像和第5視點(diǎn)圖像分別作為左視點(diǎn)圖像和右視點(diǎn)圖像．所做實(shí)驗(yàn)均是在Intel I3 2.4,GHz CPU、2,G內(nèi)存的PC平臺(tái)上進(jìn)行的．立體觀察平臺(tái)為分辨率800×600的雙視點(diǎn)立體顯示器，觀察距離2,000,mm．為了立體電視觀察方便，將圖像分辨率增大到800×600．

首先對(duì)本文提出的最大和最小視差快速計(jì)算算法進(jìn)行實(shí)驗(yàn)與分析，選用稠密立體匹配BVZ算法[17]作為對(duì)比，同時(shí)用middlebury網(wǎng)站提供的真實(shí)視差圖分析誤差．

圖9為使用BVZ算法計(jì)算出的視差圖．從圖中可以看出，亮度最高(即視差最大)區(qū)域?yàn)檎`匹配區(qū)域，亮度最低(即視差最小)區(qū)域?yàn)閳D像最左側(cè)非同時(shí)可見(jiàn)區(qū)，因此該算法得到的最大和最小視差并不是真實(shí)值．由此可見(jiàn)，誤匹配對(duì)視差平移量的估計(jì)有很大的影響．

圖9 BVZ算法視差圖Fig.9 Disparity map with BVZ algorithm

表1中誤差為計(jì)算得到視差與真實(shí)視差差距占真實(shí)視差百分比．實(shí)驗(yàn)結(jié)果表明，本文提出的算法可以快速準(zhǔn)確地計(jì)算出最大和最小視差；BVZ算法得到的最大和最小視差誤差較大，而且耗費(fèi)大量計(jì)算時(shí)間．

表1 maxS和minS的計(jì)算結(jié)果Tab.1 Calculated results ofmaxS andminS

經(jīng)本文最大和最小視差快速計(jì)算算法得到立體圖像tsukuba最大視差Smax為117像素，最小視差Smin為37像素．在2,000,mm的觀察距離，為獲得穩(wěn)定的雙眼單視，需要將視差控制在Panum融合區(qū)[-54,54]像素范圍內(nèi)．可以看到未經(jīng)過(guò)視差平移調(diào)整前立體圖像的最大視差超過(guò)了Panum融合區(qū)，圖像中的臺(tái)燈、石膏像等近景會(huì)出現(xiàn)雙眼復(fù)視，嚴(yán)重影響觀看效果，因此必須要通過(guò)視差調(diào)整對(duì)原視差進(jìn)行校正．

為保證經(jīng)過(guò)調(diào)整的新圖像視差范圍[37-M, 117-M]在[-54,54]像素范圍內(nèi)，得到視差調(diào)整量M∈[63,91]．

現(xiàn)取視差調(diào)整量M為70像素，圖像tsukuba左、右視點(diǎn)調(diào)整結(jié)果如圖10所示．

由圖10可見(jiàn)，視差調(diào)整剪切掉原左、右視點(diǎn)圖像中對(duì)立體感無(wú)貢獻(xiàn)的非同時(shí)可見(jiàn)區(qū)域，同時(shí)立體圖像視場(chǎng)損失不大．由人眼主觀評(píng)價(jià)[18]調(diào)整后的立體圖像，沒(méi)有出現(xiàn)雙眼復(fù)視．

圖10 視差調(diào)整結(jié)果Fig.10 Results of disparity adjustment

5 結(jié) 論

(1) 根據(jù)Panum融合原理，計(jì)算了立體顯示屏幕Panum融合區(qū)的視差范圍，得出了Panum融合區(qū)界限與視差調(diào)整量之間的關(guān)系．提出了一種立體視差調(diào)整的快速估計(jì)算法，可以快速準(zhǔn)確地計(jì)算視差調(diào)整范圍．經(jīng)過(guò)實(shí)驗(yàn)證明選用本方法得到的視差調(diào)整量調(diào)整的立體圖像消除了影響立體感的雙眼復(fù)視．

(2) 所提出的立體視差調(diào)整的快速估計(jì)方法還適用于多視點(diǎn)(視點(diǎn)數(shù)大于2)立體圖像的視差調(diào)整，不同的是多視點(diǎn)立體顯示器通常利用子像素建立立體感，因此像素距離需要變成子像素距離，同時(shí)需要考慮由Panum融合區(qū)界限計(jì)算得到的像素視差是相鄰視點(diǎn)還是間隔視點(diǎn)視差．

［1］ Vetro A，Wiegand T，Sullivan G J. Overview of the stereo and multiview video coding extensions of the H. 264/MPEG-4 AVC standard[J]. Proceedings of the IEEE，2011，99(4)：626-642.

［2］ Son J Y，Yeom S，Lee D S，et al. A stereoscopic camera model of focal plane detector array[J]. Journal of Display Technology，2011，7(5)：281-288.

［3］ Woods A J，Docherty T，Koch R. Image distortions in stereoscopic video systems[C]//IS&T/SPIE’S Symposium on Electronic Imaging：Science and Technology，International Society for Optics and Photonics. San Jose，USA，1993：36-48.

［4］ Lee S W，Kim N. A method for precise depth detection in stereoscopic display[J]. Journal of the Optical Societyof Korea，2006，10(1)：37-41.

［5］ Allison R S. The camera convergence problem revisited[C]//Electronic Imaging 2004，International Society for Optics and Photonics. San Jose，USA，2004：167-178.

［6］ Kwon K C，Choi J K，Kim N，et al. Automatic control of horizontal-moving stereoscopic camera by disparity compensation[J]. Journal of the Optical Society of Korea，2002，6(4)：150-155.

［7］ 吳 夕，劉玉華，顏少明. 正常人雙眼視覺(jué)的Panum融合區(qū)[J]. 眼科新進(jìn)展，1999，19(5)：375-376 Wu Xi，Liu Yuhua，Yan Shaoming. Panum’s fusional area of normal human’s binocular vision[J]. Recent Advances in Ophthalmology，1999，19(5)：375-376(in Chinese)

［8］ Panum P L. Physiologische Untersuchungen über das Sehen mit zwei Augen[M]. Charleston，SC：Nabu Press，2010.

［9］ Fender D，Julesz B. Extension of Panum's fusional area in binocularly stabilized vision[J]. Journal of the Optical Society of America，1967，57(6)：819-826.

［10］ Scharstein D，Szeliski R. A taxonomy and evaluation of dense two-frame stereo correspondence algorithms[J]. International Journal of Computer Vision，2002，47(1)：7-42.

［11］ 馬爾D. 視覺(jué)計(jì)算理論[M]. 姚國(guó)正，劉 磊，汪云九，譯. 北京：科學(xué)出版社，1988. Marr D. Vision:A Computational Investigation into the Human Representation and Processing of Visual Informaution [M]. Yao Guozheng，Liu Lei，Wang Yunjiu，Trans. Beijing：Science Press，1988(in Chinese).

［12］ Mokhtarian F，Suomela R．Robust image corner detection trough curvature scale space[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence，1998，20(12)：1376-1381.

［13］ Canny J. A computational approach to edge detection[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence，1986，8(6)：679-698.

［14］ Lewis J P. Fast template matching[J]. Vision Interface，1995，95：120-123.

［15］ Zhang Z，Deriche R，F(xiàn)augeras O，et al. A robust technique for matching two uncalibrated images through the recovery of the unknown epipolar geometry[J]. Artificial Intelligence，1995，78(1)：87-119.

［16］ Scharstein D，Szeliski R. Middlebury Stereo Vision Research Page[EB/OL]. http：//vision. middlebury. edu/stereo/data/scenes2001，2011-02-11.

［17］ Boykov Y，Veksler O，Zabih R. Fast approximate energy minimization via graph cuts[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence，2001，23(11)：1222-1239.

［18］ 沈麗麗，侯春萍. 應(yīng)用人類視覺(jué)特性的立體圖像質(zhì)量評(píng)價(jià)方法[J]. 天津大學(xué)學(xué)報(bào)，2012，45(8)：682-687. Shen Lili，Hou Chunping. Objective assessment of stereo images based on full human visual characteristics[J]. Journal of Tianjin University，2012，45(8)：682-687(in Chinese).

A Rapid Stereo Disparity Adjustment Estimate Method

Yue Bin，Hou Chunping
(School of Electronic Information Engineering，Tianjin University，Tianjin 300072，China)

Disparity adjustment is usually used for convergence changing and disparity correcting. The rapid stereo disparity adjustment estimate method was proposed for accurately calculating the disparity adjustment range of the stereo image. The algorithm first applied the Panum’s fusional area of human vision to the modeling of threedimensional display space，calculated the Panum’s fusional area of stereo screen，then deduced the range of disparity adjustment of the Panum’s fusional area，and finally rapidly estimated the range of suitable disparity adjustment in the Panum’s fusional area using the sparse matching depth clue of stereo image. Experimental results indicate that the algorithm can calculate the range of disparity adjustment fast and accurately，and maximally reduce the binocular diplopia of stereo image.

disparity adjustment；Panum’s fusional area；image segmentation；feature extraction；feature points matching

TN919.81

A

0493-2137(2013)07-0571-08

DOI 10.11784/tdxb20130701

2012-12-17；

2013-02-21.

國(guó)家高技術(shù)研究發(fā)展計(jì)劃(863計(jì)劃)資助項(xiàng)目(2012AA03A301)；國(guó)家自然科學(xué)基金重點(diǎn)資助項(xiàng)目(60932007，61201179)；教育部博士點(diǎn)基金資助項(xiàng)目(20110032110029)；天津市科技支撐計(jì)劃資助項(xiàng)目(11ZCKFGX02000).

岳 斌（1982— ），男，博士研究生，yuebin0615@hotmail.com.

侯春萍，hcp@tju.edu.cn.