胡坤福++高虹++范曉娟++段海艷++羅文廣

摘 要：為了實現(xiàn)基于DM6437的鳥瞰變換，文中提出了一種通過逆投影變換結(jié)合映射查表的方法來完成從透視圖像到俯視圖像的實時變換方法。首先，針對廣角攝像頭采集到的圖像進行畸變校正；然后建立圖像坐標系到世界坐標系下坐標點的映射關(guān)系，并進行逆投影變換；最后，利用上述映射關(guān)系獲取整幅圖像的映射表格，進而采用映射查表的方法得到實時的俯視圖像。通過實驗結(jié)果表明，該方法實時獲取的俯視效果圖像可基本滿足實際應用需求。

關(guān)鍵詞：DM6437；逆投影變換；圖像畸變校正；查表法

中圖分類號：TP391 文獻標識碼：A 文章編號：2095-1302（2017）07-00-03

0 引 言

隨著我國經(jīng)濟的快速發(fā)展，人民生活水平穩(wěn)步上升，汽車逐漸成為了人們?nèi)粘３鲂械闹匾煌üぞ?。然而，?jù)國家統(tǒng)計局的不完全統(tǒng)計，我國每年約有幾萬人死于交通事故，其中，部分事故的發(fā)生是由于駕駛?cè)藛T的不恰當泊車導致的。因此，如何安全泊車成為了一個熱點問題。

近年來，全景環(huán)視系統(tǒng)為該問題的解決提供了一個很好的方案。基于嵌入式平臺，對關(guān)鍵技術(shù)的研究如圖像畸變校正、逆投影變換等，是實現(xiàn)全景環(huán)視系統(tǒng)的關(guān)鍵步驟。LinBo Luo等人提出了一種基于軟硬件相互協(xié)作的方式來實時獲取全景鳥瞰圖的方法[1]，該方法能夠快速估算出單應性矩陣H并完成視圖轉(zhuǎn)換[2]；SungRyull Sohn等人考慮到駕駛?cè)藛T的主要視線聚焦在前方[3]，容易忽略后方及左右方向，因此提出在車身左右、后方安裝3個攝像頭，完成從透視圖到無盲點的鳥瞰圖的轉(zhuǎn)換，并利用矩陣映射[4]表來達到滿足視頻實時性的效果；Daiming Zhang等人提到了一種基于消失點的自動逆投影變換算法[5]，適用于上坡、下坡等路況。針對大客車體積大、盲區(qū)多等特點，遲瑞娟等人提出了一種在折反射魚眼相機模型基礎(chǔ)上[6]，加上標定棋盤平面與地面映射，采用抬高的棋盤進行計算標定的方法；吳永祺等人采用基于空間坐標系的轉(zhuǎn)換方法完成投影變換[7]，該方法簡單，易于實現(xiàn)；吳貫亮等人通過建立球面坐標系與空間坐標系的關(guān)系來實現(xiàn)超廣角鏡頭的畸變校正[8]；利用球面模型的經(jīng)緯映射法也可實現(xiàn)超廣角或魚眼攝像頭的畸變校正[9，10]。

綜上所述，本文將由以下4個部分組成：

（1）基于DM6437硬件平臺，實現(xiàn)基本圖像輸入輸出功能；

（2）針對由廣角攝像頭采集到的圖像進行畸變校正；

（3）利用已獲得畸變校正圖像進行逆投影變換，并采用線性插值的方法獲取完整的俯視圖像；

（4）基于DM6437，利用映射查表的方法，實現(xiàn)從透視圖像到俯視圖像的實時變換。

1 圖像采集

視頻圖像是由CCD攝像機采集[11]，通過視頻解碼芯片TVP5158將采集到的模擬信號轉(zhuǎn)換為YUV格式的數(shù)字信號，進而送入DM6437視頻處理子系統(tǒng)VPSS進行處理，然后以模擬視頻信號輸出，并由LED顯示屏顯示。

2 圖像畸變校正

鏡頭畸變主要分為徑向畸變與切向畸變，通常徑向畸變比切向畸變更明顯。因此在實際工作中主要考慮徑向畸變。研究發(fā)現(xiàn)，采用多項式變形技術(shù)以及線性插值方法可有效實現(xiàn)圖像的畸變校正。

在實際圖像畸變校正過程中，通常選用一幅無畸變的圖像作為基準，設(shè)像素坐標系下[12]基準圖像坐標為（u，v），畸變圖像坐標為（u0，v0），利用重采樣成圖法建立二維多項式模型[13]：

（1）

式中，n為多項式系數(shù)，一般取n=2可達到較好的效果；aij及bij為各項系數(shù)；令基準圖像I（u，v）和畸變圖像為I0（u0， v0），然而，對應圖像中同一個點，應滿足其灰度值不變特性：

I（u，v）=I0（u0， v0） （2）

式（2）是實現(xiàn)圖像畸變校正的基本公式。

3 逆投影變換

完成世界坐標系XO1Y到圖像坐標系XO'Y的轉(zhuǎn)換是實現(xiàn)逆投影變換的關(guān)鍵。本文將針對圖像畸變校正得到的圖像進行逆投影變換，其具體方法如下：

（1）首先建立圖像坐標系到世界坐標的映射關(guān)系。圖1（a）所示為路面坐標系下由A-B-C-D所圍成的圖像，透過攝像機光心O，成像于圖1（b）所示的圖像坐標系下圍成的圖像A'-B'-C'-D'，同理，點J-K-E-F對應于點J'-K'-E'-F'。利用小孔成像的空間幾何模型[7]來建立圖像坐標系到世界坐標系的數(shù)學關(guān)系[14]：

（3）

式中，（Px，Py）為世界坐標系下的一點，（Px'，Py'）為對應的圖像坐標系下的點，h為攝像頭安裝高度；H為圖像縱向像素大小；W為圖像橫向像素大小；2α為攝像機垂直方向視角；2β為攝像機水平方向視角；γ為攝像視圖最近點與豎直方向的夾角。

（2）建立原始圖像I到俯視圖像If的映射關(guān)系。如圖1所示，設(shè)攝像頭獲取路面圖像區(qū)域A-B-C-D，通過坐標系XO1Y的原點O1的線段|JK|=S，|EF|=T（m）對應于圖像坐標系XO'Y下的線段|J'K'|=s，|E'F'|=t （像素）；可計算出俯視圖像區(qū)域A'-B'-C0-D0中每一個像素點與其代表實際距離的比例：橫向比例為S/s，縱向比例為T/t；可通過上述關(guān)系求解出路面坐標系下的點（Px，Py）與俯視圖像上的點（uf， vf）的對應關(guān)系：

（4）

由于像素坐標系uOuvv的坐標原點Ouv在圖像的左上角，而圖像坐標系XO'Y的原點在圖像中心，如圖1（b）所示，因此需建立上述兩坐標系之間的關(guān)系：

（5）

綜合（3）～（5）式可建立圖像I（u， v）到俯視圖像坐標If（uf， vf）的映射關(guān)系：

（6）

式中，R為If→I的非線性映射關(guān)系。

（3）利用（6）式求得待插值點（uf， vf）在圖像I中所對應的坐標為（u'， v'），由于（u'， v'）不一定為整數(shù)，本文將選用雙線性插值法進行插值計算[15]。其中，坐標點（u'， v'）應落在點（u， v）、（u+1， v）、（u， v+1）及（u+1， v+1）所包圍的區(qū)域內(nèi)。因此，具體插值方法如下：

（7）

式中，a=u'-u0，b=v'-v0。

（a）路面坐標系下由A-B-C-D圍成的圖像

（b）成像圖

圖1 世界坐標系與圖像坐標

4 基于DM6437的逆投影變換實時性處理

實現(xiàn)從透視圖像到俯視圖像的實時變換是完成逆投影變換的核心問題，因此本文將通過映射查表的方法來實現(xiàn)。首先，確定DM6437視頻處理前端所接收的視頻圖像序列類型及存儲格式；然后從該圖像序列中找出亮度信號Y，并確定其在一幀圖像數(shù)據(jù)中的位置，進而建立Y的位置信息與圖像坐標（u， v）的關(guān)系；最后根據(jù)式（3）～（6）確定Y的位置信息與圖像坐標（uf， vf）的關(guān)系，從而建立相應的映射表格，并進行實時的鳥瞰變換。

4.1 視頻圖像序列

本視頻圖像序列采用YCbCr4∶2∶2的視頻流格式。YCbCr是在世界數(shù)字組織視頻標準研制過程中作為ITU-R BT1601建議的一部分，是YUV經(jīng)過縮放和偏移的結(jié)果，其中Cb為藍色色差，Cr為紅色色差。YCbCr4∶2∶2每個色差信道的抽樣率是亮度信道的一半，所以水平方向的色度抽樣率為4∶4∶4的一半。在DM6437中，Y和CbCr平均各占用一個字節(jié)，那么YCbCr平均共占用兩個字節(jié)。由于像素字節(jié)存儲方式采用小端模式，即先進入處理的字節(jié)為亮度信號Y，然后是色度信號CbCr，像素字節(jié)的存儲方式見表1所列。

在實際應用中，有效提取并轉(zhuǎn)換Y信號是實現(xiàn)逆投影變換的關(guān)鍵。

4.2 Y信號提取

由于視頻幀是一個一維序列，且輸入的奇數(shù)位數(shù)據(jù)是Y信號。因此，為實現(xiàn)對亮度信號Y的逆投影轉(zhuǎn)換，則需進行Y信號提取，并將亮度信號Y的位置信息l轉(zhuǎn)換為圖像坐標（u， v）。

根據(jù)表2，通過數(shù)學歸納法可建立關(guān)系：

src（u， v）=src（（W-1）·2v+2（u+v）+1） （8）

式中，src是存儲視頻幀圖像數(shù)據(jù)的數(shù)組，（8）式可提取亮度信號Y的位置信息，并以圖像坐標（u， v）的形式表達。

同理，可根據(jù)表1確定色度信號CbCr與圖像坐標（u， v）的關(guān)系：

src（u， v）=src（（W-1）·2u+2（u+v）） （9）

4.3 建立映射表

從公式（3）～（5）可發(fā)現(xiàn)，逆投影變換中含有大量三角函數(shù)、乘除、開方以及循環(huán)迭代計算，在實際應用中，利用公式計算顯然無法滿足視頻實時性的要求，因此需建立從俯視圖像坐標（uf， vf）到原始圖像坐標（u，v）的映射表格，通過查表法可實現(xiàn)實時的逆投影變換。

通過式（3）～（9），利用Matlab完成從俯視圖像到原始圖像的映射表格，部分映射表見表3所列。

如表3所示，將原始坐標點（49，256）的像素灰度值賦給俯視坐標點（68，272）所在的內(nèi)存空間，通過不斷的循環(huán)賦值，可完成整幅鳥瞰圖的實時變換。

5 實驗結(jié)果與分析

本實驗所采用的硬件平臺為DM6437一套，廣角攝像頭一套，液晶顯示器一臺。硬件平臺及算法框圖如圖2所示。

同時，本實驗攝像機標定及實驗參數(shù)見表4所列[16]。

利用圖2所示的硬件平臺及表4所列的實驗參數(shù)可進行相關(guān)實驗測試。圖3（a）是通過廣角攝像頭采集到的原始畸變圖像，圖3（b）是通過畸變校正得到的圖像，圖3（c）是經(jīng)過圖像畸變校正后，利用逆投影變換生成的俯視圖。從圖3可以看出，本實驗可較好地實現(xiàn)從透視圖像到俯視圖像的變換。

同時，為表明映射查表法的有效性，利用原始公式計算已無法滿足實時鳥瞰變換的要求，但通過映射查表的方法可實現(xiàn)從透視圖像到俯視圖像的實時變換。實時性對此見表5所列。

（a）通過廣角攝像頭采集的原始畸變圖像

（b）通過畸變校正得到的圖像

（c）經(jīng)過圖像畸變校正后，利用逆投影變換生成的俯視圖

圖3 實驗結(jié)果圖

表5 實時性對比

方法 原始公式法 映射查表法

幀率（fps） 0.05 20

6 結(jié) 語

本文建立了基于DM6437逆投影變換技術(shù)的硬件平臺，實現(xiàn)了圖像采集、圖像畸變校正，逆投影變換以及完成逆投影變換的實時性處理方法，并通過實驗結(jié)果表明了其算法的可行性及有效性。

本文的不足之處及下階段研究工作仍需改進的地方：

（1） 由于本文使用經(jīng)典攝像機標定方法，在面對具有一定坡度的路況時，其逆投影變換的效果并不理想，因此，后期仍需針對攝像機標定方法做更深入的研究；

（2）下階段將繼續(xù)完成基于DM6437的四路圖像融合算法研究。

參考文獻

[1] Luo L， Koh I， Park S Y， et al. A software-hardware cooperative implementation of bird's-eye view system for camera-on-vehicle[C].Network Infrastructure and Digital Content， 2009. IC-NIDC 2009. IEEE International Conference on. IEEE， 2009

[2] 丁鑫.全景視覺泊車輔助系統(tǒng)研究[D].杭州：浙江大學， 2010.

[3] Li W， Qu F， Wang Y， et al. A fast vehicle top-view system[C].International Conference on Systems and Informatics. IEEE， 2014.

[4] Sohn S R， Lee H， Jung H， et al. High-definition video-based multi-channel top-view vehicle surrounding monitoring system for mobile navigation devices[C].IEEE International Conference on Consumer Electronics. IEEE， 2013.

[5] Zhang D， Fang B， Yang W， et al. Robust inverse perspective mapping based on vanishing point[C]. International Conference on Security， Pattern Analysis， and Cybernetics. IEEE， 2014.

[6] 遲瑞娟，趙木禎，王建強，等.一種基于折反射像機的客車全景環(huán)視系統(tǒng)[J].哈爾濱工程大學學報，2013，34（2）：190-196.

[7] 吳永祺.基于全景視覺的汽車安全駕駛輔助系統(tǒng)的設(shè)計研究[D].廣州：華南理工大學，2014.

[8] 吳貫亮.基于多路攝像頭的二維環(huán)視圖生成方法研究與實現(xiàn)[D].長春：吉林大學，2014.

[9] 湯旭濤.廣角攝像頭視頻圖像實時校正系統(tǒng)設(shè)計[D].上海：華東師范大學，2010.

[10]王俊杰，徐小剛，胡運發(fā)，等.魚眼投影在虛擬實景中的應用研究[J].小型微型計算機系統(tǒng)，2004，25（2）：287-290.

[11]黃訓良.基于DSP/BIOS的多路視頻采集系統(tǒng)的設(shè)計[D].廣州：華南理工大學， 2013.

[12]賀忠海，王寶光，廖怡白.理想邊緣產(chǎn)生方法的研究[J].光學精密工程， 2002， 10（1）：89-93.

[13]吳開興，段馬麗，張惠民，等.廣角圖像畸變校正算法的研究與實現(xiàn)[J]. 計算機應用與軟件， 2014（11）：237-240.

[14]徐友春.基于機器視覺的汽車主動安全技術(shù)的研究[D].北京：清華大學， 2003.

[15]王平，全吉成，趙柏宇.基于雙線性插值的圖像縮放在GPU上的實現(xiàn)[J].微電子學與計算機，2016， 33（11）：129-132.

[16]張夢洋，秦瑞康，李福東，等.基于改進遺傳算法的單目相機標定[J].人工智能與機器人研究， 2016，5（3）：53-62.