范夢(mèng)陽(yáng)

摘 要：“停車(chē)難”這一問(wèn)題變得日益嚴(yán)峻，自動(dòng)泊車(chē)系統(tǒng)的研究也就顯得至關(guān)重要，停車(chē)位檢測(cè)是自動(dòng)泊車(chē)系統(tǒng)的重要組成部分。環(huán)視圖通過(guò)逆透視變換消除了透視畸變，恢復(fù)了庫(kù)位線(xiàn)的平行、垂直、間距等幾何信息，可以直接利用圖像中的庫(kù)位線(xiàn)滿(mǎn)足的幾何約束約束特征來(lái)實(shí)現(xiàn)停車(chē)位檢測(cè)。利用安裝在車(chē)輛四周的四個(gè)魚(yú)眼攝像頭采集圖像，經(jīng)過(guò)畸變矯正、逆透視變換、重合區(qū)域拼接可以得到車(chē)輛的環(huán)視圖。攝像頭在采集圖像的過(guò)程中必然會(huì)引入各種噪聲，首先需要對(duì)環(huán)視圖通過(guò)均值濾波、中值濾波、高斯濾波等方式進(jìn)行降噪處理。之后，進(jìn)行灰度化，以減少后續(xù)圖像處理的計(jì)算量。由于庫(kù)位線(xiàn)與地面的灰度信息不一致，灰度化后的圖像仍然保留了庫(kù)位線(xiàn)的灰度特征，仍然可以利用該灰度差異區(qū)分出停車(chē)位線(xiàn)和地面。在對(duì)環(huán)視圖進(jìn)行濾波降噪、灰度化等圖像預(yù)處理操作之后，通過(guò)邊緣檢測(cè)得到庫(kù)位線(xiàn)的邊緣。之后利用霍夫變換提取出邊緣圖像中的直線(xiàn)。根據(jù)《中華人民共和國(guó)國(guó)家標(biāo)準(zhǔn)/道路交通標(biāo)志和標(biāo)線(xiàn)（第 3 部分：道路交通標(biāo)線(xiàn)）》（GB5768.3-2009）標(biāo)準(zhǔn)中對(duì)停車(chē)位標(biāo)線(xiàn)寬度、尺寸和設(shè)置方式的規(guī)定，提取劃線(xiàn)停車(chē)位應(yīng)滿(mǎn)足的幾何約束特征條件，可以識(shí)別出停車(chē)位。在此基礎(chǔ)上，融合車(chē)輛定位模塊得到的車(chē)輛位姿信息對(duì)單幀圖像中檢測(cè)到的停車(chē)位在圖像序列中進(jìn)行跟蹤，進(jìn)一步提高停車(chē)位檢測(cè)正確率和檢測(cè)精度。

關(guān)鍵詞：自動(dòng)泊車(chē) 停車(chē)位檢測(cè) 攝像頭 環(huán)視圖

Automatic Parking Space Detection Method based on Ring View

Fan Mengyang

Abstract：The problem of "difficult parking" is becoming more and more serious， and the research of automatic parking system is also important. Parking space detection is an important part of automatic parking system. The ring view eliminates the perspective distortion through the inverse perspective transformation and restores the geometric information such as the parallel， vertical， and spacing of the location line. It can directly use the geometric constraints that the location line in the image meets to realize the parking space detection. The four fisheye cameras installed around the vehicle are used to collect images， and the ring view of the vehicle can be obtained after distortion correction， inverse perspective transformation， and overlapping area stitching. The camera will inevitably introduce various noises in the process of collecting images. First， the ring view needs to be denoised by means of mean filtering， median filtering， and Gaussian filtering. After that， grayscale is performed to reduce the amount of calculation for subsequent image processing. Since the gray information of the location line is inconsistent with the ground， the gray-scaled image still retains the gray features of the location line， and the gray level difference can still be used to distinguish the parking space line and the ground. After image preprocessing operations such as filtering and denoising and graying are performed on the ring view， the edge of the location line is obtained through edge detection. Afterwards， the Hough transform is used to extract the straight lines in the edge image. According to the "National Standards of the People's Republic of China/Road Traffic Signs and Markings （Part 3： Road Traffic Markings）" （GB5768.3-2009）， the rules for the width， size and setting method of parking space markings are extracted. The geometric constraint characteristic condition that the parking space of the line should meet， and the parking space can be identified. On this basis， the article fuses the vehicle pose information obtained by the vehicle positioning module to track the parking space detected in a single frame image in the image sequence， and further improves the parking space detection accuracy.

Key words：automatic parking， parking space detection， camera， ring view

停車(chē)對(duì)于很多駕駛員來(lái)說(shuō)是個(gè)“難題”，而隨著我國(guó)汽車(chē)保有量的不斷增加，停車(chē)位變得越來(lái)越緊張，“停車(chē)難”這一問(wèn)題就變得日益嚴(yán)峻。由于人們對(duì)于泊車(chē)輔助系統(tǒng)的迫切需求，以及我國(guó)汽車(chē)產(chǎn)業(yè)朝著智能化方向發(fā)展的必然趨勢(shì)，自動(dòng)泊車(chē)系統(tǒng)的研究顯得至關(guān)重要。

停車(chē)位檢測(cè)是實(shí)現(xiàn)自動(dòng)泊車(chē)首先需要解決的問(wèn)題，它是自動(dòng)泊車(chē)系統(tǒng)的重要組成部分。目前環(huán)視攝像頭由于成本低、提供的視圖清晰直觀，已經(jīng)在較多量產(chǎn)車(chē)型上有所應(yīng)用。如圖1所示，環(huán)視圖通過(guò)逆透視變換消除了透視畸變，恢復(fù)了庫(kù)位線(xiàn)的平行、垂直、間距等幾何信息，可以直接利用圖像中的庫(kù)位線(xiàn)滿(mǎn)足的幾何約束約束特征來(lái)實(shí)現(xiàn)停車(chē)位檢測(cè)，此外，和單目攝像頭相比，環(huán)視圖的視野范圍更廣，包含的庫(kù)位線(xiàn)信息更加豐富，停車(chē)位的檢出率更高。

首先，環(huán)視攝像頭所采用的魚(yú)眼鏡頭具有畸變，該畸變可以從徑向畸變和切向畸變兩個(gè)方面來(lái)表征。徑向畸變將會(huì)導(dǎo)致實(shí)際成像點(diǎn)相對(duì)于理想成像點(diǎn)沿著透鏡徑向方向存在偏移。魚(yú)眼攝像頭采集到圖像的光學(xué)中心的徑向畸變?yōu)?，沿著靠近圖像的邊緣，徑向畸變不斷增大。切向畸變會(huì)導(dǎo)致實(shí)際成像點(diǎn)相對(duì)于理想成像點(diǎn)沿著透鏡的切向方向存在偏移。通過(guò)張正友標(biāo)定法得到攝像頭的畸變參數(shù)，據(jù)此對(duì)魚(yú)眼圖像進(jìn)行畸變矯正，將魚(yú)眼圖像轉(zhuǎn)化為透視圖像。

三維空間中的點(diǎn)通過(guò)針孔成像所形成的圖像成為透視圖像，這種變換關(guān)系即透視變換。三維空間中的點(diǎn)對(duì)應(yīng)為透視圖像中確定的一點(diǎn)，即根據(jù)某點(diǎn)在三維世界坐標(biāo)系中的坐標(biāo)可以計(jì)算得出該點(diǎn)在圖像坐標(biāo)系中的坐標(biāo)。反之，根據(jù)某點(diǎn)在圖像坐標(biāo)系中的坐標(biāo)卻不能直接計(jì)算得出該店在三維世界坐標(biāo)系中的坐標(biāo)。但是如果已知某點(diǎn)在世界三維坐標(biāo)系中的某一維坐標(biāo)，則可以根據(jù)該點(diǎn)圖像坐標(biāo)系中的坐標(biāo)，計(jì)算出該點(diǎn)再世界坐標(biāo)系中的另兩維坐標(biāo)。我們把這種建立圖像坐標(biāo)系中的點(diǎn)與三維世界坐標(biāo)系中已知某一位坐標(biāo)的點(diǎn)的對(duì)應(yīng)關(guān)系的過(guò)程稱(chēng)為逆透視變換。由于自動(dòng)泊車(chē)系統(tǒng)中所需檢測(cè)的停車(chē)位標(biāo)線(xiàn)都位于地面上，所以我們假定圖像中的所有點(diǎn)都位于三維世界坐標(biāo)系的地面上，利用標(biāo)定得到的四個(gè)攝像頭的內(nèi)參和外參矩陣，對(duì)矯正畸變后的圖像進(jìn)行逆透視變換，得到四幅俯視效果的鳥(niǎo)瞰圖。

由于安裝在車(chē)輛四周的四個(gè)攝像頭中相鄰的攝像頭視野范圍有重疊，所以相鄰攝像頭采集到的圖像所轉(zhuǎn)換為的鳥(niǎo)瞰圖會(huì)有部分重合區(qū)域，通過(guò)尋找重疊區(qū)域內(nèi)的標(biāo)志點(diǎn)并將其對(duì)齊，可以將四幅鳥(niǎo)瞰圖剪切、拼接得到360度環(huán)視圖。

由于攝像頭在采集圖像的過(guò)程中必然會(huì)引入各種噪聲，所以首先需要對(duì)環(huán)視圖進(jìn)行降噪處理。通?？梢赃x用均值濾波、中值濾波、高斯濾波等方法進(jìn)行降噪。拼接得到的原始車(chē)輛環(huán)視圖為彩色圖像，為了減少后續(xù)圖像處理的計(jì)算量，對(duì)環(huán)視圖進(jìn)行灰度化處理。常見(jiàn)的灰度化方法有平均值法、加權(quán)平均值法、最大值法等。由于停車(chē)位標(biāo)線(xiàn)與地面的灰度信息不一致，灰度化后的圖像仍然保留了庫(kù)位線(xiàn)的灰度特征，仍然可以利用該灰度差異區(qū)分出停車(chē)位線(xiàn)和地面。

在對(duì)環(huán)視圖進(jìn)行濾波降噪、灰度化等圖像預(yù)處理操作之后，再通過(guò)邊緣檢測(cè)得到停車(chē)位線(xiàn)邊緣。邊緣點(diǎn)是指圖像中灰度值和相鄰點(diǎn)的灰度值存在顯著差異的像素點(diǎn)。邊緣檢測(cè)是利用計(jì)算圖像中各個(gè)像素點(diǎn)的一階差分或二階差分來(lái)判定該點(diǎn)是否屬于邊緣像素點(diǎn)。由于庫(kù)位線(xiàn)邊緣的灰度值和相鄰地面處的灰度值存在較大差異，因此可以通過(guò)邊緣檢測(cè)識(shí)別出圖像中庫(kù)位線(xiàn)的邊緣。之后，利用霍夫變換提取出邊緣圖像中的直線(xiàn)，以識(shí)別出庫(kù)位線(xiàn)的邊緣直線(xiàn)。在圖像空間（x，y）中，同一條直線(xiàn)上的點(diǎn)滿(mǎn)足方程y=kx+b，即同一條直線(xiàn)上的點(diǎn)的斜率k相等，截距b也相等。構(gòu)建參數(shù)空間（k，b），可以得出，圖像空間（x，y）中的一條直線(xiàn)和參數(shù)空間（k，b）中的一個(gè)點(diǎn)相對(duì)應(yīng)。利用參數(shù)空間和圖像空間的之間所存在的點(diǎn)-線(xiàn)對(duì)偶性，霍夫變換就把圖像空間中的直線(xiàn)檢測(cè)問(wèn)題轉(zhuǎn)換到參數(shù)空間中去：在參數(shù)空間（k，b）里進(jìn)行的累加統(tǒng)計(jì)，尋找斜率和截距的計(jì)數(shù)器峰值，以此來(lái)檢測(cè)出圖像空間中的直線(xiàn)。

在《中華人民共和國(guó)國(guó)家標(biāo)準(zhǔn)/道路交通標(biāo)志和標(biāo)線(xiàn)（第 3 部分：道路交通標(biāo)線(xiàn)）》（GB5768.3-2009）中，規(guī)定停車(chē)位標(biāo)線(xiàn)的寬度可介于6到10cm之間。停車(chē)位標(biāo)的上限尺寸長(zhǎng)為1560cm，寬為325cm，適用于大中型車(chē)輛;下限尺寸長(zhǎng)為600cm，寬為250cm，適用于小型車(chē)輛。在條件受限時(shí)，寬度可適當(dāng)降低，但最小不應(yīng)低于200cm。停車(chē)位標(biāo)線(xiàn)的設(shè)置方式分為平行式、垂直式和傾斜式，分別如圖2、3、4所示。根據(jù)該標(biāo)準(zhǔn)中對(duì)停車(chē)位標(biāo)線(xiàn)寬度、尺寸和設(shè)置方式的規(guī)定，提取我國(guó)劃線(xiàn)停車(chē)位應(yīng)滿(mǎn)足的幾何約束特征條件，基于單幀環(huán)視圖中提取到的直線(xiàn)信息可以識(shí)別出劃線(xiàn)停車(chē)位。

環(huán)視攝像頭采集到圖像在泊車(chē)的過(guò)程中不斷刷新，形成了圖像序列流，通過(guò)融合車(chē)輛定位模塊得到的車(chē)輛位姿信息對(duì)單幀圖像中檢測(cè)到的停車(chē)位在圖像序列中進(jìn)行跟蹤，對(duì)單幀環(huán)視圖中檢測(cè)出的停車(chē)位進(jìn)行實(shí)時(shí)修正優(yōu)化，進(jìn)一步提高停車(chē)位檢測(cè)正確率和檢測(cè)精度，從而提高自動(dòng)泊車(chē)系統(tǒng)的可靠性和安全性。

課題名稱(chēng)：基于多傳感器融合的車(chē)輛自動(dòng)泊車(chē)停車(chē)位檢測(cè)方法研究;編號(hào)：XJZK202002。

參考文獻(xiàn)：

[1]孟焱，孫軍，湯一平.基于機(jī)器視覺(jué)的停車(chē)位檢測(cè)技術(shù)的研究[J].計(jì)算機(jī)測(cè)量與控制，2012，20（3）：638-641.

[2]王成雨.基于視覺(jué)環(huán)境感知技術(shù)的自動(dòng)泊車(chē)系統(tǒng)研究[D].蘇州：江蘇大學(xué)，2019.

[3]孫炬輝.基于魚(yú)眼相機(jī)的實(shí)時(shí)視頻拼接技術(shù)研究[D].杭州：杭州電子科技大學(xué)，2014.

[4]方財(cái)義，鄧軍，檀銀學(xué).全景泊車(chē)系統(tǒng)及圖像拼接技術(shù)的研究[J].汽車(chē)零部件，2012，11：103-108.

[5]GB 5768.3-2009 道路交通標(biāo)志和標(biāo)線(xiàn)第3部分：道路交通標(biāo)線(xiàn).

[6]劉微.應(yīng)用機(jī)器視覺(jué)的自動(dòng)泊車(chē)車(chē)輛位姿獲取算法研究[D].長(zhǎng)春：吉林大學(xué)，2012.

[7]王旭東.基于環(huán)視的自動(dòng)泊車(chē)方法研究與系統(tǒng)設(shè)計(jì)[D].上海：上海交通大學(xué)，2013.