嚴(yán)成，何寧，龐維慶，鄧德迎

(1.桂林電子科技大學(xué) 信息與通信學(xué)院，廣西 桂林 541004；2.廣西高校無(wú)人機(jī)遙測(cè)重點(diǎn)實(shí)驗(yàn)室，廣西 桂林 541004)

0 引言

近年來(lái)，隨著城鎮(zhèn)化速度加快，城市火災(zāi)事故頻發(fā)，火災(zāi)風(fēng)險(xiǎn)居高不下，造成了重大的人員財(cái)產(chǎn)損失和惡劣的社會(huì)影響[1-2]?，F(xiàn)階段，我國(guó)對(duì)于早期的城市、農(nóng)林、森林火災(zāi)監(jiān)測(cè)手段主要有衛(wèi)星遙感、塔臺(tái)瞭望、地面巡視和飛機(jī)巡護(hù)等，但以上監(jiān)測(cè)措施存在著受氣候影響大、不能滿(mǎn)足全天監(jiān)測(cè)和花費(fèi)高等弊端[3]。無(wú)人機(jī)具有輕便靈活，可以全天進(jìn)行巡航的好處。利用無(wú)人機(jī)進(jìn)行火災(zāi)監(jiān)測(cè)，并快速準(zhǔn)確的界定和測(cè)量火災(zāi)受損區(qū)域，可以為消防部門(mén)提供有效的處置依據(jù)，為事故處理爭(zhēng)取時(shí)間。

采用精確目標(biāo)實(shí)際面積測(cè)量方法，可以克服雙目視覺(jué)對(duì)應(yīng)點(diǎn)匹配和面積計(jì)算所利用的像素當(dāng)量產(chǎn)生的誤差[4]，但算法沒(méi)有包含拍攝角度參數(shù)，缺少對(duì)角度變化測(cè)量結(jié)果的正確性評(píng)估。采用航拍圖像的森林火災(zāi)面積計(jì)算方法，滿(mǎn)足對(duì)森林火場(chǎng)面積計(jì)算的要求[5]，但該方法通過(guò)彩色和灰度信息提取航拍圖像中的森林火場(chǎng)區(qū)域，圖像中的色差直接影響圖像分割的誤差，并且該方法沒(méi)有通過(guò)軟件實(shí)現(xiàn)，無(wú)法實(shí)時(shí)、高效地提供面積測(cè)量結(jié)果。孫新博等[6]開(kāi)發(fā)的無(wú)人機(jī)地理信息視頻系統(tǒng)，基于GPS數(shù)據(jù)實(shí)現(xiàn)無(wú)人機(jī)航跡坐標(biāo)的實(shí)時(shí)展示、視頻影像定位和距離面積量測(cè)等功能，但無(wú)法實(shí)現(xiàn)無(wú)人機(jī)定點(diǎn)測(cè)量小范圍面積的功能。

本文通過(guò)電子自動(dòng)測(cè)量手段，提出了一種高精度的地面煙火面積測(cè)量方案，通過(guò)無(wú)人機(jī)飛控將視頻圖像與字符信息疊加傳輸[7]，為該測(cè)量方案提供評(píng)估參數(shù)。在此基礎(chǔ)上，利用適用于該面積測(cè)量人機(jī)交互的煙火區(qū)域面積測(cè)量軟件，實(shí)時(shí)進(jìn)行煙火區(qū)域檢測(cè)。根據(jù)面積測(cè)量方案，計(jì)算出光學(xué)圖像中單個(gè)像素點(diǎn)所代表的實(shí)際面積，采用圖像處理方法，提取出圖像中煙火區(qū)域的像素總值，實(shí)現(xiàn)快速獲取煙火區(qū)域面積。通過(guò)無(wú)人機(jī)在幾十米到幾百米的高空，可實(shí)現(xiàn)城市、海域、陸地、森林等環(huán)境態(tài)勢(shì)的遠(yuǎn)程監(jiān)測(cè)和信息獲取，為執(zhí)法和救援提供幫助。

1 系統(tǒng)整體方案與測(cè)量原理

1.1 系統(tǒng)方案

基于視覺(jué)傳感的地面煙火監(jiān)測(cè)系統(tǒng)由無(wú)人機(jī)載具端與地面監(jiān)測(cè)端組成。無(wú)人機(jī)飛控為測(cè)量方案提供采集的環(huán)境及物理參數(shù)，地面監(jiān)測(cè)端用于接收分析監(jiān)控圖像和數(shù)據(jù)，以便快速測(cè)量和記錄特征區(qū)域的面積。系統(tǒng)結(jié)構(gòu)如圖1所示。

圖1 系統(tǒng)結(jié)構(gòu)

1.2 圖像采集與處理

圖像處理是對(duì)攝取圖像先進(jìn)行微元化，然后將提取的特征區(qū)域像素點(diǎn)總數(shù)與每個(gè)像素點(diǎn)的實(shí)際面積相乘，便可計(jì)算出特征區(qū)域的面積S[8]。

圖像分割指的是將數(shù)字圖像細(xì)分為多個(gè)圖像子區(qū)域(像素的集合)，就是把圖像分成若干個(gè)特定的、具有獨(dú)特性質(zhì)的區(qū)域并提取感興趣目標(biāo)的技術(shù)和過(guò)程[9-10]。根據(jù)傳統(tǒng)閾值分割方法的兩個(gè)步驟：①確定合適的閾值；②將圖像中的每個(gè)像素分別與該閾值比較，將像素分為幾個(gè)不同的區(qū)域[11]。為了達(dá)到圖像復(fù)雜色差區(qū)域分割目的，提高特征區(qū)域分割的精度，設(shè)計(jì)系統(tǒng)在傳統(tǒng)閾值分割方法基礎(chǔ)上增加前后面板圖像堆疊形式。具體實(shí)現(xiàn)過(guò)程如下：

① 將原始圖像(設(shè)置為變量image_mask)像素值RGB均設(shè)置為(0，0，0)并作為掩膜，放置在底板；將采集到的圖像(設(shè)置為變量image)放置在前面板。通過(guò)鼠標(biāo)響應(yīng)函數(shù)在前面板上繪制出目標(biāo)區(qū)域，底板也將記載該區(qū)域，區(qū)域邊界線RGB分量為(0，255，255)。

② 對(duì)原始圖像通過(guò)漫水填充算法[12]，經(jīng)公式(1)將目標(biāo)區(qū)域內(nèi)像素顏色RGB分量設(shè)置為(255，255，255)。算法關(guān)鍵以目標(biāo)區(qū)域內(nèi)的像素點(diǎn)(x0，y0)為中心(種子)，如果像素點(diǎn)(x，y)屬于繪制的目標(biāo)區(qū)域Sxy，將(x，y)與(x0，y0)合并在同一個(gè)區(qū)域內(nèi)。

(1)

③ 這一步統(tǒng)計(jì)目標(biāo)區(qū)域的像素點(diǎn)總數(shù)。首先將步驟②中經(jīng)漫水填充算法處理后的圖像轉(zhuǎn)換為256個(gè)灰度等級(jí)的灰度圖像，像素點(diǎn)值為Gray(x,y)：

Gray(x,y)=0.299×R+0.587×G+0.114×B,

(2)

之后通過(guò)單閾值分割方法將灰度圖像轉(zhuǎn)換為二值化圖像，單閾值設(shè)置為254，由下式計(jì)算像素點(diǎn)值g(x,y)：

(3)

通過(guò)迭代器訪問(wèn)二值化圖像中的像素點(diǎn)，統(tǒng)計(jì)非零像素值的點(diǎn)。

④ 將二值化圖像與采集到的圖像進(jìn)行乘運(yùn)算，前者像素點(diǎn)值為1的區(qū)域?qū)⒈Ａ艉笳邔?duì)應(yīng)的區(qū)域，像素點(diǎn)值為0的區(qū)域?qū)⒁种坪笳邔?duì)應(yīng)的區(qū)域，達(dá)到同時(shí)分割處理多個(gè)區(qū)域目的。

1.3 基于單目視覺(jué)的面積測(cè)量原理

在光學(xué)成像幾何模型的單目視覺(jué)測(cè)距系統(tǒng)中，攝像機(jī)以一定的俯仰角對(duì)地面物體進(jìn)行拍攝，將所拍攝圖像上某點(diǎn)的坐標(biāo)轉(zhuǎn)換為世界坐標(biāo)系下的坐標(biāo)，找出圖像與對(duì)應(yīng)坐標(biāo)的映射關(guān)系，為面積測(cè)量方案提供理論依據(jù)[13]。

基于單目視覺(jué)測(cè)距原理，提出一種適應(yīng)于地面煙火面積測(cè)量方案。該處理過(guò)程是獲取計(jì)算圖像對(duì)應(yīng)的實(shí)際平面高度、求取單個(gè)像素點(diǎn)所代表的實(shí)際面積、計(jì)算區(qū)域像素點(diǎn)總數(shù)并求和得到被監(jiān)測(cè)區(qū)域面積。

視覺(jué)圖像測(cè)量原理見(jiàn)圖2。圖2中陰影部分為攝像機(jī)拍攝區(qū)域，閉合區(qū)域S為特征區(qū)域，其面積S是整個(gè)測(cè)量方案求取的最終值。AB和DE分別為圖像對(duì)應(yīng)的實(shí)際平面高度和寬度，其中AB為測(cè)量系統(tǒng)的待測(cè)目標(biāo)值。

由圖2的幾何關(guān)系可知，垂直視場(chǎng)半角度θ與圖像平面高度AB可分別用以下公式求出：

(4)

AB=AM-BM=h[tan(φ+θ)-tan(φ-θ)],

(5)

其中，t=GJ，為底片高度的一半；f=OJ，為焦距；h=OM，為相機(jī)的離地高度；φ為相機(jī)拍攝角度，相機(jī)垂直地面拍攝時(shí)φ為0°。

特征區(qū)域面積計(jì)算原理見(jiàn)圖3，其中特征區(qū)域S為待計(jì)算目標(biāo)值。

圖2 視覺(jué)圖像測(cè)量原理

Fig.2 Principle of visual image measurement

圖3 特征區(qū)域面積計(jì)算原理

Fig.3 Schematic diagram of characteristic area calculation

利用式(5)求得AB，得到圖3中單個(gè)像素點(diǎn)的實(shí)際面積Si為：

(6)

其中，Sx和Sy分別是圖像寬度和高度的像素總量。

2 煙火區(qū)域面積測(cè)量處理

在拍攝的原圖像上手動(dòng)繪制特征區(qū)域邊界，按照上面過(guò)程提取特征區(qū)域，得到圖4(a)；通過(guò)漫水填充處理并基于面積測(cè)量方案求取該區(qū)域面積，結(jié)果如圖4(b)所示。

(a)手動(dòng)繪制特征區(qū)域

(b)計(jì)算特征區(qū)域的面積

圖4 提取特征區(qū)域并獲得結(jié)果

Fig.4 Extracting feature regions and obtaining results

為了適應(yīng)不同拍照設(shè)備，軟件將不同像素圖像統(tǒng)一處理為800×600像素圖像，對(duì)圖4中的特征區(qū)域圖片進(jìn)行二值化處理，并統(tǒng)計(jì)其像素點(diǎn)總數(shù)為9 863個(gè)。

使用的攝像頭靶面高度為9.6 mm，焦距為9 mm，拍攝高度為7.3 m。相機(jī)垂直對(duì)目標(biāo)進(jìn)行拍攝，角度為0°。

由式(7)求解角度θ：

(7)

求圖像對(duì)應(yīng)的實(shí)際平面高度AB：

AB=7.3×[tan(0°+28.072 5°)-tan(0°-28.072 5°)]≈7.786 67 m。

(8)

由上面給出的像素參數(shù)，得到面積S(結(jié)果截取小數(shù)點(diǎn)后三位)如下：

(9)

3 系統(tǒng)實(shí)操評(píng)估與驗(yàn)證

3.1 系統(tǒng)實(shí)操

圖5 外場(chǎng)實(shí)驗(yàn)人機(jī)交互測(cè)量界面

為驗(yàn)證監(jiān)測(cè)系統(tǒng)的實(shí)用性，在外場(chǎng)進(jìn)行實(shí)操，實(shí)操中人機(jī)交互測(cè)量結(jié)果如圖5所示。所使用的無(wú)人機(jī)為大疆公司產(chǎn)品CMOS影像傳感器,其成像高度為9.6 mm，實(shí)際物理固定焦距為9 mm，無(wú)人機(jī)在離地面高度7.3 m處以垂直方式拍攝目標(biāo)區(qū)域。通過(guò)無(wú)人機(jī)視覺(jué)傳感進(jìn)行圖像采集與數(shù)據(jù)信息實(shí)時(shí)向地面監(jiān)測(cè)基站發(fā)送，以便監(jiān)察管理者對(duì)火災(zāi)態(tài)勢(shì)的判斷識(shí)別和分析處理。

圖5中測(cè)量軟件設(shè)計(jì)由C++編程語(yǔ)言在VS2013中調(diào)用opencv庫(kù)編寫(xiě)[14]，可實(shí)現(xiàn)對(duì)地面火災(zāi)區(qū)域進(jìn)行實(shí)時(shí)監(jiān)控和測(cè)量。地面端操作人員控制無(wú)人機(jī)抵達(dá)區(qū)域上空，并在人機(jī)交互的視頻顯示區(qū)發(fā)現(xiàn)待測(cè)目標(biāo)區(qū)域之后，根據(jù)無(wú)人機(jī)自帶相機(jī)提供的焦距、靶面高度及回傳的拍攝高度VPS數(shù)據(jù)，對(duì)人機(jī)交互軟件中相應(yīng)的控件拍攝高度(7.3 m)、拍攝角度(0°)、靶面高度(9.6 mm)、焦距(9 mm)進(jìn)行設(shè)置。經(jīng)手動(dòng)在拍攝的圖像上描繪過(guò)火區(qū)域、上位機(jī)處理計(jì)算得到煙火區(qū)域的面積為2.215 m2。根據(jù)無(wú)人機(jī)配備的GPS模塊提供地理位置信息，可得到實(shí)驗(yàn)中被拍區(qū)域的方位為北緯25.204°、東經(jīng)110.362°。

3.2 系統(tǒng)測(cè)試評(píng)估與對(duì)比

為了驗(yàn)證此系統(tǒng)軟件測(cè)量的面積正確性與誤差，按特征區(qū)域圖像分割到面積測(cè)量的算法流程進(jìn)行實(shí)驗(yàn)并分析數(shù)據(jù)。面積測(cè)量數(shù)據(jù)對(duì)比見(jiàn)表1。

表1 面積測(cè)量數(shù)據(jù)對(duì)比

對(duì)比結(jié)果表明，隨著無(wú)人機(jī)對(duì)目標(biāo)的拍攝高度和角度變化，其誤差大小有所不同，當(dāng)測(cè)量角度小于90°測(cè)量時(shí)相對(duì)誤差不大于5 %，小角度(正負(fù)5°范圍內(nèi))和垂直拍攝平均相對(duì)誤差低于1.3 %,優(yōu)于文獻(xiàn)[4]中的平均相對(duì)誤差1.48 %，滿(mǎn)足對(duì)污染面積測(cè)量工作的需求。本測(cè)量軟件運(yùn)行順暢，很好地完成污染區(qū)域面積測(cè)量工作，彌補(bǔ)了文獻(xiàn)[6]無(wú)法實(shí)現(xiàn)無(wú)人機(jī)定點(diǎn)測(cè)量小范圍面積的不足。

4 結(jié)語(yǔ)

本文基于視覺(jué)圖像，根據(jù)單目視覺(jué)測(cè)距原理，提出了一種高精度的可用于地面火災(zāi)面積測(cè)量方案，利用無(wú)人機(jī)航拍為該測(cè)量模型提供參數(shù)及煙火區(qū)域方位信息。分析了光學(xué)圖像測(cè)量原理，采用圖像分割技術(shù)設(shè)計(jì)的地面火災(zāi)面積測(cè)量軟件，可對(duì)煙火面積進(jìn)行實(shí)時(shí)或后期測(cè)量。系統(tǒng)方案驗(yàn)證實(shí)驗(yàn)結(jié)果表明，通過(guò)設(shè)置的人機(jī)交互對(duì)煙火區(qū)域圖片分析，其面積測(cè)量精度為10-3m2，測(cè)量相對(duì)誤差低于5 %，垂直拍攝平均相對(duì)誤差低于1.3 %。系統(tǒng)能滿(mǎn)足城市、陸地、森林等環(huán)境態(tài)勢(shì)的火災(zāi)區(qū)域遠(yuǎn)程監(jiān)測(cè)和信息獲取需求，為執(zhí)法和救援提供幫助。