潘 虹,曹曉紅,陳江萍,丁 穎
(陜西服裝工程學(xué)院,陜西 西安 712046)
視力障礙人群,由于視覺缺失,無法準(zhǔn)確獲取環(huán)境信息,同時(shí)也很難處理環(huán)境中的不同狀況,其日常生活極為不便。而導(dǎo)盲儀具備道路檢測、障礙物檢測功能,可以為視力障礙人群出行提供幫助。但是傳統(tǒng)頭戴式、眼睛式導(dǎo)盲儀的圖像識別度較低,無法準(zhǔn)確識別紅綠燈、盲道、障礙物等,并且頭戴式導(dǎo)盲儀體積較大,對用戶日常生活影響較大。針對以上問題,本文基于超聲波檢測與圖像處理技術(shù),提出一種穿戴式導(dǎo)盲儀,除了能夠識別道路障礙物,還能夠準(zhǔn)確識別盲道、紅綠燈、交通標(biāo)志,以此來協(xié)助用戶安全出行。
常規(guī)導(dǎo)盲儀以檢測障礙物為主,實(shí)際使用過程中無法實(shí)現(xiàn)復(fù)雜交通環(huán)境檢測,不能正確引導(dǎo)盲人安全出行。考慮到盲人出行時(shí)的實(shí)際情況,提出以下導(dǎo)盲儀功能需求:
(1)障礙物檢測:識別道路障礙物并以語音播報(bào)方式向盲人提醒,避免盲人受到傷害;
(2)語音提醒:以語音播報(bào)方式向盲人反饋環(huán)境信息[1];
(3)交通標(biāo)志識別:識別道路紅綠燈、斑馬線、盲道等標(biāo)識,為盲人穿越馬路、自主出行提供幫助;
除了以上三種基本功能外,導(dǎo)盲儀還需要在滿足識別速度、設(shè)備功耗等要求的基礎(chǔ)上,減少設(shè)備體積,以便于盲人出行隨身攜帶。
為滿足導(dǎo)盲儀體積小、功耗低、成本低等要求,基于嵌入式平臺(tái)進(jìn)行導(dǎo)盲儀設(shè)計(jì),利用圖像處理技術(shù)和超聲波技術(shù)實(shí)現(xiàn)圖像信息、障礙物信息的實(shí)時(shí)處理,并通過語音播報(bào)方式反饋給盲人[2]。
導(dǎo)盲儀系統(tǒng)主要由信息采集模塊、中心處理單元和語音播報(bào)模塊組成,其中:信息采集模塊由攝像頭和傳感器組成,主要用于識別道路障礙物,采集交通標(biāo)識、盲道、斑馬線等圖像信息;中心處理單元為核心處理器,主要控制信息采集模塊運(yùn)行,并對采集數(shù)據(jù)進(jìn)行處理和分析,最后反饋信息處理結(jié)果;語音播報(bào)模塊根據(jù)圖像處理結(jié)果和行動(dòng)指令,通過語音提醒盲人及時(shí)躲避障礙物。
常見導(dǎo)盲儀佩戴方式多為頭戴式、眼睛式,考慮到導(dǎo)盲儀的體積和重量,本文采用穿戴式佩戴方式,以減少導(dǎo)盲儀對用戶日常生活的影響。穿戴式導(dǎo)盲儀主要固定于用戶胸前位置,不僅便于識別紅綠燈、道路等信息,而且對用戶的生活影響較小[3]。導(dǎo)盲儀硬件設(shè)備如圖1 所示,其主要由嵌入式處理單元、超聲波模塊、攝像頭模塊和耳機(jī)組成。
嵌入式處理單元采用Allwinner H5 芯片,該芯片接口豐富、性能優(yōu)越,可以滿足導(dǎo)盲儀系統(tǒng)開發(fā)與設(shè)計(jì)需求;超聲波模塊采用JSN-SR04T 一體式超聲波傳感裝置,其由獨(dú)立控制電路和超聲波探頭組成,性能穩(wěn)定、體積小、測量精度高;攝像頭模塊主要用于采集道路、交通標(biāo)志、紅綠燈信息等,本文采用分辨率為640*480 的VC3U31 免驅(qū)攝像頭,該設(shè)備易安裝、分辨率高、功耗低,并且支持10/9/8位RGB圖像格式,視頻流性能高達(dá)15 fps VGA 和30 fps GIF[4]。
斑馬線由黑白色矩形長條紋共同組成,并且間隔相同、相互平行,圖像特征明顯。根據(jù)攝像機(jī)拍攝特性,斑馬線條紋呈現(xiàn)梯形,并且黑白條紋寬度由遠(yuǎn)及近依次遞增。由于道路實(shí)際環(huán)境相對復(fù)雜,除了車輛干擾外,還會(huì)存在行人干擾因素,提取斑馬線圖像時(shí),無法直接提取出完整圖像,因此無法準(zhǔn)確判斷道路實(shí)際情況。針對該問題,需要排除圖像干擾,并根據(jù)斑馬線圖像特征提取完整的圖像[5]。
2.1.1 圖像裁剪
為減少位置較高的物體對斑馬線識別的干擾,需要對斑馬線圖像進(jìn)行裁剪,選用圖像下半部分,裁剪后的圖像像素高度為原始圖像的2/3;對于紅綠燈圖像,選用上半部分,圖像像素高度為原始圖像的1/2。對圖像進(jìn)行裁剪后,可以減少高處建筑物對斑馬線圖像識別的干擾。
2.1.2 斑馬線圖像灰度化
斑馬線為黑白線條,而灰度圖像像素只包括黑色和白色灰度值,可以準(zhǔn)確提取出斑馬線條紋特征,因此本文采用灰度化方法處理圖像[6-8]?;叶然幚矸椒ㄖ饕菍⒉噬珗D像像素點(diǎn)R、G、B顏色分量映射至灰度值,本文采用加權(quán)平均法對圖像進(jìn)行處理,該方法可以按照一定規(guī)則對原三通道圖像像素值進(jìn)行加權(quán)處理,并映射至灰度值,其表達(dá)式如下:
采用加權(quán)平均法對圖像進(jìn)行處理后,不僅可以減少不相關(guān)顏色的干擾,而且也可以突出斑馬線黑白條紋特征。經(jīng)過處理后的斑馬線圖像如圖2 所示。
圖2 斑馬線灰度化處理后的圖像
2.1.3 圖像濾波
為減少圖像中斑點(diǎn)、縫隙等噪聲,采用中值濾波法對圖像進(jìn)行處理,以提高圖像平滑度,減少圖像失真情況。中值濾波法主要通過模板遍歷斑馬線圖像,并按照一定規(guī)則對圖像灰度值進(jìn)行排序,最后采用中值代替圖像像素灰度,以此來使領(lǐng)域內(nèi)像素灰度更加接近實(shí)際情況[9]。
圖像濾波處理過程中,設(shè)置數(shù)字信號序列為x(0,M),并設(shè)定一段長度為奇數(shù)的采樣模板,用其模板中的中值代替原模板輸出值x'(k),計(jì)算公式如下:
總體來看,中值濾波方法可以有效去除脈沖噪聲,進(jìn)一步改善圖像失真情況。
人行道紅綠燈圖像分別為站立人行圖案和行走人行圖案,為準(zhǔn)確識別紅綠燈人行圖像,結(jié)合機(jī)器學(xué)習(xí)算法和背景去除算法識別圖像,識別流程如圖3 所示。
圖3 紅綠燈識別流程
導(dǎo)盲儀識別紅綠燈時(shí)由于存在行人和建筑物等干擾因素,識別定位準(zhǔn)確度較低。針對該問題,采用背景去除方法,提高紅綠燈的定位準(zhǔn)確度。因此在紅綠燈識別算法中加入背景去除算法,首先在導(dǎo)盲儀中輸入識別圖像,根據(jù)紅綠燈亮度較大的特征,通過形態(tài)學(xué)頂帽變化識別復(fù)雜環(huán)境中的高亮區(qū)域。
頂帽運(yùn)算為形態(tài)學(xué)運(yùn)算,其能夠減少因光照強(qiáng)度不均引起的圖像分割錯(cuò)誤問題。為提高紅綠燈識別定位精準(zhǔn)度,在圖像頂帽變換前將圖像轉(zhuǎn)化為灰度圖,轉(zhuǎn)化公式如下所示:
式中:Y為圖像灰度信號;V、U為圖像色差信號;B、G、R為三基色數(shù)值。
進(jìn)行紅綠燈圖像灰度化處理后,采用頂帽變換對圖像進(jìn)行開運(yùn)算,表達(dá)式為tophat=src-open(src, element)。
開運(yùn)算的目的是去除昏暗圖像中亮度較高的區(qū)域,然后與原始圖像比較得到原始圖像中紅綠燈高亮區(qū)域。
由于道路上存在車尾燈、紅綠燈等影響因素,進(jìn)行頂帽變換后,圖像中所有亮斑區(qū)域都會(huì)被提取。針對該問題,采用二值化算法對亮斑區(qū)域進(jìn)行分析,去除亮斑較小的區(qū)域,并將剩余亮斑較大的區(qū)域進(jìn)行放大處理,最后得到僅包含紅綠燈的待檢測區(qū)域[10]。
常見盲道顏色分為高亮橙色和與道路相近顏色,其紋理基本相近。根據(jù)該特征,基于LBP 紋理特征分類算法對盲道邊緣特征和紋理特征進(jìn)行分割和識別。識別流程如圖4 所示。
圖4 盲道識別流程
識別盲道時(shí),由于盲道拍攝影像存在失真情況,平行的盲道會(huì)出現(xiàn)不平行的問題,并且盲道磚塊表現(xiàn)為規(guī)則排列的梯形。為準(zhǔn)確識別盲道,采用透視變化對圖像進(jìn)行處理,該算法是一種利用透視旋轉(zhuǎn)定律改變圖像形狀和大小的操作,其原理是采用三點(diǎn)共線原則,將圖像投影至新平面,在不改變原有圖像幾何形狀的情況下對圖像進(jìn)行投影,獲取新的投影圖像。透視變換前后的盲道如圖5 所示,從圖中可以看出,盲道內(nèi)部問題和直線邊緣等特征得到了真實(shí)還原;并且與變換前的圖像相比,盲道特征更加突出和完整,進(jìn)而提高了盲道分割和識別的準(zhǔn)確性。
圖5 盲道透視變換前后圖像
為降低行人、車輛等不可控因素引發(fā)的導(dǎo)盲儀漏判、誤判等問題,采用超聲波技術(shù)監(jiān)測障礙物距離。超聲波識別流程如圖6 所示。
圖6 超聲波識別流程
在導(dǎo)盲儀的實(shí)際使用過程中,導(dǎo)盲儀主控制器向超聲波傳感器發(fā)送脈沖信號,然后由傳感器向前方發(fā)出周期電平,最后檢測回波信號計(jì)算障礙物距離。當(dāng)?shù)缆非胺轿恢么嬖谡系K物時(shí),超聲波傳感器接收到回波信號,并向主控制器輸出回響信號,由主控制器計(jì)算障礙物距離。
為提高導(dǎo)盲儀障礙物識別準(zhǔn)確性,當(dāng)用戶在盲道上行走時(shí),如果檢測到前方有障礙物,此時(shí)導(dǎo)盲儀提醒用戶躲避障礙物,并向用戶發(fā)出語音提醒。在此過程中導(dǎo)盲儀只反饋躲避障礙物信息,不反饋紅綠燈、斑馬線檢測結(jié)果;待障礙物消失后繼續(xù)對當(dāng)前道路進(jìn)行監(jiān)測。
當(dāng)用戶行走在盲道上時(shí),如果導(dǎo)盲儀檢測前方有行駛車輛,即使前方紅綠燈為綠燈狀態(tài)并且斑馬線被準(zhǔn)確識別的情況下,導(dǎo)盲儀也會(huì)向盲人發(fā)出等待提醒。待道路無行駛車輛且可以通行的情況下,停止向用戶發(fā)出避障提醒,以此來協(xié)助用戶安全穿越馬路。
本文根據(jù)導(dǎo)盲儀使用需求,對其使用功能進(jìn)行設(shè)計(jì),包括盲道、紅綠燈、障礙物識別等功能;結(jié)合用戶使用習(xí)慣,將導(dǎo)盲儀設(shè)計(jì)為穿戴式,減少導(dǎo)盲儀對用戶生活的影響。基于使用需求和功能需求分析,采用分類器算法識別定位斑馬線、紅綠燈、盲道等,并通過區(qū)域分割和顏色識別等方法對圖像進(jìn)行處理,以準(zhǔn)確識別道路;最后設(shè)計(jì)了超聲波輔助系統(tǒng)識別道路障礙物,并通過語音播報(bào)的方式向用戶發(fā)出提醒,以幫助用戶及時(shí)躲避障礙和安全穿越馬路。