張昂 黃立勤

摘 要：為彌補傳統(tǒng)導盲仗的不足，設計了一款基于視頻機器視覺的導盲杖輔助識別系統(tǒng)，幫助盲人識別盲道并解決盲道使用率低的問題。該設計由單片機、鏡頭組和輸出設備構成，能夠識別盲道的位置和不同功能，并進行相應提醒。該設計提出了基于自適應步長和邊緣信息提取的NCC加速算法，在保證識別精度的前提下大大降低了運算量。經(jīng)實驗，證明了該設計的效果和實用性。

關鍵詞：導盲杖;機器視覺;NCC;單片機

中圖分類號：TP752

文獻標識碼： A

據(jù)統(tǒng)計，中國的盲人數(shù)量約為500萬，占全世界盲人的18%，每年新增45萬盲人，為世界最多。[1]在當今的城市交通設計中，盲道已經(jīng)成為城市道路交通中必須的組成部分。中華人民共和國交通安全法第三十四條規(guī)定“城市主要道路的人行道，應當按照規(guī)劃設置盲道。”但在實際使用中，國內(nèi)城市大規(guī)模的盲道建設并沒有充分地被盲人使用。分析其原因有以下三點：（1）在道路建設或后期維護過程中，存在盲道斷開、錯位、部分缺失的問題。（2）盲道被障礙物阻斷或被其他物質覆蓋。（3）尚有大量盲人無法熟練使用導盲杖判斷盲道。

目前出現(xiàn)了一些新型智能導盲杖，如日本岡安光博開發(fā)的能感受到臉部高度處障礙物的導盲杖[2];俞國華等開發(fā)的基于多傳感器融合的智能導盲杖[1];孫二杰等開發(fā)的超聲波智能導盲杖[3]等 。以上設計主要是以超聲波、GPS和角度傳感器對障礙物和位置進行檢測，并加以提醒。但這些設計均以傳統(tǒng)傳感器為基礎設計，不能實現(xiàn)對盲道的識別，提醒盲人偏離了盲道指示的安全路徑，亦更無法解決前文分析的三點不足。

因此，本文設計了一種基于視頻機器視覺的智能導盲杖，意在通過視覺的方式識別盲道與盲道狀態(tài)，并用語音提示盲人。

1?系統(tǒng)方案

該設計以嵌入式單片機為核心，以圖像視頻傳感器為主要信息獲取源，通過語音和震動提供用戶反饋。受限于單片機資源，設計了一種改進型歸一化互相關（Normalized Cross Correlation，NCC）模板匹配算法，用以識別盲道狀態(tài)。

在導盲杖上加裝該設計后，可以識別攝像頭前方半徑0.5至3 m、角度為120°的扇形視場內(nèi)是否存在盲道，如此便可克服盲道斷開、錯位等問題，只要在視野內(nèi)存在盲道便發(fā)出相應語音和震動提示：當系統(tǒng)識別到盲道中的直條狀突起磚，即直行道時，語音提示“直行”;識別到盲道中的點狀突起磚，即停止或拐彎道時，語音提示“停止”;識別到盲道有中斷（缺塊或被阻擋）提示“繞行”。系統(tǒng)未識別到這兩種磚時則不發(fā)出語音提示，則意味著前方視場內(nèi)沒有盲道存在。

1.1?系統(tǒng)硬件設計

該設計由導盲杖與安裝其上的鏡頭組、處理器單元板、功放與揚聲器、電源、振動電機（選配）、超聲波模塊（選配）組成。設備固定于導盲杖杖身，可調整設備安裝高度以實現(xiàn)不同范圍的盲道識別。攝像頭視軸與地面呈45°夾角向前，采用電池供電。

系統(tǒng)的硬件核心為STM32F765VI ARM Cortex M7處理器;攝像頭組件為2.8 mm焦距鏡頭通過標準M12鏡頭底座與OV7725感光傳感器連接，通過SPI總線與核心處理器通信;PAM8403功放與3W揚聲器組成發(fā)聲模塊，與來自處理器的DAC數(shù)模轉換輸出相連。系統(tǒng)的硬件框圖如圖1所示。

1.2?系統(tǒng)軟件設計

設計的程序運行于開源的 Micro Python系統(tǒng)，該設計將Python3語言的解釋器和標準運行庫進行精簡以在單片機上運行實現(xiàn)。由此，可以調用Python豐富的庫資源，便于簡化設計、提高開發(fā)效率和增加可移植性。系統(tǒng)程序軟件流程圖如圖2所示。

機器視覺部分采用了基于NCC算法的模板匹配識別，優(yōu)點是抗白噪聲干擾能力強，經(jīng)優(yōu)化后運算量較小。傳感器模塊用以調用圖像傳感器和超聲波傳感器。設置圖像傳感器亮度增益為16，對比度為1，幀圖像分辨率為QVGA（320*240），顏色格式為灰度。外部輸入輸出用以調試、震動電機和擴展，設置UART波特率為19200，超時時間1000毫秒。聲音解碼調用Python的wave庫函數(shù)實現(xiàn)，聲音文件調用chunk庫打開。數(shù)模轉換（DAC）將解碼后的聲音變換為模擬信號送到功放模塊進行播放，通過調用Pyb庫實現(xiàn)。定時器使用MicroPython的Time函數(shù)實現(xiàn)。

2?NCC算法的優(yōu)化設計

2.1?NCC算法選擇

盡管盲道的建設均按照相應規(guī)范制作，但盲道的鋪磚存在條塊邊緣平滑度差異、顏色差異、尺寸細微不同等多種問題。同時，受單片機資源限制，不宜采用如神經(jīng)網(wǎng)絡等算法復雜度過高的圖像識別技術。經(jīng)實際環(huán)境測試，盲道在外形差異性上與周邊區(qū)域有明顯不同。通過對比統(tǒng)計識別、模糊識別、貝葉斯分類器等方式，發(fā)現(xiàn)采用基于灰度相關的圖像匹配算法較為合適?；诨叶认嚓P的圖像匹配算法利用圖像的灰度信息進行圖像模板和圖像來源之間的相似性技術，進而尋找最優(yōu)相似性度量值的位置進行匹配。目前常用的算法有歸一化互相關（Normalized Cross Correlation，NCC）算法、序貫相似性檢測算法（Similarity Sequential Detection Algorithm，SSDA）等[4]。SSDA算法的優(yōu)勢是可以實現(xiàn)快速高效匹配[5-6]，相對于NCC來說更為節(jié)省系統(tǒng)資源，但在該設計中存在較為嚴重的白噪聲干擾，且圖像紋理較少，因此誤匹配率明顯較高，不合適使用。NCC匹配算法在相關匹配算法中效果最好，其匹配精度高且抗光照影響[7-8]，較為適合該設計使用。但是傳統(tǒng)的NCC方法需要把模板逐點在原圖像中平移計算，運算量較大，且不能變角度匹配，局限性較大。

NCC算法的缺點在于：運算量大、匹配速度慢，以往常運行于運算能力較強的計算機平臺，并運用于對時效性要求不高的場合。但在該設計中，系統(tǒng)的處理核心為單片機，且對時效性提出一定要求。因此必須對傳統(tǒng)NCC算法進行減少運算量的優(yōu)化。許多研究提出改進算法對其進行優(yōu)化，其目的在于在保證匹配精度的前提上，盡量減少匹配次數(shù)。一是對相關性系數(shù)算子進行優(yōu)化，如Bai X[9]的研究;二是通過改進搜索區(qū)域來降低計算量，如安凱等[10]的研究;三是針對搜索策略進行優(yōu)化，如黃真寶[11]的研究。根據(jù)本設計特點，采用了針對搜索策略優(yōu)化的自適應步長算法和針對改進搜索區(qū)域的邊緣信息提取策略。

2.2?自適應步長的NCC算法設計

本文針對搜索策略采用了一種基于自適應步長選擇的 NCC 匹配算法，其算法核心在于：當模板和源圖像像素相關性較小時進行大步長計算，當模板和源圖像像素相關性較大時進行小步長計算。

NCC算法的核心思路為：通過比較模板圖像和源圖像在各個位置的歸一化互相關系數(shù)來計算其相關性，相關性系數(shù)在全圖中最大且超過閾值時認定為最佳匹配位置。其數(shù)學定義為：假設圖像S的尺寸為M×M，模板T大小為N×N，其中M>N，M、N的單位為像素。模板T從（0，0）位置開始在圖像S上平移，模板覆蓋的子圖位置為Si，j，其中（i，j）為子圖左上角坐標。其歸一化相關系數(shù)R的計算公式如下：

相關性系數(shù)的值在（0，1）之間，當源圖像的某個子圖與模板完全一致時得到最大值1。

由吳福培[12]和吳松[13]等人的研究知，相鄰像素的相關性系數(shù)是相關的，其變化相對緩慢，最佳匹配位置與周圍像素點的相關性系數(shù)會形成一個尖峰，而其他非匹配位置的相關性系數(shù)則低很多，如圖3所示。

就像素點來說，相關性系數(shù)的變化是相對緩慢的。所以可根據(jù)不同的相關性系數(shù)值選擇不同的步長。當相關性系數(shù)較低時，選擇較長的步長，搜索速度較快，系統(tǒng)計算資源消耗較小，搜索得較為粗糙;當相關性系數(shù)較高時，選擇較短的步長，搜索速度較慢，系統(tǒng)計算資源消耗較大，搜索得較為精細。因此，可以采用大步長加速搜尋過程，快速逼近匹配區(qū)域;采用小步長進行精細匹配，保證匹配精度。本設計選取T1、T2、T3（T1<T2<T3）三個檔位閾值進行計算。當相關性系數(shù)小于T1時，采用步長D=5計算;當相關性系數(shù)大于T1小于T2時，采用步長D=3計算;當相關性系數(shù)大于T2小于T3時，采用步長D=1計算。T1、T2、T3取值由實際工作環(huán)境確定。

2.3?邊緣信息提取NCC加速算法設計

因各路段的盲道規(guī)格存在差異，為提升該設計的適應性，需要對不同規(guī)格的盲道鋪磚創(chuàng)建不同模板。NCC算法以灰度信息作為基礎創(chuàng)建模板，針對被匹配圖像的每個像素進行計算。因盲道的信息集中于突起的輪廓邊緣，為進一步加速算法，采用邊緣信息提取的算法對模板提取關鍵信息，通過減少模板的匹配點計算量來加速運算。

邊緣提取信息算法有Sobel算子、Roberts算子、Canny算子等方法。Roberts 算子采用對角線方向的相鄰像素之差近似梯度幅值檢測邊緣[14]，適合做線性化圖像檢測[15]。 Sobel算子的計算量較大[16]且受噪聲影響較大。Canny算子[17]受噪聲影響較小，但需六個步驟，計算較為繁瑣。鑒于本設計僅需要快速獲得提取到模板信息的位置，因此采用Laplacian算子進行邊緣信息計算[5]。

由于盲道的凸起形狀，其邊緣信息不易受光照強度變化的影響而消失，即邊緣強度較大，使Laplacian算子響應在邊緣處有較大的值[18]。為消除噪聲，對比了中值濾波、均值濾波等方法，設計中采用了效果最佳的高斯濾波。高斯平滑函數(shù)為公式（2）。

H（x，y）=12πσ2exp（-x2+y22σ2），

G（x，y）=f（x，y）*H（x，y）。（2）

為簡便計算，使用通用高斯卷積核模板矩陣

R

G如式（3），通用Laplacian算子卷積核矩陣Rlaplacian如式（4），綜合后得矩陣RGL式（5）。

RG=1/161/81/161/81/41/81/161/81/16，（3）

Rlaplacian=0101-41010，（4）

RGL=1/169/81/169/8-15/49/81/169/81/16。（5）

將圖像模板T與式（5）進行卷積計算后得到新模板P，如式（6）。

Pi，j=TRGL。（6）

由于在灰度變化不大的圖像中，相鄰像素的灰度值很接近，通過使用新模板對其進行差分運算時，會產(chǎn)生大量的0，1或-1。這些計算耗時很少，從而大幅提高匹配速度。

3??實驗與分析

最終設計成品如圖4所示，其現(xiàn)場識別畫面如圖5所示。經(jīng)過預采集和預處理的模板文件存儲在該設計的存儲卡中。經(jīng)測試，在模板尺寸為80*80像素，模板數(shù)量為6時，能實現(xiàn)0.2～1 s的循環(huán)匹配速率，匹配速率隨模板復雜度而變化。

對比同場景單張模板的匹配速度進行測試，可見優(yōu)化后算法在匹配速度上有較為明顯的優(yōu)勢，如表1所示：

為避免過于頻繁的提示，根據(jù)實際需要，采用2 s一次循環(huán)的設計，即一次循環(huán)包含2次以上匹配，2次（含）以上確認匹配才進行語音提示。

在閾值的選取上，閾值設置越低則識別率和誤識別率越高。因為該測試難以模擬，采用實地測試的方式進行。設定不同閾值后，在現(xiàn)場對設備進行識別率、誤識別率的測試。通過調試，確定閾值T1=0.3，T2=0.5，T3=0.7，能夠較好進行圖像識別，同時擁有較低的誤識別率。

為檢驗系統(tǒng)的可靠性與效果，選取了3個路段進行測試。測試選擇200次條狀直行磚和200次點狀停止磚的識別進行統(tǒng)計。經(jīng)測試，統(tǒng)計結果如表2所示：

對以上三個情況進行分析：（1）識別率最高為C路段，因為盲道地磚為新近鋪設，條形輪廓較為明晰，光照均勻，識別度較好。識別率最低為B路段，因為該路段的盲道地磚為混凝土壓鑄，條形輪廓不清晰，且較為陳舊，有較多缺損。同時，因該路段樹蔭較多，陽光下有較多光斑，對識別率造成較大影響。（2）A路段和C路段的誤識別率基本一致，主要由地面條狀紋理造成。B路段的誤識別率明顯較高，主要由于路面光斑造成。

4??結論

通過對以上數(shù)據(jù)的統(tǒng)計，可得出結論：在實際應用環(huán)境中，通過機器視覺的方式實現(xiàn)盲道識別的方法是切實可行的，該設計的改進型NCC算法能夠在運算資源較少的單片機上良好工作，具有較好的適應性和實用性。

參考文獻：

[1]俞國華， 朱廣偉， 張珂. 基于多傳感器融合的智能導盲杖研制[J]. 測控技術， 2015， 34（4）：20-23.

[2]孟湘君.日本發(fā)明電子導盲杖可感知臉部高度障礙物[EB/OL].[2010-05-21].http：//www.chinanews.com/gj/gj￣sjkj/news/2010/05-21/2296545.shtml.

[3]孫二杰， 汪東軍， 石震， 等. 超聲波智能導盲杖的設計[J]. 計算機系統(tǒng)應用， 2015， 24（8）：273-276.

[4]李子印， 許斌， 陳立峰. 基于自適應步長選擇的NCC圖像匹配算法[J]. 光電工程， 2013， 40（10）：77-84+89.

[5]Wang Y， Wu D. An improved adaptive SSDA based on wavelet￣pyramid[C]// American Institute of Physics Conference Series. AIP Publishing LLC， 2017.

[6]張維琪， 樊斐. 自適應SSDA圖像匹配并行算法設計與實現(xiàn)[J]. 計算機工程與應用， 2014， 50（20）：64-67.

[7]Landzettel K， Preusche C， AlbuSchffer， Alin， et al. Robotic on￣orbit servicing￣DLR’s experience and perspective.[C]// IEEE/RSJ International Conference on Intelligent Robots & Systems. IEEE， 2006.

[8]王恩國， 吳樹范. NCC邊緣信息快速匹配算法[J]. 電子技術， 2017（12）：25-27.

[9]Bai X. Morphological center operator based infrared and visible image fusion through correlation coefficient[J]. Infrared Physics & Technology， 2016， 76：546-554.

[10]An K， Ma J G. Solution system of minimum￣magnitude equation about the screw of a rigid￣body motion of manipulator[J].Opto￣Electronic Engineering， 2010， 37（7）：8-11.

[11]黃真寶，陳陽.圖像匹配中NCC算法的一種快速實現(xiàn)方法[J].信息化研究，2011，37（02）：48-52.

[12]吳福培，郭家華，李昇平，等.基于單目視覺的曲面弧度測量方法[J].光子學報，2018，47（11）：126-136.

[13]吳松，張敏情，雷雨.基于圖像相鄰像素相關性的LSB匹配隱寫分析[J]. 計算機應用研究， 2014， 31（3）：846-849.

[14]殷曉雪. 車道偏離預警系統(tǒng)的研究與實現(xiàn)[D]. 哈爾濱：哈爾濱工業(yè)大學， 2014.

[15]唐陽山， 徐忠?guī)洠?黃賢丞， 等. 基于Roberts算子的車道線圖像的邊緣檢測研究[J]. 遼寧工業(yè)大學學報（自然科學版）， 2017（6）：36-39+43.

[16]黃虎，楊丁，雷宇輝，等.基于CORDIC的高速Sobel算法實現(xiàn)[J].電子技術應用，2018，44（9）：87-90.

[17]鈕圣虓，王盛，楊晶晶，等.完全基于邊緣信息的快速圖像分割算法[J].計算機輔助設計與圖形學學報，2012，24（11）：1410-1419.

[18]呂鯉志，強彥.基于Laplacian金字塔和小波變換的醫(yī)學CT圖像增強算法[J].計算機科學，2016，43（11）：300-303.

（責任編輯：曾?晶）

Design of Guide Stick Aided Recognition System Based on Machine Vision

ZHANG Ang*，HUANG Liqin

（College of Physics and Information Engineering，F(xiàn)uzhou University，F(xiàn)uzhou 350116，China）

Abstract：

To make up for the deficiency of traditional guide，the design based on video machine vision，it helps blind people identify blind paths and solves the problem of low utilization of blind paths.The design consists of a single chip computer， a lens group and an output device.It can identify the location and different functions of blind path and give corresponding reminders.An NCC acceleration algorithm based on adaptive step size and edge information extraction is proposed in this design.On the premise of guaranteeing the recognition accuracy， the computational complexity is greatly reduced.Experiments prove the effectiveness and practicability of the design.

Key words：

guide stick;machine vision;NCC;MCU