摘 要：為了解決傳統(tǒng)基于超聲波或者紅外傳感器技術(shù)設(shè)計的導(dǎo)盲杖難以應(yīng)用于復(fù)雜多變的環(huán)境、實用性不強(qiáng)的問題，設(shè)計了基于視覺感知技術(shù)的智能導(dǎo)盲杖?？紤]到使用場景的復(fù)雜性，通過采集大量真實場景中各種形態(tài)的盲道、紅綠燈、斑馬線、馬路邊緣和路面障礙物等圖像制作了道路信息圖像數(shù)據(jù)集，并將訓(xùn)練好的YOLO模型部署到邊緣計算平臺Jetson Xavier NX上，實現(xiàn)多傳感器數(shù)據(jù)融合。實驗結(jié)果表明：該系統(tǒng)識別精度高，穩(wěn)定性好，平均實時檢測處理速度達(dá)到了20.61 FPS，能夠及時有效地反饋信息，引導(dǎo)盲人正常出行。

關(guān)鍵詞：深度學(xué)習(xí)；圖像處理；STM32F103；多傳感器融合；邊緣計算；YOLO模型

中圖分類號：TP391 文獻(xiàn)標(biāo)識碼：A 文章編號：2095-1302（2025）02-0-04

0 引 言

隨著盲人群體生活水平和教育水平的提升，導(dǎo)盲市場將逐步擴(kuò)大。盡管智能化和自動化產(chǎn)品不斷涌現(xiàn)，定向行走輔具種類豐富，但成本高、使用復(fù)雜和受眾小的特點(diǎn)限制了導(dǎo)盲產(chǎn)品的大規(guī)模生產(chǎn)。目前市場主要使用超聲波測距輔助導(dǎo)盲，未來還將加大對盲人產(chǎn)品的研究開發(fā)[1]。目前市面上尚未出現(xiàn)具有高科技水平且使用方便友好的電子導(dǎo)航設(shè)備為盲人提供服務(wù)。盲人出行仍然主要依賴于盲杖。文獻(xiàn)[2-4]基于多傳感器融合，設(shè)計了具有超聲波測距、語音播報、振動反饋、倒地檢測等功能的電子導(dǎo)盲杖，文獻(xiàn)[5-6]從導(dǎo)航功能入手，設(shè)計集成了具有GPS定位和GSM短信功能的導(dǎo)盲杖，文

獻(xiàn)[7-11]利用圖像處理識別盲道，拓寬了導(dǎo)盲杖的應(yīng)用場景。然而，深度學(xué)習(xí)與邊緣計算端的研究雖然對盲道分割和障礙物檢測進(jìn)行了探索，但算法復(fù)雜，在移動設(shè)備中難以應(yīng)用。

因此本文設(shè)計了一款擁有實時探測掃描路況、盲道識別、紅綠燈識別、語音振動提示功能的導(dǎo)盲杖。該導(dǎo)盲杖具有攜帶方便、續(xù)航能力強(qiáng)、實用性強(qiáng)、安全性高的特點(diǎn)。本文在前人研究的基礎(chǔ)上，從系統(tǒng)的穩(wěn)定性、實用性和安全性方面做了深入論證，利用深度學(xué)習(xí)的強(qiáng)大能力，設(shè)計制作了基于視覺感知的智能導(dǎo)盲杖。

本文的貢獻(xiàn)主要有3個方面：

（1）將深度學(xué)習(xí)與傳感器檢測融合，使得導(dǎo)盲杖具備視覺導(dǎo)盲、傳感器導(dǎo)盲以及視覺-傳感器導(dǎo)盲3種導(dǎo)盲模式，使導(dǎo)盲效果更好，應(yīng)用場景更為廣泛。

（2）構(gòu)建了一個盲人行走時所需的地面圖像數(shù)據(jù)集，該數(shù)據(jù)集包括了盲道、交通標(biāo)識（紅綠燈和斑馬線）、馬路邊緣、路面積水、車輛等圖像。

（3）采用GhostNet輕量化主干網(wǎng)絡(luò)作為Backbone的基礎(chǔ)結(jié)構(gòu)優(yōu)化深度學(xué)習(xí)模型，在保證檢測性能的同時，將網(wǎng)絡(luò)輕量化，使其能運(yùn)行在小型邊緣計算平臺上，讓人工智能造福盲人群體成為了可能。

1 系統(tǒng)設(shè)計方案

1.1 總體結(jié)構(gòu)設(shè)計思路

盲人出行需要實時獲取周圍情況并傳遞信息，包括障礙物、道路邊緣、積水、盲道、斑馬線，以及能夠發(fā)送GPS位置、求助信息等。為此，本文設(shè)計開發(fā)了一套基于視覺感知的智能導(dǎo)盲輔助系統(tǒng)，旨在滿足以上需求，讓盲人出行更加輕松便捷[12]。

1.2 系統(tǒng)功能概述

本文將深度學(xué)習(xí)技術(shù)應(yīng)用于導(dǎo)盲杖，使盲人在出行時能更全面地了解周圍環(huán)境。模型部署在小型邊緣計算設(shè)備上，為移動端應(yīng)用深度學(xué)習(xí)和圖像處理技術(shù)提供了硬件支持。通過對攝像頭進(jìn)行實時分析，實現(xiàn)盲道、紅綠燈、斑馬線識別，上下臺階、GPS通信、路面障礙物檢測及距離測量、積水檢測、環(huán)境光強(qiáng)檢測、摔倒報警等功能。

考慮到系統(tǒng)的魯棒性與安全性，本文在算法上也設(shè)計了3種模態(tài)，并且3種模態(tài)可以自由切換，具體模態(tài)如下：

（1）圖像模式下，系統(tǒng)使用攝像頭采集圖像進(jìn)行導(dǎo)盲，檢測盲道、斑馬線和其他交通標(biāo)志物，并在遇到障礙物時提醒盲人避讓；

（2）圖像與傳感器模式下，在光照較差時，系統(tǒng)借助傳感器數(shù)據(jù)判斷障礙物位置和路面情況；

（3）傳感器模式下，當(dāng)攝像頭損壞或環(huán)境惡劣時，系統(tǒng)依靠超聲波、GPS、GSM等傳感器導(dǎo)盲。在極端情況下，盲人可借助系統(tǒng)向路人求助或按下系統(tǒng)面板上的“一鍵求助”按鈕，發(fā)送位置信息給家人。

這3種模式覆蓋了各種導(dǎo)盲場景，并能有效保障盲人安全出行。導(dǎo)盲系統(tǒng)實物結(jié)構(gòu)如圖1所示。

2 系統(tǒng)設(shè)計

系統(tǒng)硬件部分主要從Jetson邊緣計算開發(fā)板、STM32最小系統(tǒng)、語音識別與播放模塊、攝像頭模塊以及電源設(shè)計

4個方面闡釋了相關(guān)電路設(shè)計，將視覺數(shù)據(jù)和傳感器數(shù)據(jù)分開處理，最后通過串口通信整合在一起，以提高系統(tǒng)的抗干擾能力。嵌入式軟件部分主要包括串口數(shù)據(jù)的接收、解析、執(zhí)行[13]。系統(tǒng)整體框架如圖2所示。

2.1 系統(tǒng)硬件設(shè)計

考慮到實際應(yīng)用場景，在前人研究的基礎(chǔ)上，本文采用STM32F103C8T6作為傳感器采集控制器，通過串口通信與Jetson主控板進(jìn)行數(shù)據(jù)交換[14]。

（1）環(huán)境光強(qiáng)檢測：利用光敏電阻檢測周圍環(huán)境光強(qiáng)，以達(dá)到及時開燈的目的。

（2）積水檢測：利用積水傳感器檢測道路是否有積水，其原理是將水的電阻轉(zhuǎn)變?yōu)殡妷盒盘枺?dāng)路面有積水時，兩根導(dǎo)線之間的水充當(dāng)電阻，進(jìn)而產(chǎn)生電壓信號傳送給單片機(jī)做出判斷。

（3）傾斜檢測：利用滾珠的移動獲得信號，判斷人體是否傾倒。傾倒時滾珠滾動到一端（正常時滾珠在另一端），當(dāng)檢測到摔倒后能及時發(fā)送求救短信，并且通過語音向路人求助。

（4）GSM與GPS：盲人出行時會使用GPS來定位和導(dǎo)航，遇到緊急情況時利用GSM模塊發(fā)送求救信息，并且每隔一段時間發(fā)送一次定位信息，便于家人獲得盲人的位置及其軌跡，若遇到緊急情況可以一鍵短信報警。

（5）語音振動提醒：利用三極管驅(qū)動振動馬達(dá)，當(dāng)遇到障礙物等情況時由主控發(fā)送控制信號驅(qū)動電機(jī)振動，同時通過串口發(fā)送語音播放命令，進(jìn)行語音提醒。本系統(tǒng)采用的語音模塊還能對特定的語句進(jìn)行識別，并執(zhí)行對應(yīng)的操作，極大地方便了盲人使用。

（6）超聲波測距功能：障礙物距離測量采用低成本、高精度的HC-SR04超聲波測距模塊。根據(jù)發(fā)射信號與回響信號的時間間隔計算距離，見式（1）：

（1）

式中：Th表示超聲波傳感器輸出高電平的時間；V表示聲波在空氣中的傳播速度。為了使測距更加準(zhǔn)確穩(wěn)定，該系統(tǒng)采用了3個超聲波傳感器，3個傳感器分別從正前方、左前方、右前方3個方向探測障礙物，并根據(jù)與障礙物間的距離提醒用戶避讓。傳感器探測示意圖如圖3所示。

2.2 數(shù)據(jù)集制作與訓(xùn)練

導(dǎo)盲系統(tǒng)對圖像質(zhì)量要求不高，只要能判斷出物體類型、物體位置即可，結(jié)合超聲波傳感器等獲得的數(shù)據(jù)便可輕松引導(dǎo)盲人行走，故系統(tǒng)采用常見的USB攝像頭獲取圖像，并將采集到的圖像制作成數(shù)據(jù)集，數(shù)據(jù)集包含盲道、車輛、斑馬線、樹木、馬路邊緣、紅綠燈、行人等16類目標(biāo)，共2 666張圖片。

3 系統(tǒng)算法

3.1 軟件開發(fā)與應(yīng)用環(huán)境

算法開發(fā)的整個過程在Windows 11環(huán)境下完成，選用的CUDA版本為11.7，OpenCV版本為4.6，使用的深度學(xué)習(xí)框架為PyTorch 1.11。算法應(yīng)用環(huán)境Jetson Xavier NX 16 GB是一款外形小巧的SOM（System-on-Module），尺寸比信用卡還小，高效節(jié)能的模組可提供服務(wù)器級性能，算力高達(dá)21 TOPS，使得Jetson Xavier NX能夠并行運(yùn)行多個現(xiàn)代神經(jīng)網(wǎng)絡(luò)[15]。

3.2 系統(tǒng)算法流程

本系統(tǒng)利用Jetson開發(fā)板、采集的圖像和傳感器數(shù)據(jù)實現(xiàn)相應(yīng)功能，實時提醒盲人注意周圍環(huán)境中的障礙物，從而引導(dǎo)盲人安全出行。導(dǎo)盲系統(tǒng)主程序算法流程如圖4所示。

系統(tǒng)運(yùn)行后，會根據(jù)盲人當(dāng)前周圍狀況指導(dǎo)盲人行走，并實時檢測路邊、障礙物、斑馬線、盲道等目標(biāo)。可以將系統(tǒng)分為3個階段：

（1）自由階段：根據(jù)周圍狀況提醒盲人前進(jìn)，引導(dǎo)盲人走到盲道或斑馬線。

（2）盲道行走階段：引導(dǎo)盲人在盲道上行走，提醒盲人是否走偏或轉(zhuǎn)向，遇到障礙物則返回自由階段。

（3）過馬路階段：提示盲人斑馬線的位置，檢測紅綠燈，指示盲人是否可以過馬路，盲人在斑馬線上行走時提醒其是否偏離。

3.3 實驗結(jié)果與分析

本文在不同場景下測試了邊緣計算端的實時處理速度和識別精度，結(jié)果表明，系統(tǒng)在不同情境下都能通過語音提醒盲人避障，如偏離盲道、行走在馬路邊緣、通過斑馬線、在菜市場購物等。在盲道和馬路邊緣行走時，圖像處理速度較快，但在復(fù)雜場景如十字路口、菜市場和超市等地，速度有所下降。平均實時檢測處理速度達(dá)到20.61 FPS，已滿足盲人導(dǎo)航需求。同時，在不影響正常使用的情況下，系統(tǒng)可以對畫面進(jìn)行抽幀檢測，平均速度甚至能達(dá)到35.45 FPS。針對這些場景的識別與提醒，使盲人的生活出行更加方便與安全。不同場景下導(dǎo)盲杖的可視化結(jié)果如圖5所示，不同場景下導(dǎo)盲杖的實時檢測速度見表1。

4 結(jié) 語

本文設(shè)計制作的基于視覺感知的智能導(dǎo)盲杖系統(tǒng)可以在圖像模態(tài)、傳感器模態(tài)和雙模態(tài)中自動切換，并實現(xiàn)語音提醒和振動反饋，滿足盲人導(dǎo)航和提醒需求，為盲人提供更便捷和安全的出行方式。本文采用GhostNet輕量化網(wǎng)絡(luò)結(jié)構(gòu)替換復(fù)雜的C3網(wǎng)絡(luò)結(jié)構(gòu)，大幅降低了模型計算量，提高了檢測速度，在保證檢測性能的同時提高了運(yùn)行效率，具有較高的實用價值和應(yīng)用前景。

參考文獻(xiàn)

[1]徐誼涵，賈瓊瓊，鐘有朋，等.現(xiàn)代盲人出行產(chǎn)品市場與可行性研究綜述[J].現(xiàn)代商貿(mào)工業(yè)，2019，40（21）：76-77.

[2]杜宇崧，袁嘯宇，馬雪嬌.基于多傳感器融合技術(shù)的智能導(dǎo)盲杖的設(shè)計[J].電子制作，2021（7）：80-81.

[3] DEY N， PAUL A， GHOSH P， et al. Ultrasonic sensor based smart blind stick [C]// 2018 International Conference on Current Trends towards Converging Technologies. Coimbatore， India： IEEE， 2018： 1-4.

[4] KUMAR M， KABIR F， ROY S. Low cost smart stick for blind and partially sighted people [J]. International journal of advanced engineering and management， 2017， 2（3）： 65-68.

[5]錢鵬飛.基于多傳感器融合的新型智能導(dǎo)盲杖設(shè)計[J].科技創(chuàng)新與應(yīng)用，2022，12（7）：78-79.

[6]陳艷，胡廣，羅厚澄，等.基于STM32芯片的智能導(dǎo)盲杖設(shè)計[J].電子技術(shù)，2022，51（10）：10-11.

[7] AGUSUTRISNO， WIRYADINATA R， NOVIANTO M N R. Development of guide stick navigation for blind person using digital compass and global positioning system [C]// IOP Conference Series： Materials Science and Engineering. Bali， Indonesia： IOP， 2019， 673（012053）.

[8]左炳輝，范志文，邱宇.基于機(jī)器視覺的智能導(dǎo)盲杖[J].自動化技術(shù)與應(yīng)用，2022，41（3）：150-152.

[9]王政博，唐勇，陳國棟，等.基于機(jī)器視覺的智能導(dǎo)盲機(jī)器人系統(tǒng)設(shè)計[J].河北水利電力學(xué)院學(xué)報，2021，31（4）：17-22.

[10]何騰鵬，張榮芬，劉超，等.基于機(jī)器視覺的智能導(dǎo)盲眼鏡設(shè)計[J].電子技術(shù)應(yīng)用，2017，43（4）：58-61.

[11]楊馥語，陳娟.基于嵌入式圖像處理及路徑規(guī)劃的智能導(dǎo)盲儀[J].流體測量與控制，2022，3（3）：65-68.

[12]張贏，陳佳藝，童星，等.基于導(dǎo)盲杖智能圖像處理與識別的研究[N].山西科技報，2022-05-23（B03）.

[13]金煒杰.面向Android平臺基于深度學(xué)習(xí)的導(dǎo)盲系統(tǒng)關(guān)鍵技術(shù)研究和實現(xiàn)[D].杭州：杭州電子科技大學(xué)，2020.

[14]董冠廷，胡昊迪，吳澤琨，等.基于異構(gòu)計算與深度學(xué)習(xí)的導(dǎo)盲系統(tǒng)設(shè)計[J].電子技術(shù)與軟件工程，2018（14）：101-102.

[15] KASILINGAM G， RAMALINGAM M. A survey of voice aided electronic stick for visually impaired people [J]. Computer science， 2014（1）.

作者簡介：高順強(qiáng)（1996—），男，在讀碩士研究生，研究方向為深度學(xué)習(xí)圖像處理。

王智文（1969—），男，湖南邵陽人，教授，研究方向為人工智能。

趙文志（1997—），男，在讀碩士研究生，研究方向為圖像處理。

李 娜（1997—），女，在讀碩士研究生，研究方向為機(jī)器視覺。

收稿日期：2024-01-18 修回日期：2024-02-29

基金項目：國家自然科學(xué)基金資助項目（62466004）；國家自然科學(xué)基金資助項目（61962007）；國家自然科學(xué)基金資助項目（62266009）；廣西自然科學(xué)基金重點(diǎn)項目（2018GXNSFDA294001）；廣西財經(jīng)大數(shù)據(jù)重點(diǎn)實驗室開放基金項目資助（FEDOP2022A06）；廣西高校中青年教師科研基礎(chǔ)能力提升項目（2022KY1697）；廣西高校中青年教師科研基礎(chǔ)能力提升項目教育信息化專項（2022XXH0019）；2023年廣西科技大學(xué)研究生教育創(chuàng)新計劃項目（GKYC202323）