王巖，田會(huì)峰

（江蘇科技大學(xué)電氣與信息工程學(xué)院，江蘇張家港 215600）

設(shè)計(jì)的系統(tǒng)采用Raspberry Pi（樹(shù)莓派）作為主控制器，其小巧經(jīng)濟(jì)，廣泛應(yīng)用于嵌入式與物聯(lián)網(wǎng)領(lǐng)域。利用Raspberry Pi 自帶的CSI 接口（相機(jī)串行接口）驅(qū)動(dòng)Pi Camera（樹(shù)莓派攝像頭）捕捉實(shí)時(shí)畫(huà)面，通過(guò)Frp（快速反向代理）內(nèi)網(wǎng)穿透上傳至華為云服務(wù)器ECS，兩個(gè)USB 接口攝像頭則分別進(jìn)行照片的拍攝與物體的檢測(cè)識(shí)別，照片將自動(dòng)存儲(chǔ)于云存儲(chǔ)空間。語(yǔ)音交互綜合利用了百度智能云語(yǔ)音技術(shù)以及圖靈機(jī)器人。其余各功能模塊，如HC-SR04 模塊、MPU6050 模塊、GPS 模塊，經(jīng)配置分別完成距離測(cè)量、狀態(tài)檢測(cè)、位置讀取。整個(gè)系統(tǒng)使用Button Switch 按鍵模塊作為控制開(kāi)關(guān)。

1 硬件系統(tǒng)設(shè)計(jì)以及實(shí)現(xiàn)

1.1 系統(tǒng)總體設(shè)計(jì)

系統(tǒng)以Raspberry Pi 作為控制核心，硬件電路由ReSpeaker2-Mics Pi HAT 語(yǔ)音模塊、HC-SR04 模塊、MPU6050 模塊、GPS 定位模塊、Button Switch 按鍵模塊、USB 攝像頭、Pi Camera 以及擴(kuò)音器組成，智能手杖總體硬件框圖如圖1 所示。

圖1 總體硬件框圖

1.2 系統(tǒng)功能分析

第一，系統(tǒng)能夠自動(dòng)測(cè)量前方障礙物的距離，HC-SR04 模塊工作原理如圖2 所示。距離計(jì)算公式為：

圖2 HC-SR04模塊工作原理

式中，L為模塊與障礙物的距離，t2為返回信號(hào)接收時(shí)間，t1為發(fā)出信號(hào)時(shí)間[1]。一旦距離超過(guò)安全閾值，系統(tǒng)及時(shí)輸出語(yǔ)音警報(bào)，以便使用者迅速作出反應(yīng)[2]；

第二，系統(tǒng)能夠傳輸攝像頭捕捉到的視頻流，并且將實(shí)時(shí)畫(huà)面共享至云服務(wù)器中，通過(guò)設(shè)置一定權(quán)限保證指定的第三方用戶能夠訪問(wèn)此監(jiān)視畫(huà)面；

第三，系統(tǒng)能夠在用戶與前方障礙物保持較大距離時(shí)滿足語(yǔ)音交互需求，用戶通過(guò)按動(dòng)按鍵進(jìn)行錄音后即可享受天氣預(yù)報(bào)、自由對(duì)話等多種服務(wù)；

第四，手杖能夠充當(dāng)相機(jī)，可供使用者隨時(shí)隨地進(jìn)行拍攝，只需按下按鍵，系統(tǒng)便自動(dòng)將照片上傳至云存儲(chǔ)空間中；

第五，系統(tǒng)能夠?qū)z像頭捕捉畫(huà)面中的各物體進(jìn)行檢測(cè)與識(shí)別，并給出各自的識(shí)別結(jié)果及準(zhǔn)確率；

第六，系統(tǒng)可對(duì)使用者的人體姿態(tài)進(jìn)行檢測(cè)，如若發(fā)現(xiàn)異常，可及時(shí)發(fā)出求救信息并保持發(fā)送狀態(tài)直至危險(xiǎn)解除；

第七，系統(tǒng)定時(shí)采集GPS 模塊返回的經(jīng)緯度數(shù)據(jù)，將其轉(zhuǎn)換為地理位置發(fā)送至指定接收方。

涂裝是現(xiàn)代產(chǎn)品制造工藝中的重要環(huán)節(jié)之一，它包括涂裝前對(duì)被涂物表面的處理、涂布工藝和干燥三個(gè)基本工序以及設(shè)計(jì)合理的涂層系統(tǒng)。傳統(tǒng)涂裝工藝中，在噴漆、烘干工段會(huì)產(chǎn)生大量的有機(jī)溶劑氣體，其主要成分是甲苯、二甲苯、苯等，這些有害物質(zhì)外排不僅影響大氣環(huán)境，而且有火災(zāi)和爆炸的環(huán)境風(fēng)險(xiǎn)。涂裝工藝產(chǎn)生的環(huán)境污染與涂料選擇、作業(yè)環(huán)境條件、質(zhì)量及工藝管理各方面息息相關(guān)［1］。

1.3 系統(tǒng)硬件的選擇

由于系統(tǒng)所需實(shí)現(xiàn)的功能包括語(yǔ)音交互、按鍵拍照，因而，為滿足控制條件的需求，這里選用了兩個(gè)Button Switch 按鍵模塊。在距離測(cè)量方面，選用HC-SR04 超聲波測(cè)距模塊[3]。而對(duì)于狀態(tài)檢測(cè)，則選用MPU6050 陀螺儀模塊，通過(guò)設(shè)置加速度閾值以保證跌倒即時(shí)求救。由于該系統(tǒng)功能模塊較多，為避免I/O 口接線混亂，這里選用TTL 轉(zhuǎn)USB 模塊將GPS 模塊連接到Raspberry Pi 的USB 接口上。

除上述模塊選擇外，由于Raspberry Pi 沒(méi)有自帶的語(yǔ)音輸入通道，因而為滿足智能語(yǔ)音交互功能的需求，選用ReSpeaker2-Mics Pi HAT 語(yǔ)音模塊作為錄音載體。此外，為便于警報(bào)語(yǔ)音能夠有效反饋至用戶處[4]，這里選用了音量可調(diào)節(jié)的擴(kuò)音器。系統(tǒng)I/O接線圖如圖3 所示。

圖3 I/O接線圖

2 系統(tǒng)軟件設(shè)計(jì)

2.1 控制流程設(shè)計(jì)

系統(tǒng)開(kāi)啟后，Pi Camera 以及兩個(gè)USB 攝像頭獨(dú)立工作，分別完成物體檢測(cè)與識(shí)別及實(shí)時(shí)遠(yuǎn)程監(jiān)控任務(wù)，其余各功能模塊相互協(xié)調(diào)，在具體的控制策略下共同實(shí)現(xiàn)按鍵控制、智能語(yǔ)音交互、拍照存云、摔倒自動(dòng)求救以及地址定時(shí)上報(bào)等。系統(tǒng)整體控制流程圖如圖4 所示。

圖4 系統(tǒng)整體控制流程圖

2.2 實(shí)時(shí)遠(yuǎn)程監(jiān)控

實(shí)時(shí)遠(yuǎn)程監(jiān)控涉及到的過(guò)程有Mjpg-streamer(視頻流編碼格式傳送程序)與Frp 反向代理軟件的安裝、ini 文件的編輯以及華為云服務(wù)器ECS 安全組的配置。安裝編譯Mjpg-streamer 的目的是在局域網(wǎng)內(nèi)傳輸視頻流，實(shí)行小范圍內(nèi)的畫(huà)面共享。而其余步驟的操作是為了在執(zhí)行Frp 內(nèi)網(wǎng)穿透指令后，Raspberry Pi 的IP 地址能夠順利搭載到公網(wǎng)IP 上，進(jìn)而，在任一可供上網(wǎng)的設(shè)備中輸入相應(yīng)網(wǎng)址便可隨時(shí)隨地查看遠(yuǎn)程畫(huà)面。

2.3 語(yǔ)音交互

語(yǔ)音交互關(guān)系到語(yǔ)音文件及文本文件的互相轉(zhuǎn)換、機(jī)器人回復(fù)等過(guò)程[5]。前者主要依賴百度智能云語(yǔ)音技術(shù)，調(diào)用相應(yīng)API 即可實(shí)現(xiàn)，后者則是依賴圖靈機(jī)器人對(duì)轉(zhuǎn)換后的文本作出答復(fù)，將其轉(zhuǎn)為mp3文件后便可通過(guò)mplayer 語(yǔ)音輸出至用戶處。

2.4 拍照存云

這里的拍照本質(zhì)上是攝像頭畫(huà)面的截取，依靠的是Raspberry Pi 小程序fswebcam，以Button Switch模塊作為拍攝鍵。在此基礎(chǔ)上，調(diào)用七牛云存儲(chǔ)空間的API 接口即可實(shí)現(xiàn)照片自動(dòng)存云。

2.5 地址上傳

定位功能依賴GPS 模塊以及minicom 串口通信工具，運(yùn)行AT 指令并進(jìn)行篩選，可從GPS 返回的大量數(shù)據(jù)中得到經(jīng)緯度信息。調(diào)用百度開(kāi)放平臺(tái)的AK 密鑰將此經(jīng)緯度轉(zhuǎn)換成地理位置，開(kāi)啟SMTP 協(xié)議后即可定時(shí)將其發(fā)送至指定郵箱。

3 物體檢測(cè)與識(shí)別實(shí)現(xiàn)策略

3.1 YoloV3算法訓(xùn)練目標(biāo)檢測(cè)模型

該系統(tǒng)選用的是COCO 數(shù)據(jù)集，COCO 數(shù)據(jù)集是一個(gè)大型的、豐富的物體檢測(cè)數(shù)據(jù)集，其擁有80個(gè)不同的物體類別，包含超過(guò)33萬(wàn)張圖像。由于COCO 數(shù)據(jù)集是以json 格式存儲(chǔ)的，經(jīng)過(guò)必要的轉(zhuǎn)換方可得到訓(xùn)練模型所需的各種圖片以及txt 文件。利用labelimg軟件對(duì)選用的圖片進(jìn)行標(biāo)簽標(biāo)注后可得到xml文件。

通過(guò)YoloV3 算法對(duì)上述文件進(jìn)行訓(xùn)練，經(jīng)過(guò)一段時(shí)間可得到損失率最低的h5 權(quán)重模型，將此模型轉(zhuǎn)換成TensorFlow的pb模型即可在OpenCV中調(diào)用。

3.2 OpenCV圖像處理

該系統(tǒng)的物體檢測(cè)應(yīng)用OpenCV 對(duì)圖像進(jìn)行采集與預(yù)處理。圖像處理包括將RGB 圖像轉(zhuǎn)換為灰度圖像，然后將其二值化。處理步驟涉及將對(duì)象與背景和其他對(duì)象區(qū)分開(kāi)，在此步驟中，使用了非常通用的圖像處理方法，即邊界檢測(cè)（Canny 算法）、閾值化以與背景隔離、高斯模糊以柔化細(xì)節(jié)、從彩色到黑白和二值圖像的轉(zhuǎn)換以及輪廓檢測(cè)。

其中，閾值化采用Otsu算法，使用一個(gè)閾值將像素劃分為兩類，其定義為每個(gè)群集的方差的加權(quán)和[6-7]，如式（2）：

式中，nB與no分別是閾值以下與之上的像素?cái)?shù)，而δB與δo分別是它們的方差，T是閾值。這樣，對(duì)既有物體又有背景的圖像塊進(jìn)行閾值化、二值化、填充孔洞等處理便可將每個(gè)物體很好地分割出來(lái)。

3.3 CNN(卷積神經(jīng)網(wǎng)絡(luò))基本原理

物體的識(shí)別模型采用的算法是卷積-神經(jīng)網(wǎng)絡(luò)[8-9]，其依賴的是TensorFlow Lite 學(xué)習(xí)框架[10-11]。卷積神經(jīng)網(wǎng)絡(luò)的神經(jīng)元模型如圖5 所示。

其數(shù)學(xué)表達(dá)式為：

式中，x為輸入；w為權(quán)重；b為偏置值；f為激活函數(shù)。

卷積神經(jīng)網(wǎng)絡(luò)主要包括輸入層、卷積層、池化層、全連接層、輸出層[12]。卷積和池化過(guò)程是為了更好地提取圖像特征。輸入層即輸入的原始圖像；卷積層一般使用一個(gè)正方形卷積核遍歷圖像上的每一個(gè)像素點(diǎn)，圖片與卷積核重合區(qū)域中的每一個(gè)像素值乘上卷積核內(nèi)相對(duì)應(yīng)點(diǎn)的權(quán)重，求和后再加上偏置即可得到輸出圖片中的一個(gè)像素值，如圖6 所示。

圖6 卷積過(guò)程

池化層的目的是進(jìn)一步降低維度，通過(guò)聚合卷積層收集的值進(jìn)行降維。它們遵循與卷積層相同的滑動(dòng)窗口思想，但不是計(jì)算所有值，而是選擇其輸入的最大值或平均值，這分別稱為最大池化和平均池化。池化處理過(guò)程如圖7 所示。

圖7 池化處理過(guò)程

池化層得到的結(jié)果需要進(jìn)行壓縮后送入全連接網(wǎng)絡(luò)，再使用神經(jīng)元模型公式進(jìn)行計(jì)算，即每個(gè)輸入值乘以不同的權(quán)重并加入偏置，激活后經(jīng)過(guò)多次神經(jīng)網(wǎng)絡(luò)連接，在訓(xùn)練過(guò)程中舍棄一定的神經(jīng)元節(jié)點(diǎn)，通過(guò)Softmax 函數(shù)回歸，即可得到輸出層。

4 系統(tǒng)功能測(cè)試

4.1 遠(yuǎn)程監(jiān)控測(cè)試

系統(tǒng)啟動(dòng)后，使能攝像頭，在Linux 命令行中運(yùn)行相應(yīng)指令以啟用Mjpg-streamer[13]。確定Mjpgstreamer 有效運(yùn)行的情況下，分別在ECS 云服務(wù)器終端以及系統(tǒng)命令行下輸入Frp 內(nèi)網(wǎng)穿透命令，提示連接成功后實(shí)時(shí)視頻流即可源源不斷地傳送至公網(wǎng)服務(wù)器[14]。遠(yuǎn)程監(jiān)控實(shí)現(xiàn)流程圖如圖8 所示。

圖8 遠(yuǎn)程監(jiān)控實(shí)現(xiàn)流程圖

順利執(zhí)行以上各流程后，在任一可上網(wǎng)的設(shè)備中輸入網(wǎng)址http://公網(wǎng)IP 地址:端口號(hào)port/javascript_simple.html，便可進(jìn)行實(shí)時(shí)遠(yuǎn)程監(jiān)控[15]。經(jīng)觀察，此頁(yè)面中的畫(huà)面延遲保持在1 s 以內(nèi)，延遲時(shí)間隨云服務(wù)器ECS 的不同而發(fā)生微小變化。

4.2 物體檢測(cè)與識(shí)別測(cè)試

系統(tǒng)開(kāi)啟后，首先確保tflite1-env 虛擬環(huán)境處于活動(dòng)狀態(tài)，從/home/pi/tflite1 目錄中發(fā)出python3 TFLite_detection_webcam.py--modeldir=Sample_TFL ite_model 命令來(lái)指定識(shí)別模型并運(yùn)行物體檢測(cè)識(shí)別代碼[16]。通過(guò)觀察，物體檢測(cè)識(shí)別畫(huà)面的傳輸速率為1 fps 左右，受制于Raspberry Pi 本身的性能約束，此幀數(shù)上下波動(dòng)但變化幅值不大，一般隨后臺(tái)程序數(shù)量的減少而有所提升，總體而言，并不影響觀感。

4.3 系統(tǒng)總體調(diào)試

該系統(tǒng)在實(shí)際測(cè)試運(yùn)行時(shí)，各功能模塊之間相互協(xié)調(diào)，在具體的控制策略下保持有效運(yùn)作。系統(tǒng)能夠及時(shí)反饋距離預(yù)警，提供自由對(duì)話、天氣預(yù)報(bào)等功能，供使用者便捷管理拍攝的照片，保證跌倒后及時(shí)且持續(xù)地發(fā)送求救信息，在正常使用過(guò)程中地理位置也可按照設(shè)定定時(shí)上報(bào)。

此外，在遠(yuǎn)程監(jiān)控的第一次調(diào)試過(guò)程中，即使在確保Raspberry Pi 與云服務(wù)器ECS 成功連接的情況下，輸入網(wǎng)址后也不能夠訪問(wèn)實(shí)時(shí)畫(huà)面。經(jīng)查找，出現(xiàn)這個(gè)問(wèn)題的原因是Raspberry Pi和云服務(wù)器ECS的設(shè)定時(shí)間不一致。該問(wèn)題的解決方法是通過(guò)Python進(jìn)行網(wǎng)絡(luò)爬蟲(chóng)，請(qǐng)求一臺(tái)可以響應(yīng)的服務(wù)器，利用其中的date 屬性獲取實(shí)際時(shí)間，再調(diào)用os.system()函數(shù)執(zhí)行終端命令，強(qiáng)制設(shè)置Raspberry Pi 時(shí)間。為實(shí)際操作的方便，這里編寫(xiě)了一個(gè)Shell 腳本，將此Python文件設(shè)為開(kāi)機(jī)自啟，這樣就省去了每次開(kāi)機(jī)后手動(dòng)校準(zhǔn)時(shí)間的麻煩。

5 結(jié)束語(yǔ)

該手杖的開(kāi)發(fā)不但結(jié)合了現(xiàn)有智能手杖的優(yōu)點(diǎn)，還充分調(diào)用了各種云服務(wù)器進(jìn)行拓展與創(chuàng)新。受助于這些云計(jì)算技術(shù)，系統(tǒng)能夠提供拍照存云、實(shí)時(shí)遠(yuǎn)程監(jiān)控、GPS 定位以及語(yǔ)音交互等功能，這些功能能夠有效消除系統(tǒng)受環(huán)境限制的弊端。此外，該系統(tǒng)還提出利用TensorFlow Lite 學(xué)習(xí)框架以及各類算法進(jìn)行物體的檢測(cè)與識(shí)別，進(jìn)一步提高了系統(tǒng)對(duì)圖像的處理能力，有效擴(kuò)展了應(yīng)用場(chǎng)景。