葛 松 林衍旎 賴舜男 徐晶晶 何宇力 趙 琦 張 弘 許勝勇**

（1）北京大學(xué)電子學(xué)院，教育部納米器件物理與化學(xué)重點(diǎn)實(shí)驗(yàn)室，北京 100871；2）山東大學(xué)微電子學(xué)院，濟(jì)南 250100；3）北京航空航天大學(xué)電子信息工程學(xué)院，北京 100191；4）北京航空航天大學(xué)宇航學(xué)院，北京 100191）

世界衛(wèi)生組織報(bào)告顯示，全球中度或重度視力受損或失明者人數(shù)已超過(guò)2億，其中中國(guó)盲人約有700多萬(wàn)［1］。盲杖是歷史最悠久的盲人輔助工具，當(dāng)代社會(huì)的交通情況和生活場(chǎng)景復(fù)雜，僅僅依靠盲杖已經(jīng)不足以完成在街道穿行、乘車、購(gòu)物等復(fù)雜的生活任務(wù)。因此，長(zhǎng)期以來(lái)各類人工視覺(jué)系統(tǒng)被廣泛研究［2］，以幫助盲人和視覺(jué)障礙人群順利完成如讀書學(xué)習(xí)、長(zhǎng)距離旅行、購(gòu)物等日常生活，甚至參加體育比賽等復(fù)雜活動(dòng)。

目前，人工視覺(jué)系統(tǒng)的研發(fā)主要有兩種技術(shù)路徑。第一種是通過(guò)高技術(shù)手段幫助盲人或視覺(jué)障礙者重建部分視力，受試者通過(guò)重建的微弱視覺(jué)能力獲得部分環(huán)境圖像信息，自己完成圖像判斷、自己下達(dá)行動(dòng)指令。第二種是運(yùn)用技術(shù)手段分析環(huán)境圖像信息，直接轉(zhuǎn)化成指導(dǎo)受試者行動(dòng)的指令信號(hào)。

第一種技術(shù)路徑研制的主要是各類植入式人工視覺(jué)裝置，主要包括視網(wǎng)膜植入裝置和大腦皮層植入裝置。前者稱為“人工視網(wǎng)膜植入技術(shù)”（又稱“視網(wǎng)膜假體”）［3］，是主流技術(shù)，其核心器件在受試者體內(nèi)的植入位置可以分為視網(wǎng)膜前［4］、視網(wǎng)膜下［5］、脈絡(luò)膜上［6］等不同部位。目前，真正獲得批準(zhǔn)上市、應(yīng)用于部分患者的只有Second Sight Medical Products團(tuán)隊(duì)于2013年推出的Argus II人工視網(wǎng)膜系統(tǒng)［7］。該系統(tǒng)利用外部攝像機(jī)捕獲圖像，經(jīng)由數(shù)據(jù)處理、圖像壓縮和編碼，通過(guò)無(wú)線傳輸技術(shù)將刺激命令發(fā)送至植入眼球的微電極陣列來(lái)刺激視網(wǎng)膜神經(jīng)結(jié)細(xì)胞，使受試者能看見(jiàn)漫射光斑，恢復(fù)一定光感。由于植入器件制作工藝復(fù)雜、視網(wǎng)膜前有效面積小，該系統(tǒng)最多只有60個(gè)電極組成陣列，受試者在經(jīng)過(guò)數(shù)月的訓(xùn)練之后，最佳狀態(tài)下也只能定位一些光線下高對(duì)比度的物體，比如門框，或只能判斷出眼前物體的模糊形狀，在實(shí)際生活中并不能起到很好的作用。因此，Argus II系統(tǒng)因價(jià)格昂貴（大約15萬(wàn)美元）、手術(shù)復(fù)雜、實(shí)際效果欠佳，已經(jīng)于2019年停止銷售［4］。而全球所研發(fā)的其他十多種人工視網(wǎng)膜裝置，有的處于臨床試驗(yàn)階段，有的僅發(fā)表了早期結(jié)果沒(méi)有后續(xù)進(jìn)展。

科學(xué)家也長(zhǎng)期嘗試在大腦視覺(jué)皮層上植入電極陣列讓受試者獲得視覺(jué)響應(yīng)［4］。相關(guān)研究發(fā)現(xiàn)，通過(guò)電刺激視皮層的單一位置，可以產(chǎn)生單一磷光體光斑的“視覺(jué)”感受，同時(shí)刺激視覺(jué)皮層的多個(gè)部位而產(chǎn)生的多個(gè)磷光體可以結(jié)合起來(lái)形成一個(gè)連貫的形式，就像視覺(jué)顯示中的像素一樣［8］。但近一個(gè)世紀(jì)的實(shí)驗(yàn)嘗試并沒(méi)有找到讓受試者產(chǎn)生可識(shí)別圖形的方法。大腦視皮層感知視覺(jué)的方式十分復(fù)雜，似乎和視網(wǎng)膜對(duì)二維圖形的感知方式有重大區(qū)別。直到2020年5月，《細(xì)胞》雜志（Cell）發(fā)表了美國(guó)貝勒醫(yī)學(xué)院Daniel Yoshor團(tuán)隊(duì)里程碑式的成果：可以通過(guò)一系列電極陣列在時(shí)間上順次激發(fā)的動(dòng)態(tài)電刺激過(guò)程，讓受試者腦海中準(zhǔn)確呈現(xiàn)指定的“視覺(jué)圖像”［9］。這種類似“直接實(shí)時(shí)書寫”的刺激方法，可以讓受試者在未經(jīng)訓(xùn)練的情況下，以比較高的準(zhǔn)確度還原依次激發(fā)電極的空間分布圖形，從而識(shí)別各種字母形狀。該團(tuán)隊(duì)計(jì)劃通過(guò)減小電極尺度、增加電極數(shù)量和面密度、優(yōu)化電刺激參數(shù)和模式，達(dá)到單個(gè)神經(jīng)細(xì)胞的空間精度，幫助盲人“看到”更復(fù)雜的信息，實(shí)現(xiàn)恢復(fù)視覺(jué)的夢(mèng)想。這項(xiàng)技術(shù)，對(duì)于靜態(tài)辨識(shí)物體有很大價(jià)值，但是，受試者對(duì)一個(gè)動(dòng)態(tài)電極刺激圖案做出響應(yīng)和形成“視覺(jué)”需要一段時(shí)間，能不能把這段時(shí)間壓縮到100 ms之內(nèi)以適應(yīng)日?；顒?dòng)所需要的實(shí)時(shí)反應(yīng)，還有待檢驗(yàn)。

現(xiàn)有的各類植入式裝置普遍面臨各種技術(shù)難題，比如與視神經(jīng)生物相容性差、器件容易脫落損傷、跨眼球操作困難電池問(wèn)題、復(fù)雜制作工藝、成本高昂、激發(fā)電極數(shù)量有限使得像素偏少等。這些植入裝置和系統(tǒng)的缺陷，使得近年來(lái)體外視覺(jué)輔助裝置的研究和產(chǎn)品開(kāi)發(fā)獲得新的關(guān)注。

第二種人工視覺(jué)系統(tǒng)技術(shù)路徑，主要是各類非植入式、可穿戴裝置。自20世紀(jì)60年代開(kāi)始出現(xiàn)幫助盲人進(jìn)行日?；顒?dòng)的體外輔助裝置，早期是基于聲納的移動(dòng)輔助設(shè)備，如Russell Pathsounder和Mowat研制的傳感器，起到障礙物探測(cè)器的作用［10］。隨著計(jì)算機(jī)化的輔助系統(tǒng)面世，NavBelt是一個(gè)可穿戴的、計(jì)算機(jī)化的、裝備聲納的系統(tǒng)，盲人用戶能夠安全通過(guò)未知的有障礙物環(huán)境［11］。Ultracane裝置則將長(zhǎng)拐杖與超聲波傳感器結(jié)合以輔助行走［12］。但這些裝置相對(duì)功能簡(jiǎn)單、指令含糊，難以適應(yīng)現(xiàn)代城市復(fù)雜的環(huán)境和路況，因此都沒(méi)有得到普遍的應(yīng)用。

2012年4月谷歌公司發(fā)布的“谷歌眼鏡”［13］配有微芯片處理器，具有圖像采集和處理功能。當(dāng)配合適當(dāng)?shù)腁I圖像解讀軟件和自然語(yǔ)音輸出能力后，就具備了部分滿足指導(dǎo)盲人日常生活的功能，相信將來(lái)這類技術(shù)裝置具有很大的市場(chǎng)。然而，成本過(guò)高導(dǎo)致售價(jià)過(guò)高，也存在侵犯隱私、分散注意等問(wèn)題，2015年1月谷歌停止了谷歌眼鏡的進(jìn)一步研發(fā)。2020年11月，谷歌公司試運(yùn)行了一個(gè)名為Project Guideline的人工智能系統(tǒng)，旨在幫助盲人和低視力人群在一部智能手機(jī)的幫助下就能獨(dú)立完成跑步比賽。只要在道路上預(yù)先畫出指引線路，并將手機(jī)掛在腰間，讓手機(jī)鏡頭能持續(xù)拍攝路面，并影像識(shí)別。一旦用戶跑步路線過(guò)度偏離，手機(jī)就會(huì)通過(guò)骨傳導(dǎo)耳機(jī)讓使用者左耳或右耳聽(tīng)到不協(xié)調(diào)聲音，進(jìn)而讓使用者知曉放緩腳步、調(diào)整行進(jìn)方向［14］。功能比較單一，適合簡(jiǎn)單特定的環(huán)境條件，并不能應(yīng)對(duì)復(fù)雜的路況。

利用人體觸覺(jué)解讀視覺(jué)圖像，也是一種有趣的路徑。近年來(lái)一款“舌上觸覺(jué)”視覺(jué)輔助設(shè)備被研發(fā)出來(lái)，稱為“Brain Port”，它可以利用舌平面的電刺激感覺(jué)“辨識(shí)”外界物體的形狀［15］。其外形類似一副太陽(yáng)鏡，經(jīng)由細(xì)電纜與一個(gè)形同扁平“棒棒糖”式樣的裝置相連接。通過(guò)微型攝像機(jī)拍攝圖像，將圖像信息簡(jiǎn)化后轉(zhuǎn)換成舌平面電極陣列的電脈沖。實(shí)驗(yàn)表明，經(jīng)過(guò)20 h左右的培訓(xùn)，將電脈沖信號(hào)不斷刺激舌頭表面神經(jīng)，受試者能夠?qū)⑦@些圖形化位點(diǎn)的電刺痛感覺(jué)轉(zhuǎn)化為圖形感覺(jué)。但舌頭用于說(shuō)話和飲食，并不適合長(zhǎng)期佩戴電極陣列裝置。

2021年10月斯坦福大學(xué)智能系統(tǒng)實(shí)驗(yàn)室制造了配備GPS和陀螺儀的盲杖［16］，同時(shí)輔以加速計(jì)和磁力計(jì)，可以實(shí)時(shí)輸出用戶的位置、速度、方向等信息。基于人工智能尋路和機(jī)器人算法，引導(dǎo)用戶走向目標(biāo)。盲杖的頂端利用一個(gè)電動(dòng)的、360°轉(zhuǎn)向的輪子，時(shí)刻保持與地面的接觸。在實(shí)地測(cè)試中，視力受損參與者的行走速度提高了大約20%，戴著眼罩視力正常參與者的行走速度提高了1/3以上。

輔助盲人生活的關(guān)鍵在于研發(fā)實(shí)用型人工視覺(jué)系統(tǒng)。本文將展示一種將視覺(jué)信息轉(zhuǎn)化成頭部觸覺(jué)指令和語(yǔ)音的人工視覺(jué)輔助原型系統(tǒng)概念。系統(tǒng)采集受試者周邊環(huán)境的圖像信息并無(wú)線傳輸?shù)胶笈_(tái)，操作人員分析處理圖像信息后再以觸覺(jué)編碼形式無(wú)線驅(qū)動(dòng)激發(fā)頭部裝置內(nèi)置振動(dòng)馬達(dá)，利用頭部對(duì)前后左右的天然區(qū)分能力和對(duì)觸覺(jué)的快速反應(yīng)，為受試者提供準(zhǔn)確的行動(dòng)指令。同時(shí)輔以語(yǔ)音信息，讓受試者獲得更多周邊視覺(jué)信息。該系統(tǒng)低成本、低風(fēng)險(xiǎn)，適合多種生活和工作場(chǎng)景。實(shí)驗(yàn)結(jié)果表明，在人工后臺(tái)支持的條件下，該系統(tǒng)能夠有效幫助盲人完成復(fù)雜的日?；顒?dòng)。

1 系統(tǒng)與方法

本系統(tǒng)由多個(gè)裝置與功能模塊構(gòu)成，包括視覺(jué)圖像采集裝置、視覺(jué)圖像無(wú)線傳輸與接收裝置、視覺(jué)圖像處理、觸覺(jué)編碼輸出、觸覺(jué)指令無(wú)線傳輸與接收裝置、振動(dòng)馬達(dá)驅(qū)動(dòng)電路裝置、可穿戴式觸覺(jué)和語(yǔ)音輸出裝置等（圖1）。

具體而言，佩戴在受試者身上（頭部或胸口）的攝像頭裝置對(duì)周圍環(huán)境信息進(jìn)行圖像采集，采集到的圖像經(jīng)wifi或者4G/5G網(wǎng)絡(luò)傳輸?shù)胶笈_(tái)，通過(guò)人工判斷或人工智能（artificial inteligence，AI）判斷獲取街道邊界、臺(tái)階、路面坑洼情況、行人、自行車、垃圾箱、樹(shù)木、墻壁圍欄、交通燈、斑馬線、來(lái)往汽車等重要因素，分析和判斷圖像信息后輸出觸覺(jué)指令。指令通過(guò)無(wú)線網(wǎng)絡(luò)傳輸?shù)脚宕髟谑茉囌呱砩系尿?qū)動(dòng)電路，驅(qū)動(dòng)相應(yīng)位置的振動(dòng)馬達(dá)，給受試者觸覺(jué)指令。同時(shí)，根據(jù)情景需要，輔助以語(yǔ)音信息，比如描述路徑、路況、對(duì)面行人相貌、車牌號(hào)、店名、餐桌位置、菜單內(nèi)容等。

Fig.1 Diagram of system modules

本文主要介紹由后臺(tái)人員判斷現(xiàn)場(chǎng)圖像信息并發(fā)出指令、由藍(lán)牙裝置完成觸覺(jué)編碼無(wú)線信號(hào)傳輸、振動(dòng)馬達(dá)安裝在頭套上的原型系統(tǒng)。

1.1 視覺(jué)圖像采集裝置

本系統(tǒng)可采用多種圖像獲取裝置。其中一類是通用手機(jī)攝像頭，用可穿戴織物固定于胸前，可以在行走時(shí)獲得前方大角度視野，也可通過(guò)行走或者停止時(shí)的身體左右偏轉(zhuǎn)提供更豐富的周圍圖像信息。利用手機(jī)攝像頭的便利之處，是可以直接借助4G/5G或者wifi信號(hào)通道將視頻數(shù)據(jù)和受試者的語(yǔ)音傳輸給后臺(tái)。另外一些類型的圖像采集裝置為各類商用網(wǎng)絡(luò)攝像頭。

1.2 后臺(tái)操作

受試者佩戴眼罩遮擋視線模擬視覺(jué)障礙，胸前用拍攝支架固定手機(jī)以拍攝前方視頻。后臺(tái)輔助人員通過(guò)觀看視頻，判斷應(yīng)發(fā)出的指令并操控手機(jī)中的藍(lán)牙系統(tǒng)控制裝置定制APP來(lái)完成指令，可同步發(fā)出振動(dòng)指令以及語(yǔ)音提示。

1.3 可穿戴裝置部分

本實(shí)驗(yàn)制作了多種柔性裝置，能夠內(nèi)置并固定多個(gè)振動(dòng)馬達(dá)，使馬達(dá)盡可能貼近頭部皮膚（隔著頭發(fā)），讓頭皮能夠快速、準(zhǔn)確感知馬達(dá)振動(dòng)的強(qiáng)度和次數(shù)。圖2是其中一種利用彈性織物條帶制作而成的內(nèi)膽戴在受試者頭部的照片。內(nèi)膽前后左右和頂部安裝了11個(gè)振動(dòng)馬達(dá)，馬達(dá)驅(qū)動(dòng)電線匯聚于后腦位置。當(dāng)頭套外面再戴上普通的鴨舌帽之后，從外觀上已經(jīng)看不到內(nèi)膽。將來(lái)，內(nèi)膽裝置可以與小型化驅(qū)動(dòng)電源一起安裝在頭部，也可以用隱蔽的細(xì)小連線連接安裝在腰部的驅(qū)動(dòng)電路，使得佩戴測(cè)試裝置的受試者在外觀上與正常路人無(wú)異。

Fig.2 Photos of human wearing devices from different angles(a-f),schematic diagram of device tank(g)and physical drawing of bluetooth module(h)

1.4 藍(lán)牙通訊裝置和振動(dòng)馬達(dá)電路

通過(guò)接收外部手機(jī)藍(lán)牙控制APP發(fā)出的指令，控制振動(dòng)馬達(dá)電路的通斷和電壓，從而形成觸覺(jué)的指令信息。附件圖S1是藍(lán)牙模塊的電路設(shè)計(jì)圖。

手機(jī)APP以屏幕上的按鍵控制藍(lán)牙輸出的通斷，每個(gè)按鍵對(duì)應(yīng)一路振動(dòng)馬達(dá)，當(dāng)按下屏幕上的按鍵時(shí)，相應(yīng)的振動(dòng)馬達(dá)開(kāi)始震動(dòng)。同時(shí)可在左上角選擇強(qiáng)弱電壓的輸出，當(dāng)選中“強(qiáng)”時(shí)振動(dòng)馬達(dá)在3.7 V電壓下進(jìn)行強(qiáng)震動(dòng)，選中“弱”時(shí)振動(dòng)馬達(dá)在2 V電壓下進(jìn)行相對(duì)弱震動(dòng)。手機(jī)APP界面見(jiàn)圖1。其中的A、B、C、D、E、F、G、H、S、L、R按鍵分別對(duì)應(yīng)于上面頭盔內(nèi)部震動(dòng)馬達(dá)分布圖中的左前、前、右前、左、右、左后、后、右后、中、中間偏左（位于中和左前的中間）、中間偏右（位于中和右前的中間）11個(gè)方位的振動(dòng)馬達(dá)。

1.5 觸覺(jué)指令編碼

根據(jù)固有經(jīng)驗(yàn)和盡可能避免指令的混淆以及方便記憶，經(jīng)過(guò)反復(fù)實(shí)驗(yàn)和調(diào)整設(shè)計(jì)了指令集（指令按照手機(jī)APP上的A、B、C、D、E、F、G、H、S、L、R進(jìn)行描述）（表1）。

1.6 實(shí)際場(chǎng)景測(cè)試設(shè)計(jì)

為測(cè)試原型系統(tǒng)的功能和局限，找到志愿者佩戴原型裝置，設(shè)計(jì)了大量由簡(jiǎn)單到復(fù)雜的多種實(shí)際場(chǎng)地測(cè)試。

首先讓受試者在空曠的場(chǎng)地上沿著預(yù)先標(biāo)識(shí)的直線路徑行走，來(lái)測(cè)試振動(dòng)馬達(dá)輸出指令的延時(shí)、受試者的動(dòng)作響應(yīng)延時(shí)、行走路徑偏差等多項(xiàng)參數(shù)，以優(yōu)化指令集和指令時(shí)間參數(shù)。通過(guò)視頻逐幀分析，提取受試者腳部所在方位的空間與對(duì)應(yīng)時(shí)間，計(jì)算所有參數(shù)。

其他場(chǎng)地測(cè)試包括在實(shí)驗(yàn)大樓的回型走廊內(nèi)真實(shí)測(cè)試直線行走、躲避障礙物、躲避對(duì)面行人（不知情的其他人員）等，在正常營(yíng)業(yè)的咖啡廳內(nèi)行走并尋找空位坐下、上下臺(tái)階等，以及在真實(shí)的人行路上測(cè)試直線行走、轉(zhuǎn)彎、躲避障礙物，還包括用觸覺(jué)指令控制手臂和手的動(dòng)作，嘗試從桌子上取水杯等。

Table 1 The instruction set of 11 tactile keyboards

2 結(jié) 果

本工作前期做了大量的各類驗(yàn)證實(shí)驗(yàn)，歷時(shí)近1年。志愿者為18～28歲的5名高校在讀學(xué)生（2男3女）以及1位31歲的盲癥患者（男）。限于篇幅，以下重點(diǎn)介紹一些實(shí)驗(yàn)結(jié)果，以展示本文原型系統(tǒng)的基本功能，進(jìn)而討論其技術(shù)升級(jí)路線和和應(yīng)用潛力。

2.1 頭部觸覺(jué)對(duì)馬達(dá)振動(dòng)的敏感度和空間方位的感知

實(shí)驗(yàn)結(jié)果顯示，受試者頭部皮膚觸覺(jué)敏感性因人而異。主要區(qū)別有兩項(xiàng)，一是對(duì)振動(dòng)馬達(dá)信號(hào)的分辨能力有區(qū)別，有些受試者能夠感知驅(qū)動(dòng)電壓為1～3 V的微弱振動(dòng)信號(hào)，有些則需要提高馬達(dá)驅(qū)動(dòng)電壓、增加振動(dòng)強(qiáng)度。對(duì)于后面的場(chǎng)地測(cè)試，需要對(duì)驅(qū)動(dòng)電壓做調(diào)整，達(dá)到既能感知振動(dòng)、也不會(huì)覺(jué)得不舒服的效果。這樣，受試者才能準(zhǔn)確理解振動(dòng)馬達(dá)陣列的編碼。

二是振動(dòng)觸覺(jué)的空間分辨率也因人而異，因頭部皮膚位置和頭發(fā)的多少而變化。表2是前述5位學(xué)生做測(cè)試的結(jié)果。頭皮分辨率的測(cè)試結(jié)果既和個(gè)人的頭皮觸覺(jué)敏感度有關(guān)，同時(shí)和振動(dòng)馬達(dá)與頭皮的接觸面積、直接接觸還是間接接觸（存在頭發(fā)）有關(guān)，頭皮觸覺(jué)越敏感，頭部震動(dòng)分辨率越高；振動(dòng)馬達(dá)與頭皮接觸面積越大，分辨率越高。

作為平均結(jié)果，在兩個(gè)馬達(dá)相距超過(guò)3 cm時(shí)所有受試者都能感知到兩個(gè)馬達(dá)的不同振動(dòng)點(diǎn)，因而能接受觸覺(jué)編碼。后期實(shí)驗(yàn)中，頭套裝置上，兩個(gè)馬達(dá)的間距都超過(guò)5 cm，以確保受試者對(duì)每一個(gè)振動(dòng)點(diǎn)相對(duì)頭頂?shù)目臻g方位有準(zhǔn)確地判斷，從而能夠正確執(zhí)行編碼指令。隨后對(duì)多名受試者進(jìn)行11個(gè)振動(dòng)馬達(dá)位置判斷準(zhǔn)確度實(shí)驗(yàn)，經(jīng)過(guò)初步熟悉后，受試者均能準(zhǔn)確識(shí)別每個(gè)馬達(dá)的振動(dòng)方位。并且根據(jù)實(shí)驗(yàn)中記錄，頻繁短按發(fā)出指令時(shí)間隔0.5 s以上比較容易分辨，各個(gè)指令間的時(shí)間間隔應(yīng)在至少3 s以上（排除緊急指令，緊急指令有最高優(yōu)先級(jí)）。實(shí)驗(yàn)顯示，5位受試者經(jīng)過(guò)幾次訓(xùn)練熟悉后對(duì)此指令集均能保證準(zhǔn)確度和辨別敏銳度。

2.2 空曠場(chǎng)地直線行走偏差測(cè)試

在空曠的場(chǎng)地上貼好直線標(biāo)記，讓視力正常的受試者對(duì)準(zhǔn)直線方向，再戴上眼罩，靠自己的判斷沿著這個(gè)“直線”行走。幾步之后，通常會(huì)有明顯的方向偏移。多個(gè)受試者測(cè)試結(jié)果的統(tǒng)計(jì)分析表明，視覺(jué)遮擋下的“盲走”會(huì)逐漸失去方向感，這與迷霧天人在空曠地帶會(huì)繞圈的案例相類似。事實(shí)表明，視覺(jué)在“直線行走”中一直擔(dān)當(dāng)了“方向矯正”的作用。

作為對(duì)比，對(duì)頭部攜帶了人工視覺(jué)裝置的“盲行者”做同樣的測(cè)試，表現(xiàn)要好得多。圖3是帶有裝置一次測(cè)試的視頻截圖。本裝置輔助的情況下，當(dāng)受試者保持直線行走時(shí)不發(fā)出指令；當(dāng)受試者右偏時(shí)，根據(jù)受試者所在位置發(fā)出“左緩沖/左跨一步/左轉(zhuǎn)一定角度”的振動(dòng)編碼指令以糾正其行走方向；當(dāng)受試者左偏時(shí)，根據(jù)受試者所在位置發(fā)出“右緩沖/右跨一步/右轉(zhuǎn)一定角度”的振動(dòng)編碼指令以糾正其行走方向。圖4是一個(gè)典型的對(duì)比結(jié)果。行走13步（約7 m距離）的標(biāo)準(zhǔn)差平均值，從沒(méi)有輔助裝置提醒而完全“盲走”的（65±12）cm降低到（16±10）cm。行走偏差數(shù)據(jù)見(jiàn)附件表S1～S3。

測(cè)試結(jié)果表明，一個(gè)人完全盲走有很大的隨機(jī)性，因人而異，總體規(guī)律是偏向某一側(cè)。而聽(tīng)從頭部振動(dòng)輔助裝置的“觸覺(jué)指令”后，行走路線不會(huì)偏離目標(biāo)直線太遠(yuǎn)，其行動(dòng)軌跡不太連續(xù)，但始終在目標(biāo)直線這個(gè)“中心線”左右。

Fig.4 Measured data of walking deviations from the two subjects A and B

2.3 規(guī)避障礙物測(cè)試

在受試者熟悉“觸覺(jué)指令”的含義、后臺(tái)調(diào)控者掌握了合適的時(shí)間預(yù)判、時(shí)間延時(shí)和指令的搭配之后，受試者能夠在直線行走順利繞過(guò)路上的障礙物（足球訓(xùn)練障礙標(biāo)），也能在走廊里順利完成轉(zhuǎn)彎。圖5是某一次實(shí)際走廊測(cè)試的視頻截圖。

實(shí)驗(yàn)中后臺(tái)指揮者能夠清楚地通過(guò)視頻識(shí)別出前方的盆栽、打開(kāi)的房門、隨機(jī)出現(xiàn)的行人以及人工設(shè)置的障礙物，并且靈活運(yùn)用前進(jìn)、左右轉(zhuǎn)向、左右緩沖、左右跨一步、停步、后轉(zhuǎn)等指令，讓受試者在往返于直角彎時(shí)可以成功避開(kāi)固定或隨機(jī)障礙物。如果障礙物距離比較近或者是隨機(jī)出現(xiàn)的行人，速度比較快來(lái)不及躲避，可以采用先停步指令，再左右跨一步進(jìn)行躲避。

Fig.5 Video screenshots from the walking experiment in return corridor(screenshot from Video S2 in Supplementary)

2.4 上臺(tái)階、找椅座、咖啡館行走等復(fù)雜場(chǎng)景測(cè)試結(jié)果

上臺(tái)階場(chǎng)景測(cè)試時(shí)選定路線為一段臺(tái)階，受試者靠右側(cè)上臺(tái)階測(cè)試，走n級(jí)臺(tái)階到平臺(tái)后停止，樓梯處可能隨機(jī)出現(xiàn)行人。實(shí)驗(yàn)中該裝置主要幫助受試者成功完成臺(tái)階行走，重點(diǎn)關(guān)注臺(tái)階開(kāi)始和結(jié)束的兩個(gè)階梯。

與平地測(cè)試和走廊測(cè)試不同，上臺(tái)階測(cè)試實(shí)驗(yàn)中，向下30°～45°固定的攝像頭可以拍攝出前方腳下路況，方便后臺(tái)指揮者通過(guò)視頻準(zhǔn)確定位臺(tái)階的出現(xiàn)和結(jié)束，以及隨機(jī)出現(xiàn)的行人，避免出現(xiàn)距離估測(cè)失誤的情況；指揮者靈活運(yùn)用前進(jìn)、上臺(tái)階、左右跨一步、停步指令，讓受試者走過(guò)12級(jí)臺(tái)階并且成功躲避隨機(jī)出現(xiàn)的行人。同時(shí)輔以語(yǔ)音提示，準(zhǔn)確告知受試者臺(tái)階的出現(xiàn)和結(jié)束。上臺(tái)階時(shí)，通常用左或右跨一步進(jìn)行位置調(diào)整。當(dāng)需要躲避隨機(jī)出現(xiàn)的行人時(shí)，大多同樣采用左或右跨一步指令，如果行人速度比較快來(lái)不及躲避，可以采用先停步指令，再左右跨一步進(jìn)行躲避，如圖6a系列視頻截圖所示。

上下臺(tái)階的任務(wù)比較復(fù)雜，需要后臺(tái)指令清晰、時(shí)間準(zhǔn)確，受試者需要練習(xí)、熟悉指令的時(shí)差，以避免踏空或者碰傷腳。采用語(yǔ)音輔助、降低行走速度都有利于順利完成上下臺(tái)階任務(wù)。

找椅座任務(wù)是在室內(nèi)布置一些障礙物（箱子等）以及一把椅子，受試者需要躲避障礙物找到椅子并且坐下。實(shí)驗(yàn)中該裝置主要幫助受試者成功完成室內(nèi)行走，重點(diǎn)關(guān)注障礙物的躲避以及到達(dá)椅子的最優(yōu)路徑，如圖6b系列視頻截圖所示。

咖啡館場(chǎng)景要求視覺(jué)遮擋的受試者在該裝置的幫助下，在咖啡館的座椅之間躲避桌椅和顧客完成正常穿行。選定路線為：從咖啡館門口走到室內(nèi)并坐在選定的座椅上。實(shí)驗(yàn)中重點(diǎn)關(guān)注行人和桌椅的躲避。指揮者能夠清楚地通過(guò)視頻判斷出桌椅的位置以及隨機(jī)出現(xiàn)的顧客，并且靈活運(yùn)用前進(jìn)、左右跨一步、左右轉(zhuǎn)、左右緩沖、停步指令，讓受試者成功走到咖啡館內(nèi)側(cè)，同時(shí)輔以語(yǔ)音提示。實(shí)驗(yàn)如圖6c系列視頻截圖所示。

Fig.6 Video screenshots from the experiments of climbing steps(a)and finding chairs(b)(screenshot from Video S3,4 in Supplementary)

2.5 桌上取物：控制手臂和手的運(yùn)動(dòng)

本文不僅進(jìn)行了在各種復(fù)雜場(chǎng)景里的行走測(cè)試，也初步試驗(yàn)了運(yùn)用觸覺(jué)編碼控制手臂和手的運(yùn)動(dòng)，這為進(jìn)一步完善觸覺(jué)編碼，使之成為可以與手語(yǔ)、摩斯碼等相比較的復(fù)雜信息編碼系統(tǒng)打下了基礎(chǔ)。

實(shí)驗(yàn)中選定一個(gè)室內(nèi)環(huán)境，在桌子隨機(jī)位置擺放一個(gè)杯子，受試者坐在桌子前，借助該裝置的觸覺(jué)指令信息移動(dòng)手臂、找到杯子并拿起。初步實(shí)驗(yàn)中桌面上沒(méi)有其他障礙物，測(cè)試成功后在桌面上放置一些書和筆筒以增加實(shí)驗(yàn)難度，讓受試者的手臂躲避高低障礙物后移動(dòng)到杯子處并成功拿起。實(shí)驗(yàn)中該裝置主要幫助受試者手臂成功移動(dòng)到杯子處。圖7是拿放杯子場(chǎng)景測(cè)試視頻的截圖。

Fig.7 Video screenshots from the experiments of finding a seat in the cafe(a)and taking the cup from the table(b)(screenshot from Video S5,6 in Supplementary)

實(shí)驗(yàn)中，后臺(tái)人員能夠清楚地通過(guò)視頻判斷出杯子的位置并且迅速判斷出應(yīng)指揮的路線，靈活運(yùn)用手臂前伸后縮、手臂上下左右移動(dòng)指令，讓受試者的手臂成功繞過(guò)障礙物移動(dòng)到杯子處并拿起杯子。由于是室內(nèi)環(huán)境，同樣可以適當(dāng)提高與受試者的語(yǔ)音交流頻率準(zhǔn)確告知受試者已到達(dá)杯子處。

2.6 盲人實(shí)地測(cè)試

由于上述實(shí)驗(yàn)的受試者均為高校在校學(xué)生，為了進(jìn)一步測(cè)試原型系統(tǒng)的可行性以及真實(shí)盲癥患者對(duì)此系統(tǒng)的接受能力和反應(yīng)準(zhǔn)確度，本文邀請(qǐng)到了一位31歲的全盲患者。該志愿者因患有先天性白內(nèi)障，1歲時(shí)手術(shù)失敗致全盲。

志愿者佩戴原型系統(tǒng)，熟悉指令后在真實(shí)的人行街道處做L型（直行加轉(zhuǎn)彎測(cè)試）的路線行走，過(guò)程中要注意躲避來(lái)往的行人、停靠的車輛、路邊的臺(tái)階以及樹(shù)木，并且注意到轉(zhuǎn)彎時(shí)機(jī)，及時(shí)發(fā)出轉(zhuǎn)彎指令。實(shí)驗(yàn)視頻見(jiàn)附件視頻S7。之后找到一段比較空曠的場(chǎng)地進(jìn)行躲避障礙物測(cè)試，根據(jù)志愿者躲避時(shí)采取的行動(dòng)判斷其對(duì)指令的接受程度和反應(yīng)速度。圖8是志愿者進(jìn)行躲避障礙物測(cè)試的視頻截圖。

Fig.8 Video screenshots from the experiments of blind avoiding obstacles(screenshot from Video S8 in Supplementary)

實(shí)驗(yàn)中，后臺(tái)人員能夠清楚地通過(guò)視頻判斷出志愿者所在的位置并且迅速判斷出應(yīng)指揮的路線，靈活運(yùn)用前進(jìn)停止、左右轉(zhuǎn)向、左右跨步指令，讓志愿者成功避讓開(kāi)路上行人、?？康能囕v、樹(shù)木、臺(tái)階、設(shè)置的障礙物等，完成人行路的行走和躲避障礙物行走。實(shí)驗(yàn)表明，盲人志愿者可以準(zhǔn)確接受觸覺(jué)指令，并且按照指令指示行動(dòng)，以在一些比較簡(jiǎn)單的路況行走。

3 討 論

3.1 頭頂部位觸覺(jué)的天然優(yōu)勢(shì)

觸覺(jué)在神經(jīng)系統(tǒng)進(jìn)化過(guò)程中占據(jù)重要位置，與生物體尋找食物、規(guī)避傷害、求偶、逃生等功能直接關(guān)聯(lián)。研究表明，人體全身的皮膚觸覺(jué)感知與大腦皮層負(fù)責(zé)觸覺(jué)的區(qū)域形成一一對(duì)應(yīng)關(guān)系，也就是說(shuō)，全身皮膚任何一點(diǎn)在大腦皮層的二維地圖上均占據(jù)一個(gè)獨(dú)一無(wú)二的二維坐標(biāo)點(diǎn)。

由于身體各部位觸覺(jué)傳感器面密度的不同，手指、手掌等部位的觸覺(jué)空間分辨率較高，而背部等區(qū)域的觸覺(jué)空間分辨率比較低。實(shí)驗(yàn)表明，頭皮區(qū)域的觸覺(jué)空間分辨率在2～3 cm，比背部略好。

頭頂皮膚接近半球形，頭頂皮膚相對(duì)于眼睛的空間方位，能夠自然分辨前、后、左、右等觸覺(jué)方位。場(chǎng)地實(shí)驗(yàn)測(cè)試表明，人體對(duì)本論文器件振動(dòng)馬達(dá)產(chǎn)生的頭皮觸覺(jué)可以形成快速響應(yīng)，響應(yīng)時(shí)間在0.5 s之內(nèi)，且不會(huì)搞錯(cuò)前后左右的方位。因此通過(guò)合適的觸覺(jué)編碼，控制振動(dòng)點(diǎn)的振動(dòng)強(qiáng)度、振動(dòng)間隔和次數(shù)，可以形成明確的行動(dòng)指令傳輸給器件攜帶者。受試者接受指令后，其行動(dòng)的準(zhǔn)確性超過(guò)

90%。

后期將募集更多盲人志愿者開(kāi)展實(shí)際場(chǎng)地測(cè)試，來(lái)量化表征本系統(tǒng)所需的訓(xùn)練時(shí)間和出錯(cuò)率，并簡(jiǎn)化、完善頭部指令的觸覺(jué)編碼，優(yōu)化指令的時(shí)間、提前量等參數(shù)。

3.2 與其他輔助系統(tǒng)之比較

拐杖是古老而極為有效的盲人行走輔助工具。它的特點(diǎn)是能夠?qū)崟r(shí)獲得前方一米范圍內(nèi)的路面狀態(tài)，尤其是在農(nóng)村，可以有效幫助盲人完成獨(dú)立行走任務(wù)。而訓(xùn)練有素的導(dǎo)盲犬，能比拐杖更好地完成這項(xiàng)任務(wù)。現(xiàn)在城市街道復(fù)雜性超過(guò)了農(nóng)村道路，行人、自行車、垃圾箱、樹(shù)木等障礙高密度存在于城市街道以及街道四周。僅用拐杖，已經(jīng)難以在城市行走。

超聲拐杖是上個(gè)世界開(kāi)發(fā)的輔助盲人行走的技術(shù)手段。鑒于電子器件落后，當(dāng)時(shí)沒(méi)有能夠普及推廣。最近，隨著芯片技術(shù)、無(wú)線通訊技術(shù)的極大發(fā)展，超聲裝置被成功小型化、可以安裝在鞋子頭部，據(jù)報(bào)道已經(jīng)可以幫助盲人準(zhǔn)確判斷障礙物的距離，在比較安全的城市道路上獨(dú)立行走、跑步，比如參加馬拉松比賽，這是可喜的進(jìn)步。

已經(jīng)見(jiàn)諸報(bào)道的利用舌上觸覺(jué)陣列器件輸入前方物體形狀的技術(shù)，還未見(jiàn)應(yīng)用報(bào)道。從基礎(chǔ)研究角度看，舌上輸入信息是有價(jià)值的探索，可以加強(qiáng)人們對(duì)于舌部感覺(jué)的理解。但從實(shí)際應(yīng)用角度看，舌上器件局限在較小的面積，并且對(duì)飲食和說(shuō)話都帶來(lái)影響。若使用有線信號(hào)輸入輸出，電極線勢(shì)必要穿透面部皮膚或者從咽喉出入，留下創(chuàng)口。如果應(yīng)用無(wú)線信號(hào)輸入輸出，器件質(zhì)量和體積較大，也并不容易安置在嘴中。

另一種直接將視覺(jué)圖像實(shí)時(shí)處理后語(yǔ)音輸出指令的是盲人眼鏡系統(tǒng)。這是一個(gè)極為有前景的技術(shù)，它強(qiáng)烈依賴專用芯片技術(shù)、專用AI圖像識(shí)別技術(shù)和圖像要素轉(zhuǎn)化為語(yǔ)音指令的軟件技術(shù)。

本文提出的將視覺(jué)圖像轉(zhuǎn)化成頭頂觸覺(jué)輸入行動(dòng)指令、并輔助以語(yǔ)音環(huán)境的系統(tǒng)，其有效性、信息全面程度、安全性等均優(yōu)于之前的幾項(xiàng)傳統(tǒng)盲人體外輔助技術(shù)。相對(duì)比較昂貴的體內(nèi)植入器件，本文展示的振動(dòng)馬達(dá)和無(wú)線通信技術(shù)裝備成本也比較小，適合普通民眾使用。頭部振動(dòng)馬達(dá)陣列的觸覺(jué)編碼，除去簡(jiǎn)單的前、后、左、右、轉(zhuǎn)彎、停頓等指令，還可以像摩斯碼、手語(yǔ)和旗語(yǔ)等編碼語(yǔ)言，增加大量的信息，用于特殊的工作場(chǎng)景。觸覺(jué)和語(yǔ)音的雙重信息轉(zhuǎn)化，比單單只有一個(gè)指令途徑更有優(yōu)勢(shì)。觸覺(jué)感知到的行動(dòng)指令，能讓受試者快速、準(zhǔn)確執(zhí)行身體動(dòng)作，而語(yǔ)音能提供比觸覺(jué)更加豐富的信息，包括周邊路況整體狀況、整體行走路線描述、時(shí)間進(jìn)展等信息，相輔相成，雙重保險(xiǎn)。

更重要的是，受試者可以通過(guò)語(yǔ)音反饋?zhàn)陨硪蟆顟B(tài)、對(duì)指令的理解，與后臺(tái)人員進(jìn)行有效的交流。這不僅增加了系統(tǒng)工作的安全性和可靠性，也使得個(gè)性化服務(wù)得以實(shí)現(xiàn)。比如，現(xiàn)場(chǎng)裝置使用者是一位視覺(jué)退化、很少出門的老人，后臺(tái)輔助者是其子女，那么，通過(guò)觸覺(jué)指令、語(yǔ)音輔助和語(yǔ)音交流，幫助老人順利出行、購(gòu)物、就餐，就是一次溫馨的虛擬陪伴。

4 展 望

多項(xiàng)實(shí)際場(chǎng)地測(cè)試表明，利用頭部觸覺(jué)輔助盲人行動(dòng)的無(wú)線電子系統(tǒng)原型已經(jīng)達(dá)到預(yù)期效果。受試者能夠快速響應(yīng)頭部振動(dòng)觸覺(jué)指令，并實(shí)時(shí)調(diào)整自己的步伐、行走方向和身體整體動(dòng)作，從而完成復(fù)雜場(chǎng)景下的獨(dú)立行走、上臺(tái)階、躲避障礙物、在桌子上取杯子等日常任務(wù)。

另一方面，該系統(tǒng)不局限于盲人和視覺(jué)障礙人士使用，也適用于幫助老人獨(dú)自上街，或者軍隊(duì)的無(wú)聲通信場(chǎng)景。針對(duì)不同的應(yīng)用場(chǎng)景，該系統(tǒng)有潛力發(fā)展出不同的器件模式，比如多攝像頭模式，以及不同的工作模式，比如城市街道導(dǎo)航模式、戶外旅行模式、夜間工作模式（比如通過(guò)增加紅外攝像頭）、采購(gòu)模式、日常家居模式，甚至游戲模式等，具有廣闊的產(chǎn)業(yè)前景。在不同的工作模式下，開(kāi)發(fā)出專用的AI圖像識(shí)別技術(shù)、觸覺(jué)編碼和語(yǔ)音輔助軟件。在開(kāi)發(fā)專用AI圖像識(shí)別技術(shù)時(shí)，需要專用芯片設(shè)計(jì)與制造、專用算法和軟件、重點(diǎn)目標(biāo)提取并轉(zhuǎn)化成振動(dòng)馬達(dá)編碼和自然語(yǔ)言提示等多種技術(shù)的合作與協(xié)調(diào)，相當(dāng)有挑戰(zhàn)。

觸覺(jué)指令具備靜默、隱蔽、保護(hù)隱私等功能。還可以將器件位置從頭部頭套延伸到頸圈、腰帶、手環(huán)、腳環(huán)等。另外，在物聯(lián)網(wǎng)，盲人導(dǎo)航系統(tǒng)有可能享受“專門識(shí)別”待遇，與汽車、摩托車等自動(dòng)電子系統(tǒng)之間形成通訊聯(lián)系，這樣可以大大增加盲人出行的安全系數(shù)。

5 結(jié) 論

本文介紹了一種利用觸覺(jué)和語(yǔ)音輔助盲人或視覺(jué)障礙者獲取外界環(huán)境圖像和導(dǎo)航信息的原型系統(tǒng)。該系統(tǒng)的頭部觸覺(jué)裝置中，11個(gè)微型振動(dòng)馬達(dá)被固定在特制的彈性頭套內(nèi)膽上，外部可用普通帽子遮掩，具有很好的隱蔽性，能夠保護(hù)使用者的隱私。該系統(tǒng)屬于非植入式人工視覺(jué)系統(tǒng)，它充分利用現(xiàn)有的網(wǎng)絡(luò)無(wú)線通訊技術(shù)，通過(guò)后臺(tái)人員分析視覺(jué)圖像，直接、實(shí)時(shí)地轉(zhuǎn)化成頭部觸覺(jué)振動(dòng)編碼，并輔以語(yǔ)音描述和提示，能夠幫助受試者完成獨(dú)自出行和諸如進(jìn)咖啡館等生活任務(wù)。

實(shí)驗(yàn)表明，受試者對(duì)觸覺(jué)指令響應(yīng)時(shí)間在0.5 s內(nèi)；施加2～3 V驅(qū)動(dòng)電壓即可使馬達(dá)振動(dòng)形成有效頭皮觸覺(jué)，4～5 V電壓可形成很強(qiáng)的觸覺(jué)信號(hào)。當(dāng)兩個(gè)振動(dòng)點(diǎn)的間距超過(guò)3 cm時(shí)，所有測(cè)試者的頭部皮膚都能夠明確分辨不同振動(dòng)位點(diǎn)、識(shí)別不同觸覺(jué)指令。該系統(tǒng)利用頭部相對(duì)于面部的天然前、后、左前、左、右前、右等方位感，以及人體對(duì)于觸覺(jué)的快速響應(yīng)機(jī)制，控制多個(gè)振動(dòng)位點(diǎn)的振動(dòng)強(qiáng)度、振動(dòng)間隔、振動(dòng)次數(shù)、振動(dòng)時(shí)序、位點(diǎn)組合等，從而形成明確的行動(dòng)指令觸覺(jué)編碼，傳輸給佩戴者。

本文完成了多項(xiàng)實(shí)際場(chǎng)地測(cè)試，證明該系統(tǒng)能夠幫助盲人在行走過(guò)程中完成正確的左右方向微調(diào)、左轉(zhuǎn)、右轉(zhuǎn)、避讓障礙物、上臺(tái)階等動(dòng)作，順利實(shí)現(xiàn)在復(fù)雜環(huán)境里獨(dú)立行走；也能指導(dǎo)手的動(dòng)作，幫助盲人完成從桌上取杯子等簡(jiǎn)單的日常生活任務(wù)。隨著AI技術(shù)的發(fā)展，在后期的研究中，將研發(fā)現(xiàn)場(chǎng)AI圖像識(shí)別技術(shù)以取代或者輔助后臺(tái)人工識(shí)別模式，并針對(duì)不同的應(yīng)用場(chǎng)景開(kāi)發(fā)相應(yīng)的系統(tǒng)模式和專用軟件。本文展示的系統(tǒng)和實(shí)驗(yàn)結(jié)果，為人工視覺(jué)系統(tǒng)的發(fā)展提供了一種全新的技術(shù)路徑。附件PIBB_20210320_DOC_S1.pdf、 PIBB_20210320_Video_S1～8.avi見(jiàn)本文網(wǎng)絡(luò)版（http://www.pibb.ac.cn或http://www.cnki.ent）。