周俊宇，劉亞群，章學(xué)良，王眾

（中國(guó)電子科技集團(tuán)公司第十四研究所，江蘇 南京 210039）

近年來(lái)，隨著電子技術(shù)、人工智能等學(xué)科的不斷發(fā)展，無(wú)人機(jī)在諸多領(lǐng)域得到了廣泛應(yīng)用[1-6]。如何高效、便捷地控制無(wú)人機(jī)，已成為當(dāng)前的研究熱點(diǎn)[7-9]。腦-機(jī)接口作為一種直接通過(guò)腦電活動(dòng)傳遞思維信息的人-機(jī)交互技術(shù)[10-11]，已被廣泛應(yīng)用于機(jī)器人控制領(lǐng)域[12-15]，可幫助用戶(hù)更好地實(shí)現(xiàn)人-機(jī)協(xié)同。然而，在大多數(shù)的腦-機(jī)接口研究中，用戶(hù)大腦意圖的解析效果容易受到背景環(huán)境及用戶(hù)生理狀態(tài)的影響，其控制指令的數(shù)目往往較為有限。在一般的無(wú)人機(jī)控制系統(tǒng)中，飛行控制指令應(yīng)包括起飛、降落、上升、下降、左移、右移、前進(jìn)、后退、左旋、右旋、懸停等多個(gè)維度，因此在控制指令數(shù)目充足的基礎(chǔ)上，提高指令識(shí)別的準(zhǔn)確率成為了將腦-機(jī)接口技術(shù)應(yīng)用于無(wú)人機(jī)飛行控制的主要難題。

針對(duì)以上問(wèn)題，文中設(shè)計(jì)了一種融合多類(lèi)別腦-機(jī)接口特征、面部表情特征以及頭部動(dòng)作特征的無(wú)人機(jī)控制系統(tǒng),實(shí)現(xiàn)了通過(guò)多種特征對(duì)無(wú)人機(jī)的聯(lián)合控制，有效提高了無(wú)人機(jī)飛行控制的指令數(shù)目和識(shí)別準(zhǔn)確率。

1 系統(tǒng)整體設(shè)計(jì)

提出的多特征融合的無(wú)人機(jī)控制系統(tǒng)總體架構(gòu)如圖1 所示。用戶(hù)的腦電信號(hào)、面部表情相關(guān)信號(hào)以及頭部動(dòng)作信號(hào)被信號(hào)采集系統(tǒng)（含腦電信號(hào)傳感器和陀螺儀傳感器）采集并送入地面站，經(jīng)地面站系統(tǒng)軟件分析處理后識(shí)別出用戶(hù)狀態(tài)，包括大腦意識(shí)（注意力水平、穩(wěn)態(tài)視覺(jué)誘發(fā)電位、運(yùn)動(dòng)想象電位）、面部表情和頭部動(dòng)作，地面站軟件進(jìn)而將這些用戶(hù)狀態(tài)映射為無(wú)人機(jī)的飛行控制指令并通過(guò)遙控器傳至無(wú)人機(jī)；無(wú)人機(jī)根據(jù)接收到的飛行控制指令完成相應(yīng)飛行動(dòng)作，并在飛行過(guò)程中將機(jī)載攝相機(jī)拍攝的視頻信息以無(wú)線通信方式傳至圖像接收系統(tǒng)，最后由圖像接收系統(tǒng)傳入地面站并顯示；用戶(hù)根據(jù)顯示的圖像信息產(chǎn)生新的控制意圖，通過(guò)腦電信號(hào)、面部表情相關(guān)信號(hào)或頭部動(dòng)作信號(hào)再次經(jīng)信號(hào)采集系統(tǒng)送入地面站，經(jīng)解析后產(chǎn)生下一步的無(wú)人機(jī)飛行控制指令。

圖1 多特征融合的無(wú)人機(jī)控制系統(tǒng)總體架構(gòu)

在多特征融合的情況下，地面站軟件可能同時(shí)解析出多種飛行控制指令，例如用戶(hù)在利用頭部動(dòng)作進(jìn)行指令控制時(shí)，可能會(huì)伴隨運(yùn)動(dòng)想象過(guò)程。因此，為了避免不同指令間的競(jìng)爭(zhēng)而造成控制混亂，根據(jù)不同特征的解碼特點(diǎn)及長(zhǎng)期試驗(yàn)的結(jié)果分析，系統(tǒng)中對(duì)用戶(hù)的控制意圖進(jìn)行了優(yōu)先級(jí)設(shè)置，由高到低分別為注意力水平、頭部動(dòng)作、面部表情、運(yùn)動(dòng)想象、穩(wěn)態(tài)視覺(jué)誘發(fā)。地面站系統(tǒng)通過(guò)優(yōu)先級(jí)檢測(cè)選擇優(yōu)先級(jí)較高的用戶(hù)控制意圖并發(fā)送給無(wú)人機(jī)。

2 系統(tǒng)詳細(xì)設(shè)計(jì)

提出的多特征融合無(wú)人機(jī)控制系統(tǒng)的關(guān)鍵部分主要體現(xiàn)在信號(hào)采集系統(tǒng)設(shè)計(jì)、地面站控制軟件設(shè)計(jì)、注意力水平檢測(cè)、穩(wěn)態(tài)視覺(jué)誘發(fā)電位解析、運(yùn)動(dòng)想象電位解析、面部表情解析以及頭部動(dòng)作檢測(cè)等內(nèi)容。

2.1 信號(hào)采集系統(tǒng)設(shè)計(jì)

該系統(tǒng)基于八通道腦電采集設(shè)備進(jìn)行腦電信號(hào)與面部表情相關(guān)信號(hào)采集，并將陀螺儀傳感器（MPU6050）固定在腦電帽表面，用于采集用戶(hù)的頭部動(dòng)作信號(hào)。腦電極放置位置采用國(guó)際10-20 標(biāo)準(zhǔn)，如圖2 所示。其中，注意力水平相關(guān)的腦電信號(hào)采集通道為Fp1、Fp2，運(yùn)動(dòng)想象電位相關(guān)的腦電信號(hào)采集通道為C3、C4，穩(wěn)態(tài)視覺(jué)誘發(fā)電位相關(guān)的腦電信號(hào)采集通道為P3、P4、O1、O2，面部表情相關(guān)的特征信號(hào)采集通道為Fp1、Fp2、C3、C4，Cz 為參考電極，F(xiàn)z 為接地信號(hào)。

圖2 腦電極放置區(qū)域示意圖

2.2 地面站控制軟件設(shè)計(jì)

地面站控制軟件的系統(tǒng)功能如圖3 所示。地面站接收信號(hào)采集系統(tǒng)的用戶(hù)控制信息并進(jìn)行解析，從數(shù)據(jù)庫(kù)中選擇對(duì)應(yīng)的飛行控制指令，通過(guò)遙控器接口傳送給無(wú)人機(jī)以完成無(wú)人機(jī)飛行控制。同時(shí)，地面站軟件通過(guò)遙控器以及圖像接收系統(tǒng)接收無(wú)人機(jī)回傳的飛行狀態(tài)及圖像信息，在用戶(hù)界面中進(jìn)行顯示。

圖3 地面站軟件系統(tǒng)功能圖

該系統(tǒng)中地面站軟件界面主要包含七個(gè)分區(qū)，其相應(yīng)的功能分別為：①標(biāo)題區(qū)，顯示系統(tǒng)標(biāo)題文字；②狀態(tài)顯示區(qū)，顯示無(wú)人機(jī)飛行狀態(tài)及相關(guān)參數(shù)；③菜單欄，放置菜單操作控件；④調(diào)試區(qū)，顯示運(yùn)行過(guò)程中的調(diào)試信息；⑤飛行控制區(qū)，放置飛行控制操作控件及相關(guān)變量設(shè)置；⑥視頻監(jiān)控區(qū)，視頻監(jiān)控控制及顯示播放的視頻；⑦特征顯示區(qū)，穩(wěn)態(tài)視覺(jué)誘發(fā)電位特征頻譜、運(yùn)動(dòng)想象電位特征和面部表情特征等實(shí)時(shí)顯示。

2.3 注意力水平檢測(cè)

該系統(tǒng)首先對(duì)用戶(hù)注意力水平進(jìn)行準(zhǔn)確而快速的測(cè)量，解析出用戶(hù)實(shí)時(shí)的注意力指數(shù)。歸一化后注意力指數(shù)的取值范圍為[0,1]，如圖4 所示，且用戶(hù)的注意力水平越集中，對(duì)應(yīng)的注意力指數(shù)越高。在用戶(hù)控制無(wú)人機(jī)飛行的過(guò)程中，系統(tǒng)根據(jù)實(shí)時(shí)變化的注意力指數(shù)區(qū)分用戶(hù)專(zhuān)注和放松兩種精神狀態(tài)。當(dāng)注意力指數(shù)不小于0.8 時(shí)，認(rèn)為用戶(hù)處于注意力集中狀態(tài)，其產(chǎn)生的飛行控制指令為有效指令，可以實(shí)現(xiàn)對(duì)無(wú)人機(jī)的飛行控制；當(dāng)用戶(hù)注意力指數(shù)小于0.8時(shí)，如圖4 中方框圈出的部分所示，認(rèn)為此時(shí)用戶(hù)處于放松狀態(tài)，產(chǎn)生的飛行控制指令為無(wú)效指令，無(wú)人機(jī)將進(jìn)行自主巡航控制。

2.4 穩(wěn)態(tài)視覺(jué)誘發(fā)電位解析

該系統(tǒng)在融合多個(gè)腦電通道的穩(wěn)態(tài)視覺(jué)誘發(fā)電位信號(hào)特征以后，能夠有效識(shí)別出用戶(hù)根據(jù)實(shí)驗(yàn)范式所誘發(fā)出的刺激信號(hào)的頻率成分，處理后的頻率特征曲線如圖5 所示。在圖5 中，f1、f2、f3、f4分別對(duì)應(yīng)四種不同特征頻率的刺激源，對(duì)應(yīng)線段所示數(shù)值代表該特征頻率的判斷閾值。當(dāng)用戶(hù)腦電信號(hào)中某一特征頻率的幅度超過(guò)對(duì)應(yīng)的判斷閾值時(shí)，即輸出相應(yīng)的分類(lèi)結(jié)果。在穩(wěn)態(tài)視覺(jué)誘發(fā)電位分類(lèi)試驗(yàn)中，分類(lèi)的準(zhǔn)確率隨著分類(lèi)數(shù)目的減少而顯著提高。當(dāng)刺激源數(shù)目為四類(lèi)時(shí)，分類(lèi)準(zhǔn)確率為87%；當(dāng)刺激源數(shù)目為三類(lèi)時(shí)，分類(lèi)準(zhǔn)確率為94%；當(dāng)刺激源數(shù)目?jī)H為兩類(lèi)時(shí)，分類(lèi)準(zhǔn)確率為99%。

圖5 穩(wěn)態(tài)視覺(jué)誘發(fā)電位特征頻率曲線

2.5 運(yùn)動(dòng)想象電位解析

該系統(tǒng)在用戶(hù)進(jìn)行運(yùn)動(dòng)想象的過(guò)程中，可對(duì)其腦電信號(hào)中的運(yùn)動(dòng)想象特征進(jìn)行可靠的提取和分類(lèi)。當(dāng)用戶(hù)分別進(jìn)行左手運(yùn)動(dòng)想象和右手運(yùn)動(dòng)想象時(shí)，在腦電通道中提取的運(yùn)動(dòng)想象電位典型特征如圖6 所示，圖6 中方框部分分別對(duì)應(yīng)左手運(yùn)動(dòng)想象和右手運(yùn)動(dòng)想象模式下的特征幅度范圍。當(dāng)運(yùn)動(dòng)想象的識(shí)別維度為2 時(shí)，識(shí)別準(zhǔn)確率為82%；當(dāng)僅進(jìn)行單個(gè)維度識(shí)別時(shí)（例如僅需識(shí)別左手運(yùn)動(dòng)想象），識(shí)別準(zhǔn)確率為98%。

圖6 運(yùn)動(dòng)想象電位特征范圍

2.6 面部表情解析

該系統(tǒng)通過(guò)腦電傳感器采集與面部表情相關(guān)的特征信號(hào)，實(shí)現(xiàn)了面部表情的高精度分類(lèi)，詳細(xì)說(shuō)明可參考文獻(xiàn)[16]。當(dāng)面部表情的識(shí)別維度為5 時(shí)，識(shí)別準(zhǔn)確率為96%；當(dāng)面部表情的識(shí)別維度為4 時(shí)，識(shí)別準(zhǔn)確率為98%。

2.7 頭部動(dòng)作檢測(cè)

該系統(tǒng)通過(guò)陀螺儀芯片檢測(cè)用戶(hù)的頭部動(dòng)作并通過(guò)無(wú)線傳輸發(fā)送給地面站軟件進(jìn)行解析。系統(tǒng)中采用的陀螺儀芯片型號(hào)為MPU6050，該芯片采集頭部動(dòng)作并轉(zhuǎn)化為XYZ 三軸的角度輸出，經(jīng)地面站解析后的分類(lèi)結(jié)果如圖7 所示。當(dāng)識(shí)別四類(lèi)頭部動(dòng)作時(shí)（抬頭、低頭、左轉(zhuǎn)頭、右轉(zhuǎn)頭），分類(lèi)識(shí)別準(zhǔn)確率為99%。

圖7 頭部動(dòng)作分類(lèi)結(jié)果顯示

3 試驗(yàn)研究

為了驗(yàn)證提出的多特征融合的無(wú)人機(jī)控制系統(tǒng)的有效性，文中開(kāi)展了無(wú)人機(jī)飛行控制試驗(yàn)研究。試驗(yàn)中采用了大疆公司的M-100 型無(wú)人機(jī)作為飛行平臺(tái)，主要包括飛行控制、視覺(jué)導(dǎo)航傳感器和云臺(tái)相機(jī)等部分。同時(shí)，該型無(wú)人機(jī)具有對(duì)外的UART 接口，可支持添加機(jī)載設(shè)備，并提供用于二次開(kāi)發(fā)的套件和通信協(xié)議，便于針對(duì)系統(tǒng)需求開(kāi)發(fā)控制軟件控制其飛行。

為了獲取較高的識(shí)別準(zhǔn)確率，根據(jù)腦電信號(hào)、面部表情相關(guān)信號(hào)以及頭部動(dòng)作信號(hào)的解碼特點(diǎn)，該系統(tǒng)對(duì)這多種特征模式進(jìn)行了擇優(yōu)搭配使用，構(gòu)造了基于多種特征聯(lián)合控制無(wú)人機(jī)飛行的方法。系統(tǒng)中選用的特征模式與無(wú)人機(jī)飛行控制指令的映射關(guān)系如表1 所示（選用的頭部動(dòng)作特征為四種，穩(wěn)態(tài)視覺(jué)誘發(fā)電位特征為兩種，面部表情特征為四種，運(yùn)動(dòng)想象電位特征為一種）。無(wú)人機(jī)飛行控制試驗(yàn)在較為空曠的場(chǎng)地上進(jìn)行，測(cè)試者根據(jù)表1 所定義的映射關(guān)系。通過(guò)大腦意圖、面部表情、頭部動(dòng)作等控制模式依次對(duì)無(wú)人機(jī)發(fā)送起飛、降落、左移、右移、前進(jìn)、后退、上升、下降、左旋、右旋、懸停11 種控制指令，觀察無(wú)人機(jī)是否正確執(zhí)行相應(yīng)的飛行控制指令，并記錄數(shù)據(jù)。累計(jì)測(cè)試50 組數(shù)據(jù)后（所有指令循環(huán)一次為一組），得到的飛行控制指令準(zhǔn)確率如表1 所示。通過(guò)計(jì)算可以得出，在滿(mǎn)足無(wú)人機(jī)11 個(gè)飛行維度的條件下，文中試驗(yàn)的綜合控制準(zhǔn)確率為96.4%，表明了提出的多特征融合無(wú)人機(jī)控制系統(tǒng)可以實(shí)現(xiàn)對(duì)無(wú)人機(jī)高效而準(zhǔn)確的控制。

表1 無(wú)人機(jī)飛行控制指令映射關(guān)系及控制準(zhǔn)確率

4 結(jié)束語(yǔ)

文中設(shè)計(jì)了一種融合腦電信號(hào)、面部表情相關(guān)信號(hào)、頭部動(dòng)作信號(hào)等多類(lèi)特征實(shí)現(xiàn)對(duì)無(wú)人機(jī)聯(lián)合控制的系統(tǒng)，介紹了該系統(tǒng)的總體設(shè)計(jì)方案及關(guān)鍵部分設(shè)計(jì)，開(kāi)展試驗(yàn)研究驗(yàn)證了該系統(tǒng)在無(wú)人機(jī)飛行控制方面具有可靠性。該系統(tǒng)通過(guò)對(duì)不同模式特征的擇優(yōu)選取與組合使用，有效實(shí)現(xiàn)了飛行控制指令數(shù)目的增加和識(shí)別準(zhǔn)確率的提升。該系統(tǒng)可為未來(lái)機(jī)器人控制技術(shù)提供一種全新的技術(shù)支持，具有較為廣闊的應(yīng)用前景。