吳立珍，牛軼峰，王 菖，方 斌

（1. 國(guó)防科技大學(xué)智能科學(xué)學(xué)院，長(zhǎng)沙410073；2. 湖南警察學(xué)院交通管理系，長(zhǎng)沙410138）

1 引 言

隨著無(wú)人機(jī)系統(tǒng)技術(shù)的迅猛發(fā)展，其應(yīng)用范疇不斷拓展，應(yīng)用樣式呈現(xiàn)出由獨(dú)立執(zhí)行任務(wù)向多無(wú)人機(jī)協(xié)同、有人機(jī)/無(wú)人機(jī)協(xié)同加速發(fā)展的趨勢(shì)，對(duì)多機(jī)指揮控制提出新的挑戰(zhàn)［1］。一方面，隨著傳感器和數(shù)據(jù)鏈性能的不斷提升，多機(jī)協(xié)同帶來(lái)的海量信息疊加顯示和融合處理難度不斷增大，與操作員有限的信息關(guān)注能力形成矛盾；另一方面，多樣化協(xié)同控制需求使操作員操作難度增大，需要將更多的精力用于處理多機(jī)沖突消解和任務(wù)協(xié)調(diào)。在這種情況下，傳統(tǒng)的人在回路中（Man-in-the-loop）的交互控制方式顯然已不能適應(yīng)，極易出現(xiàn)操作員誤判和誤操作，從而導(dǎo)致事故發(fā)生［2］。

監(jiān)督控制（Supervisory Control）作為一種人在回路上（Man-on-the-loop）的控制方式［3］，能夠支持操作員通過(guò)自主代理的方法實(shí)現(xiàn)上層操作員對(duì)底層多無(wú)人機(jī)平臺(tái)的監(jiān)督與管理，其核心是面向人機(jī)智能融合，根據(jù)多任務(wù)動(dòng)態(tài)分配原則［4］，通過(guò)操作員和自主系統(tǒng)二者決策等級(jí)的適時(shí)變化，實(shí)現(xiàn)人機(jī)之間的主動(dòng)混合，達(dá)到少量操作員控制更多無(wú)人機(jī)的目標(biāo)。本文在深入研究監(jiān)督控制技術(shù)發(fā)展的基礎(chǔ)上，設(shè)計(jì)和實(shí)現(xiàn)了一種基于多傳感器測(cè)量和多模態(tài)交互的多無(wú)人機(jī)監(jiān)督控制系統(tǒng)，并通過(guò)多機(jī)協(xié)同探測(cè)任務(wù)仿真試驗(yàn)驗(yàn)證了系統(tǒng)的有效性。

2 多無(wú)人機(jī)監(jiān)督控制技術(shù)研究現(xiàn)狀

隨著無(wú)人機(jī)自主能力的提高，操作員對(duì)無(wú)人機(jī)的控制由低級(jí)的基于行為的控制轉(zhuǎn)變?yōu)楦呒?jí)的基于知識(shí)的控制，這種基于知識(shí)的控制就是監(jiān)督控制。在監(jiān)督控制中，無(wú)人機(jī)的飛行控制基本由無(wú)人機(jī)系統(tǒng)自主完成，操作員主要負(fù)責(zé)高層的載荷管理和任務(wù)控制。監(jiān)督控制使得單個(gè)操作員控制多架無(wú)人機(jī)成為可能，一方面平臺(tái)自動(dòng)化程度的提高為這種轉(zhuǎn)變提供了技術(shù)支持，另一方面協(xié)同任務(wù)帶來(lái)的交互需求為這種轉(zhuǎn)變提供了動(dòng)力。

監(jiān)督控制技術(shù)的研究主要源于多無(wú)人機(jī)分布式作戰(zhàn)的指揮控制需求。自2004年 起，Ruff［5］、Dixon［6］、Dunlap［7］等研究初步建立了監(jiān)督控制的基本概念和體系架構(gòu)，客觀分析了自動(dòng)化組件在監(jiān)督控制中的作用以及對(duì)整體系統(tǒng)性能的影響。麻省理工學(xué)院的Cummings等［8-9］深入研究了單操作員能夠控制無(wú)人機(jī)的最大數(shù)量問(wèn)題，分析了制約操作員監(jiān)督控制性能的關(guān)鍵因素。國(guó)內(nèi)相關(guān)研究尚處于概念探索階段，人（地面站操作員或位于有人機(jī)上的飛行員）在協(xié)同系統(tǒng)中的重要性及其同無(wú)人機(jī)之間的協(xié)作交互關(guān)系未得到足夠重視。國(guó)防科技大學(xué)提出一種多無(wú)人機(jī)監(jiān)督控制系統(tǒng)的混合三層結(jié)構(gòu)［10］，即可變自主級(jí)別控制器、任務(wù)管理系統(tǒng)、智能人-系統(tǒng)接口模塊，用于降低地面站指揮控制無(wú)人機(jī)的人機(jī)比；同時(shí)，面向有人機(jī)/無(wú)人機(jī)協(xié)同任務(wù)控制設(shè)計(jì)了基于自然語(yǔ)言的交互接口［11］。空軍工程大學(xué)的黃長(zhǎng)強(qiáng)等［12］提出人機(jī)協(xié)同感知-決策-執(zhí)行的半自主式武器控制思想，并設(shè)計(jì)了基于人機(jī)協(xié)同的無(wú)人攻擊機(jī)武器控制系統(tǒng)框架。浙江大學(xué)［13］提出人機(jī)共商決策方法，將人的智慧與機(jī)器的智能融合一體，提高決策的可靠性，具有很好的借鑒價(jià)值。

在監(jiān)督控制技術(shù)驗(yàn)證方面，美、歐等軍事強(qiáng)國(guó)競(jìng)相開(kāi)展了一系列試驗(yàn)項(xiàng)目，尤其在近年來(lái)呈現(xiàn)出加速發(fā)展的態(tài)勢(shì)。按照監(jiān)督控制系統(tǒng)部署方式的不同，大致可以分為基于地面站的監(jiān)督控制以及基于有人機(jī)的監(jiān)督控制兩類。

（1）基于地面站的監(jiān)督控制技術(shù)驗(yàn)證

早期驗(yàn)證項(xiàng)目主要聚焦于概念演示和技術(shù)探索，代表性的項(xiàng)目包括：波音公司開(kāi)展的單操作員控制多架X-45A 無(wú)人作戰(zhàn)飛機(jī)項(xiàng)目以及單操作員同時(shí)管理3 架掃描鷹無(wú)人作戰(zhàn)飛機(jī)項(xiàng)目；諾斯羅普·格魯門公司完成的航母空域內(nèi)同時(shí)控制4架X-47B無(wú)人作戰(zhàn)飛機(jī)模擬演練項(xiàng)目；洛克希德·馬丁公司基于沙漠鷹III 型無(wú)人機(jī)演示的單操作員管理多無(wú)人系統(tǒng)項(xiàng)目；雷錫恩公司推出的能同時(shí)控制8 架無(wú)人機(jī)的通用控制系統(tǒng)（UCS）等［14］。

近年來(lái)，監(jiān)督控制技術(shù)驗(yàn)證不斷深化，最具影響力的是北約HFM-170 項(xiàng)目［15］。該項(xiàng)目由多個(gè)國(guó)家參與的15 個(gè)演示驗(yàn)證項(xiàng)目組成，旨在針對(duì)多無(wú)人系統(tǒng)監(jiān)督控制框架下的一系列核心技術(shù)分別展開(kāi)技術(shù)驗(yàn)證，具體項(xiàng)目情況如表1所示。

（2）基于有人機(jī)的監(jiān)督控制技術(shù)驗(yàn)證

有人機(jī)/無(wú)人機(jī)協(xié)同是監(jiān)督控制技術(shù)應(yīng)用的重要載體和方向。英國(guó)QinetiQ 公司在2007年進(jìn)行的狂風(fēng)戰(zhàn)斗機(jī)飛行員監(jiān)督控制4 架無(wú)人機(jī)的飛行試驗(yàn)是典型的基于有人機(jī)的監(jiān)督控制技術(shù)驗(yàn)證，該項(xiàng)目成功實(shí)現(xiàn)了操作員高層決策與無(wú)人機(jī)系統(tǒng)自主執(zhí)行戰(zhàn)術(shù)任務(wù)的有機(jī)結(jié)合。

德國(guó)慕尼黑國(guó)防軍大學(xué)于2007—2011年間聯(lián)合德國(guó)航空航天中心等開(kāi)展了有人/無(wú)人編隊(duì)（MUMT）項(xiàng)目［16］，旨在利用無(wú)人機(jī)提高有人機(jī)態(tài)勢(shì)感知能力、縮短任務(wù)完成時(shí)間、降低有人機(jī)風(fēng)險(xiǎn)。

值得關(guān)注的是，該項(xiàng)目在設(shè)計(jì)操作員輔助系統(tǒng)時(shí)采用了協(xié)同控制和監(jiān)督控制兩種模式，提出一種雙模式認(rèn)知自動(dòng)化方法，以替代傳統(tǒng)的自動(dòng)化方法（圖1），使得操作員輔助系統(tǒng)具備了復(fù)雜任務(wù)決策能力。同時(shí)，設(shè)計(jì)了無(wú)人機(jī)人工認(rèn)知單元（ACU），使無(wú)人機(jī)具備根據(jù)自身感知態(tài)勢(shì)理解有人機(jī)指派的目標(biāo)或任務(wù)能力。該項(xiàng)目實(shí)現(xiàn)了人-機(jī)器（無(wú)人機(jī)操作員輔助系統(tǒng)）、機(jī)器（ACU）-機(jī)器（ACU）之間的有效協(xié)同，通過(guò)雙座模擬器（圖2）完成了協(xié)同偵察/運(yùn)輸、協(xié)同防空壓制/打擊等典型任務(wù)的仿真研究。

表1 HFM-170項(xiàng)目情況Table 1 HFM-170 project

圖1 雙模式認(rèn)知自動(dòng)化方法Fig.1 Dual-mode cognitive automation

圖2 德國(guó)MUM-T項(xiàng)目仿真環(huán)境Fig.2 Simulation environment for MUM-T

近年來(lái)，有人機(jī)/無(wú)人機(jī)協(xié)同作戰(zhàn)模式的蓬勃發(fā)展進(jìn)一步推動(dòng)了監(jiān)督控制技術(shù)的進(jìn)步。美國(guó)通用原子公司提出了16 架捕食者C 復(fù)仇者（Avenger）無(wú)人機(jī)集群在2 架F-22 戰(zhàn)斗機(jī)指揮下協(xié)同作戰(zhàn)概念（圖3），涉及的關(guān)鍵技術(shù)主要包括開(kāi)放式的監(jiān)督控制體系結(jié)構(gòu)、人機(jī)交互以及多機(jī)集群控制等。

圖3 捕食者C復(fù)仇者與F-22協(xié)同作戰(zhàn)Fig.3 Cooperation between Avenger and F-22

在監(jiān)督控制的技術(shù)框架下，2017年，美空軍忠誠(chéng)僚機(jī)項(xiàng)目開(kāi)展了基于無(wú)人化F-16 戰(zhàn)斗機(jī)的有人機(jī)/無(wú)人機(jī)編組技術(shù)演示，驗(yàn)證了有人/無(wú)人協(xié)同開(kāi)放式系統(tǒng)架構(gòu)、僚機(jī)自主規(guī)劃并適應(yīng)對(duì)地打擊任務(wù)、以及意外事件處置等能力。2018年，美軍拒止環(huán)境下無(wú)人機(jī)協(xié)同作戰(zhàn)項(xiàng)目基于RQ-23 虎鯊無(wú)人機(jī)，開(kāi)展了單操作員指揮無(wú)人機(jī)編隊(duì)執(zhí)行戰(zhàn)術(shù)偵察、壓制/摧毀敵防空系統(tǒng)等任務(wù)的技術(shù)驗(yàn)證［17］。2019年2月，完成了6 架虎鯊無(wú)人機(jī)和14 架仿真機(jī)的飛行試驗(yàn)驗(yàn)證。2019年5月，美國(guó)國(guó)防預(yù)先研究計(jì)劃局（DARPA）為了實(shí)現(xiàn)其新型作戰(zhàn)概念——馬賽克戰(zhàn)，而啟動(dòng)了空戰(zhàn)演進(jìn)（ACE）項(xiàng)目。該項(xiàng)目旨在通過(guò)建立操作員與無(wú)人系統(tǒng)之間可信任的互動(dòng)，加速飛行員從操作員到任務(wù)指揮官的轉(zhuǎn)變。

應(yīng)當(dāng)指出，國(guó)內(nèi)外目前在監(jiān)督控制方面取得了一定的研究成果，但主要是基于相對(duì)安全的空域或弱對(duì)抗條件。有人機(jī)/無(wú)人機(jī)在對(duì)抗空域協(xié)同執(zhí)行作戰(zhàn)任務(wù)，飛行員將面臨更復(fù)雜的問(wèn)題，比如：工作量大幅增加，環(huán)境壓迫性和任務(wù)復(fù)雜度顯著提升等。在這種復(fù)雜快變的戰(zhàn)場(chǎng)環(huán)境中同時(shí)實(shí)現(xiàn)多無(wú)人機(jī)控制，現(xiàn)有的方法可能失效，需要深入研究如何能夠充分發(fā)揮人和自主系統(tǒng)的各自優(yōu)勢(shì)，盡可能降低人的底層操作負(fù)擔(dān)，實(shí)現(xiàn)基于人機(jī)認(rèn)知模型的高效協(xié)同。

3 系統(tǒng)設(shè)計(jì)

本文設(shè)計(jì)的監(jiān)督控制系統(tǒng)主要由無(wú)人機(jī)操作員狀態(tài)監(jiān)視模塊和多無(wú)人機(jī)混合主動(dòng)控制模塊組成。前者主要用于實(shí)時(shí)評(píng)估操作員的工作狀態(tài)，獲取操作員當(dāng)前適合的決策等級(jí)，并避免“人不在回路”事件的發(fā)生。后者則以操縱員狀態(tài)為依據(jù)，實(shí)現(xiàn)人機(jī)多種權(quán)限的混合主動(dòng)控制。

3.1 無(wú)人機(jī)操作員狀態(tài)監(jiān)視模塊

現(xiàn)有操作員狀態(tài)監(jiān)視的研究主要集中在操作員生理特征方面，大多采用腦電圖和心電圖分析的方式。為了減少對(duì)操作員的干擾，減少接觸式傳感器的使用，本文設(shè)計(jì)了一種基于多傳感器融合的無(wú)人機(jī)操作員狀態(tài)監(jiān)視模塊。

該模塊主要采集的數(shù)據(jù)包括：姿態(tài)特征、面部表情、眼睛疲勞度、心率和體溫特征等。通過(guò)對(duì)這些數(shù)據(jù)的實(shí)時(shí)測(cè)量和融合可分析得出操作員當(dāng)前的狀態(tài)、行為和注意力，輸出操作員工作狀態(tài)評(píng)估結(jié)果，最后給出人機(jī)交互中操作員的決策等級(jí)，為后續(xù)的監(jiān)督控制提供依據(jù)。模塊框架和信息流程如圖4所示。

圖4 操作員狀態(tài)監(jiān)視模塊框架Fig.4 Framework of state monitoring module for the UAS operator

（1）姿態(tài)特征檢測(cè)

姿態(tài)特征主要采集面部以外身體其他部位（如手勢(shì)、軀干、頭部）的狀態(tài)，可通過(guò)交互式傳感器獲取的深度圖像進(jìn)行檢測(cè)（圖5）。測(cè)量姿態(tài)特征的目的，主要是通過(guò)分析姿態(tài)動(dòng)作的各種特性（如行為動(dòng)作的方式、力度、頻率等），判斷操作員的工作狀態(tài)。比如，當(dāng)操作員疲勞的時(shí)候，頭部的擺動(dòng)頻率會(huì)增加。同時(shí)，手勢(shì)等特征也可用于交互控制。

圖5 姿態(tài)特征檢測(cè)Fig.5 Attitude feature detection

以頭部姿態(tài)檢測(cè)為例，可以假設(shè)頭部位置為Head(x，y，z)，脖子的位置為Neck(x，y，z)，則計(jì)算頭部水平姿態(tài)為

頭部俯仰姿態(tài)為

對(duì)于無(wú)人機(jī)操作員，如果頭部位置超過(guò)設(shè)定閾值則判斷操作員離開(kāi)了視場(chǎng)中心位置；如果頭部俯仰姿態(tài)超過(guò)設(shè)定閾值，即βH＞Tmax或者βH＜Tmin，則認(rèn)為操作員可能低頭或者抬頭幅度過(guò)大。系統(tǒng)根據(jù)一段時(shí)間的頻率數(shù)據(jù)分析，可用于判斷操作員的疲勞度。

（2）面部表情識(shí)別

面部表情主要通過(guò)可見(jiàn)光圖像進(jìn)行檢測(cè)識(shí)別。不同的表情會(huì)帶來(lái)五官或者五官之間相對(duì)位置的變化，進(jìn)而導(dǎo)致特征點(diǎn)連接形成的幾何拓?fù)湫螤睢⒋笮?、間距等發(fā)生相應(yīng)變化。例如，當(dāng)人驚恐的時(shí)候，嘴巴上的特征點(diǎn)會(huì)張開(kāi)，眼睛上的特征點(diǎn)也會(huì)向上移動(dòng)。識(shí)別出相應(yīng)特征并依據(jù)人類情緒的相關(guān)模式進(jìn)行歸類分析，就可以基本實(shí)現(xiàn)情緒的把握。檢測(cè)效果如圖6所示。

圖6 面部表情識(shí)別Fig.6 Facial expression recognition

（3）眼睛疲勞度檢測(cè)

系統(tǒng)通過(guò)眼動(dòng)儀實(shí)現(xiàn)操作員的眼睛疲勞度檢測(cè)。該設(shè)備的原理是采用近紅外光源在眼睛和角膜上產(chǎn)生圖像，進(jìn)而進(jìn)行檢測(cè)識(shí)別和定位。眼睛疲勞度檢測(cè)采用PERCLOS 指標(biāo)，即單位時(shí)間內(nèi)眼睛閉合的次數(shù)。相關(guān)研究指出，該指標(biāo)是公認(rèn)的疲勞檢測(cè)的視覺(jué)參數(shù)，它反映了緩慢的眼皮閉合，可以有效表達(dá)精神疲勞程度。圖7 給出了PERCLOS 檢測(cè)示意。

圖7 PERCLOS眼睛狀態(tài)檢測(cè)Fig.7 Eye state detection using PERCLOS

（4）心率和體溫特征檢測(cè)

心率變異性（Heart Rate Variability，HRV）與人的負(fù)荷水平、疲勞程度有關(guān)，主要用心率傳感器進(jìn)行測(cè)量［18］。通過(guò)一段時(shí)間內(nèi)心率值的低頻和高頻數(shù)據(jù)的比值，可以估計(jì)操作員當(dāng)前的身體狀態(tài)。圖8 為獲取的操作員心率數(shù)據(jù)，其中上圖為原始心率值，下圖為心率低頻高頻的比值，可以明顯看出操作員心率特征變化。

體溫特征與操作員心情狀態(tài)也存在相關(guān)性。相關(guān)研究表明，不同情緒下身體的熱量分布存在一定的模式，比如憤怒時(shí)，頭部和胸部的溫度會(huì)升高；沮喪時(shí)全身體溫會(huì)降低。根據(jù)測(cè)量身體多個(gè)部位的溫度值，與相關(guān)模式對(duì)比分析，可用于估計(jì)操作員當(dāng)前的身體狀態(tài)和心情。

圖8 心率檢測(cè)Fig.8 Heart rate detection

（5）基于神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的操作員狀態(tài)融合評(píng)估

采用基于神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的操作員狀態(tài)融合評(píng)估方法，結(jié)構(gòu)如圖9所示。

圖9 基于神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的狀態(tài)評(píng)估Fig.9 State evaluation based on neural network learning

主要步驟如下：

①根據(jù)傳感器信息構(gòu)建多維特征空間樣本庫(kù)。確定操作員狀態(tài)特征輸入矢量X（姿態(tài)、表情、眼動(dòng)跟蹤、心率、體溫），目標(biāo)矢量T（關(guān)注度、心情、肢體行為、疲勞度）。輸入輸出之間存在一定對(duì)應(yīng)關(guān)系。

②設(shè)計(jì)神經(jīng)網(wǎng)絡(luò)訓(xùn)練學(xué)習(xí)感知器［19］。

③根據(jù)不同的操作員樣本，進(jìn)行訓(xùn)練，建立傳感器特征與語(yǔ)義之間的映射關(guān)系。

首先，對(duì)狀態(tài)模型進(jìn)行語(yǔ)義量化，選擇多對(duì)形容詞用于建立操作員狀態(tài)模型形容詞集（表2），對(duì)每個(gè)形容詞對(duì)進(jìn)行多等級(jí)量化，并分別設(shè)定邊界條件。如“疲勞的-平靜的”，其評(píng)價(jià)可以是重度疲勞、輕微疲勞、良好、非常好。

表2 操作員狀態(tài)模型形容詞集Table 2 The adjective set of operator state model

其次，建立狀態(tài)空間。按上述量化方法，獲得操作員某一狀態(tài)m的第n對(duì)形容詞的評(píng)價(jià)量化值，得到一維矩陣按照下式標(biāo)準(zhǔn)化得到Xm，其中

設(shè)E為公共因子矩陣，Z為載荷矩陣，其中E的第m行em= (em1，em2，...，emn)對(duì)應(yīng)操作員狀態(tài)m在狀態(tài)空間的坐標(biāo)，載荷矩陣Z的第n行Zn=(Zn1，Zn2，...，Znk)對(duì)應(yīng)形容詞n在K維空間的坐標(biāo)。

設(shè)U為獨(dú)特因子，D作為獨(dú)特因子的權(quán)值，對(duì)獲得的矩陣Xm做因子分析：

通過(guò)以上步驟，將原先的N維狀態(tài)空間降至K維，建立形容詞與操作員向量的映射。

④建立語(yǔ)義組合構(gòu)建的樹(shù)形結(jié)構(gòu)，采用D-S證據(jù)決策操作員的狀態(tài)為：

其中，Ti為目標(biāo)矢量T的分量，λi為各種狀態(tài)的權(quán)值系數(shù)。

3.2 多無(wú)人機(jī)混合主動(dòng)控制模塊

混合主動(dòng)控制是實(shí)現(xiàn)監(jiān)督控制的核心。它通過(guò)綜合考慮操作員實(shí)時(shí)狀態(tài)（適合的決策等級(jí)）、無(wú)人機(jī)的自主能力、環(huán)境和任務(wù)的復(fù)雜程度等因素，實(shí)現(xiàn)人機(jī)之間多等級(jí)的、權(quán)限適時(shí)可變的控制模態(tài)。在上一節(jié)的基礎(chǔ)上，本節(jié)建立了一種基于多模態(tài)交互的多無(wú)人機(jī)混合主動(dòng)控制系統(tǒng)。

為了實(shí)現(xiàn)多無(wú)人機(jī)的同時(shí)控制，操作員必須以簡(jiǎn)單、直觀的方式與無(wú)人機(jī)交互，將認(rèn)知精力集中于關(guān)鍵活動(dòng)和關(guān)鍵環(huán)節(jié)上，如目視確認(rèn)、打擊決策等。對(duì)此，設(shè)計(jì)了語(yǔ)音、眼動(dòng)、手勢(shì)、操縱桿、觸摸屏等多模態(tài)的自然交互控制接口。不同的交互模態(tài)帶來(lái)的操作員負(fù)荷不同，適應(yīng)于不同的操作員狀態(tài)和決策等級(jí)，并支持任務(wù)層、導(dǎo)航層、底層等多種控制模式。

其中，語(yǔ)音控制模態(tài)用于控制無(wú)人機(jī)執(zhí)行特定任務(wù)指令，眼動(dòng)控制模態(tài)用于控制無(wú)人機(jī)實(shí)現(xiàn)目標(biāo)鎖定，二者都屬于任務(wù)層控制；手勢(shì)控制模態(tài)（如指向信號(hào)等）用于無(wú)人機(jī)飛行方向引導(dǎo)、編隊(duì)避碰、編隊(duì)變換等，屬于導(dǎo)航層控制；操縱桿控制模態(tài)一般用于操縱無(wú)人機(jī)底層飛行控制。此外，操作員還可以利用觸摸屏獲取無(wú)人機(jī)狀態(tài)、當(dāng)前任務(wù)、操作狀態(tài)反饋等信息，并進(jìn)行載荷控制、路徑規(guī)劃、航點(diǎn)導(dǎo)航等任務(wù)。圖10 展示了一種多模態(tài)控制過(guò)程。假設(shè)無(wú)人機(jī)當(dāng)前從A 點(diǎn)到B 點(diǎn)運(yùn)動(dòng)，并執(zhí)行沿途目標(biāo)搜索任務(wù)。根據(jù)任務(wù)需求，Ⅰ和Ⅱ可以分別通過(guò)語(yǔ)音或者手勢(shì)指令實(shí)現(xiàn)無(wú)人機(jī)進(jìn)入?yún)^(qū)域搜索模式和平行搜索模式。當(dāng)無(wú)人機(jī)需要進(jìn)入指定區(qū)域的時(shí)候，可以采用操作桿進(jìn)行精準(zhǔn)控制。Ⅲ為目標(biāo)發(fā)現(xiàn)后，可以利用眼動(dòng)跟蹤實(shí)現(xiàn)對(duì)目標(biāo)的鎖定。

圖10 多模態(tài)控制過(guò)程Fig.10 Multimode control process

為了實(shí)現(xiàn)可變的自主權(quán)限控制，設(shè)計(jì)了無(wú)人機(jī)的四層控制模式：（1）自主控制模式：無(wú)人機(jī)不需要人的介入，自主完成任務(wù)，這種模式適用于簡(jiǎn)單任務(wù)，并且對(duì)無(wú)人機(jī)自主能力提出了很高的要求；（2）半自主模式：無(wú)人機(jī)具備一定程度的機(jī)載任務(wù)控制能力，可以在人給定抽象任務(wù)條件下自主完成復(fù)雜任務(wù)規(guī)劃；（3）自主飛行模式：無(wú)人機(jī)在人給定導(dǎo)航目標(biāo)、編隊(duì)控制指令、飛行路徑（由控制站完成重規(guī)劃）等前提下，自主進(jìn)行路徑跟蹤和飛行控制。（4）手動(dòng)模式：人可以直接對(duì)無(wú)人機(jī)和傳感器進(jìn)行操縱，對(duì)操作員精力要求較高。四種控制模式根據(jù)監(jiān)督控制需求動(dòng)態(tài)切換。

結(jié)合不同的操作員控制權(quán)限和平臺(tái)控制權(quán)限，同時(shí)考慮實(shí)際面臨的環(huán)境/任務(wù)復(fù)雜度等因素，可以通過(guò)模糊認(rèn)知圖等方法實(shí)現(xiàn)人機(jī)控制權(quán)限的實(shí)時(shí)調(diào)節(jié)，進(jìn)而實(shí)現(xiàn)人機(jī)混合主動(dòng)控制（圖11）。例如在目標(biāo)檢測(cè)時(shí)，系統(tǒng)可根據(jù)圖像中的目標(biāo)數(shù)量以及當(dāng)前操作員狀態(tài)等信息，自主提示用戶可以采用什么樣的控制模式，以最大化發(fā)揮人和機(jī)器的優(yōu)勢(shì)。

圖11 混合主動(dòng)控制模塊框架Fig.11 Framework of mixed initiative control module

4 仿真結(jié)果及分析

4.1 實(shí)驗(yàn)環(huán)境

系統(tǒng)實(shí)驗(yàn)裝置如圖12 所示，采用了體感設(shè)備、眼動(dòng)儀、心率和體溫傳感器等，所有傳感器通過(guò)有線或無(wú)線的途徑輸入到計(jì)算機(jī)中。其中，體感設(shè)備采用了微軟Kinect2，眼動(dòng)儀采用Tobii eye X。

圖12 監(jiān)督控制系統(tǒng)實(shí)驗(yàn)裝置Fig.12 Experimental devices of supervisory control system

實(shí)驗(yàn)任務(wù)設(shè)定為多無(wú)人機(jī)對(duì)地面多目標(biāo)的協(xié)同搜索。任務(wù)區(qū)域如圖13所示，其中C為待搜索區(qū)域的地圖；A、B 分別為兩架無(wú)人機(jī)機(jī)載傳感器實(shí)時(shí)采集的可見(jiàn)光圖像。圖14 為多機(jī)協(xié)同路徑規(guī)劃獲得的飛行航線，采用了凸多邊形區(qū)域的無(wú)人機(jī)覆蓋航跡規(guī)劃算法［20］，A、B 代表不同的無(wú)人機(jī)的飛行路徑。

圖13 多無(wú)人機(jī)協(xié)同目標(biāo)檢測(cè)場(chǎng)景Fig.13 The scene of multi UAS cooperative target detection

圖14 區(qū)域搜索航線規(guī)劃Fig.14 Path planning for regional search

4.2 仿真結(jié)果

實(shí)驗(yàn)一：開(kāi)展長(zhǎng)時(shí)間工作情形下操作員狀態(tài)的監(jiān)視實(shí)驗(yàn)。設(shè)定姿態(tài)和表情檢測(cè)頻率為5Hz，眼動(dòng)儀檢測(cè)頻率為20Hz，心率和體溫檢測(cè)頻率為10Hz，通過(guò)融合評(píng)估，繪制出操作員狀態(tài)隨時(shí)間變化曲線，如圖15 所示。其中，左圖為關(guān)注度（注意力）、心情、頭部動(dòng)作頻率等信息，右圖為眼睛閉合PERCLOS 值、心率低頻高頻比等信息?？梢钥闯觯僮鲉T隨時(shí)間的變化，關(guān)注度會(huì)逐漸降低，心情變的厭惡和憤怒，頭部的運(yùn)動(dòng)頻率也相應(yīng)的增加，反映了疲勞度的持續(xù)增加。

圖15 操作員狀態(tài)隨時(shí)間變化的趨勢(shì)圖Fig.15 Operator status over time

表3為操作員狀態(tài)與適合的決策等級(jí)隨時(shí)間變化的情況。決策等級(jí)采用前文提出的四層劃分。根據(jù)實(shí)驗(yàn)結(jié)果，在操作員連續(xù)緊張工作的情況下，工作能力會(huì)隨著時(shí)間的變化而降低，決策等級(jí)也需要相應(yīng)調(diào)整，以降低工作負(fù)荷。

表3 操作員狀態(tài)與決策等級(jí)Table 3 Operator status and decision level

實(shí)驗(yàn)二：開(kāi)展多目標(biāo)協(xié)同探測(cè)實(shí)驗(yàn)。采用的傳感器探測(cè)模型［21］如圖16 所示。左圖為無(wú)人機(jī)對(duì)地面目標(biāo)探測(cè)的數(shù)學(xué)建模，其中傳感器安裝角度為斜向下30°；右圖為無(wú)人機(jī)在不同高度探測(cè)目標(biāo)的成功概率，橫坐標(biāo)0 點(diǎn)為目標(biāo)位置，不同顏色曲線代表不同的飛行高度。無(wú)人機(jī)越靠近目標(biāo)，目的探測(cè)概率越大；無(wú)人機(jī)飛行高度增加，目標(biāo)探測(cè)概率減小。

基于上述探測(cè)概率模型，分別采用全自主控制探測(cè)以及混合主動(dòng)控制探測(cè)展開(kāi)實(shí)驗(yàn)比較，結(jié)果如圖17 所示，不同顏色的方框代表目標(biāo)點(diǎn)被探測(cè)的次數(shù)及探測(cè)位置。圖17（b）中的藍(lán)線和紅線為無(wú)人機(jī)的飛行軌跡，其中藍(lán)線為自動(dòng)飛行軌跡，紅線為手動(dòng)飛行軌跡。M 區(qū)域?yàn)檎Z(yǔ)音/手勢(shì)指令控制的盤旋探測(cè)，N 區(qū)域?yàn)閾u桿控制的目標(biāo)探測(cè)。圖17（c）中標(biāo)示的Q區(qū)域?qū)?yīng)圖12任務(wù)環(huán)境的水域，不存在需要探測(cè)的目標(biāo)，通過(guò)任務(wù)環(huán)境分析采用了繞行的方式提高整體效能。

圖16 無(wú)人機(jī)地面目標(biāo)探測(cè)概率模型Fig.16 Probability model for UAV ground target detection

針對(duì)特定目標(biāo)P 和目標(biāo)N 的探測(cè)結(jié)果如圖18所示。其中，上圖為目標(biāo)P 的探測(cè)概率，下圖為目標(biāo)N 的探測(cè)概率，紅色為混合主動(dòng)控制的探測(cè)概率，藍(lán)色為全自主控制的探測(cè)概率?？梢钥闯?，當(dāng)P目標(biāo)探測(cè)概率較低的時(shí)候，可以采用混合主動(dòng)控制提高探測(cè)概率，針對(duì)N 目標(biāo)探測(cè)概率較大的情形，自主探測(cè)效果更好，操作員可以給予系統(tǒng)足夠的信任。

圖18 特定目標(biāo)的探測(cè)概率Fig.18 Detection probability of specific targets

5 結(jié)束語(yǔ)

本文針對(duì)無(wú)人機(jī)控制站操作員在操作控制多無(wú)人機(jī)時(shí)面臨的工作負(fù)擔(dān)過(guò)大、操作性能下降的問(wèn)題，詳細(xì)研究了多無(wú)人機(jī)監(jiān)督控制系統(tǒng)的發(fā)展現(xiàn)狀。從操作員狀態(tài)評(píng)估和多模態(tài)自然交互出發(fā)，設(shè)計(jì)了一種基于多傳感器的多無(wú)人機(jī)監(jiān)督控制系統(tǒng)。系統(tǒng)通過(guò)傳感器測(cè)量獲取操作員相關(guān)狀態(tài)數(shù)據(jù)，并利用神經(jīng)網(wǎng)絡(luò)方法實(shí)時(shí)評(píng)估操作員狀態(tài)，獲得當(dāng)前人機(jī)交互輔助決策等級(jí)。根據(jù)該決策等級(jí)和多任務(wù)動(dòng)態(tài)分配原則切換人的控制權(quán)限和無(wú)人機(jī)的控制權(quán)限，實(shí)現(xiàn)操作員對(duì)多無(wú)人機(jī)的混合主動(dòng)控制。結(jié)果表明，該系統(tǒng)可實(shí)時(shí)評(píng)估操作員狀態(tài)，并有效實(shí)現(xiàn)了多無(wú)人機(jī)的監(jiān)督控制，相比于單純自主控制能夠有效提升人機(jī)協(xié)同系統(tǒng)的整體效能。

應(yīng)當(dāng)指出，多無(wú)人機(jī)監(jiān)督控制在實(shí)際應(yīng)用中仍然面臨很大挑戰(zhàn)：

（1）本文探索的基于多傳感器測(cè)量的操作員狀態(tài)評(píng)估受到監(jiān)督控制系統(tǒng)部署環(huán)境的制約，嘈雜背景、復(fù)雜光照、以及有限空間等對(duì)語(yǔ)音、眼動(dòng)、手勢(shì)等交互手段形成干擾，測(cè)量存在不可預(yù)期的誤差，需要進(jìn)一步研究特定應(yīng)用背景下的交互信息處理方法以提高測(cè)量結(jié)果的可信度。

（2）操作員狀態(tài)的外在表現(xiàn)存在個(gè)性因素，也會(huì)伴隨工作環(huán)境和工作壓力的變化，呈現(xiàn)一定的差異。因此，傳感器統(tǒng)計(jì)數(shù)據(jù)難以作為狀態(tài)判斷唯一的衡量標(biāo)準(zhǔn)，需要在應(yīng)用環(huán)境中針對(duì)不同的操作員開(kāi)展長(zhǎng)時(shí)間適應(yīng)性的學(xué)習(xí)和訓(xùn)練。

（3）復(fù)雜背景下多無(wú)人機(jī)監(jiān)督控制面臨高度的復(fù)雜性和不確定性，需要在混合主動(dòng)控制框架下充分考慮各類動(dòng)態(tài)意外事件，進(jìn)一步深化研究控制權(quán)限的分配策略，既有限制的最大化自主系統(tǒng)的能力范圍，又確保核心權(quán)限掌握在人類操作員手中。

（4）多無(wú)人機(jī)監(jiān)督控制需要解決操作員對(duì)自主系統(tǒng)的信任問(wèn)題。一方面要研究增強(qiáng)無(wú)人機(jī)自主系統(tǒng)的決策透明性、可解釋性和可干預(yù)性，另一方面還要研究構(gòu)建操作員對(duì)自主系統(tǒng)信任程度的模擬和度量手段，通過(guò)可量化的信任度建立和擴(kuò)展人機(jī)互信，促進(jìn)人機(jī)高效協(xié)同。