劉鵬宇, 朱雪耀, 王躍萍

(航空工業(yè)西安飛行自動控制研究所 飛行控制系統(tǒng)部,陜西 西安 710065)

近年來,隨著航空技術(shù)的快速發(fā)展,軍用、民用和消費級無人機均迎來爆發(fā)式增長,對空域資源的需求也日益增大?？紤]到安全、技術(shù)和管理等因素,目前無人機僅限在隔離空域內(nèi)飛行,美國聯(lián)邦航空管理局(Federal Aviation Administratian,FAA)和歐盟認(rèn)為對無人機進行嚴(yán)格的空域隔離會在很多時候阻礙任務(wù)的開展[1],制約了未來無人機在任務(wù)模式和使用場景的拓展,因此,無人機融入非隔離空域?qū)⒊蔀槲磥淼陌l(fā)展趨勢。

安全性問題是阻礙無人機進入融合空域的首要問題。2003年至今,美軍已發(fā)生數(shù)十起無人機和有人機的飛行沖突事故[2]?，F(xiàn)階段,我國的研究大多著力于豐富無人機的功能和提高無人機載荷,對無人機融入空中交通管理系統(tǒng)的針對性研究較少。盡管無人機已具備初步的避障功能,但靈活性和超前性較差,無法保證融合空域的航行安全。因此,在可預(yù)見的未來,無人機仍須聽從空中交通管制員的指揮。

傳統(tǒng)方法依靠人來完成指令理解和交互過程,即“人在回路”模式[3]?？展軉T將指令發(fā)送至地面站,由地面站的管制席接收指令,駕駛席根據(jù)理解對無人機實施操縱。這種管控方式雖可達到目的,但也存在一些問題。首先,指令要經(jīng)多次傳遞,管控效率較低;其次,大型地面站的無人機操作員面臨多機多任務(wù)并行操作,指令接收頻繁,可能造成混淆和執(zhí)行偏差;最后,空管指令具有專業(yè)性,地面站通常需要配備專業(yè)駕駛員,人力成本高昂,無法進行大規(guī)模推廣。

基于以上原因,無人機亟須具備對指令自動形成可靠認(rèn)知并做出反饋的能力。自然語言接口是自然語言處理的有效應(yīng)用之一,可以在限制領(lǐng)域內(nèi)使用自然語言與計算機形成交互,指控計算機完成特定任務(wù)。

國內(nèi)外對于無人機語言指令控制已有相關(guān)研究。楊百翰大學(xué)的研究人員開發(fā)了基于語音和手持平臺(Personal Digital Assistant,PDA)的無人機控制接口[4],取得了良好的性能,但語音指令集范圍較窄,且不具備自然語言的靈活性。斯坦福大學(xué)語義計算學(xué)實驗室對無人機的自然語言制導(dǎo)進行了研究[5],但語句內(nèi)容偏向于任務(wù)指派,未涉及空管指令。國內(nèi)方面,國防科技大學(xué)的閆曄[6]采用基于任務(wù)領(lǐng)域語法設(shè)計了無人機指令理解系統(tǒng),對任務(wù)級指令的理解準(zhǔn)確率達到82%,但研究同樣僅面向任務(wù)級指令。

以上研究均針對任務(wù)層面,缺乏對無人機飛行過程中的飛行級指令研究,本文將設(shè)計面向動作級英文空管指令的無人機自然語言接口,針對空管指令的特點借助自然語言處理方法設(shè)計了一套分析規(guī)則,并模擬空管交互場景搭建了人機對話所須的對話管理和回復(fù)生成模塊,實現(xiàn)無人機從指令識別、指令執(zhí)行到執(zhí)行反饋的全流程自動化,提升無人機在人因作用環(huán)境中的運行能力,為無人機進入非隔離空域提供關(guān)鍵技術(shù)支撐。

1 自然語言接口框架

自然語言接口是以執(zhí)行飛行任務(wù)為核心的交互系統(tǒng),因此其框架和任務(wù)型對話系統(tǒng)類似,由語音識別、指令解析、對話管理、答復(fù)生成和語音合成5個部分組成[7],如圖1所示。

管制員發(fā)出語音指令經(jīng)語音識別模塊識別為指令文本,指令解析模塊識別指令意圖并提取指令參數(shù),將識別結(jié)果填充到規(guī)定的指令格式中進行格式化,對話管理模塊負(fù)責(zé)維護對話狀態(tài)并與無人機控制程序進行交互,結(jié)合管制指令、執(zhí)行情況和當(dāng)前狀態(tài)確定對話策略,答復(fù)生成模塊依據(jù)策略調(diào)用對應(yīng)模版,最后經(jīng)語音合成反饋給用戶。

在5個模塊中,語音識別和語音合成技術(shù)已較為成熟,能夠滿足系統(tǒng)需求,故不作為本文研究對象。本文重點研究指令解析、對話管理和答復(fù)生成3個部分的實現(xiàn)方案。

2 指令解析

2.1 文本預(yù)處理

要對指令進行理解,首先需要對語音識別得到的文本進行預(yù)處理。預(yù)處理過程主要包括特殊表達轉(zhuǎn)換、詞形還原等步驟。

不同于日常用語,空管指令為避免混淆、保證飛行安全,對數(shù)字和字母的表達有一套特殊規(guī)則。例如,“2121”讀作“too wun too wun”,“12500m”讀作“wun too thousand fife hundred meters”,“ZBAA”讀作“zulu bravo alpha alpha”等。常規(guī)的語音識別系統(tǒng)僅能輸出對應(yīng)文本,不利于后續(xù)的匹配工作。因此,本文按照MH/T4014—2003《空中交通無線電通話用語》[8](簡稱《用語》)的規(guī)定對文本中的特殊表達進行轉(zhuǎn)換。

正則表達式(Regular Expression,RE)是處理字符串的有利工具,可以方便、快速地查詢到與給定模式匹配的字符串。這里編寫能夠匹配上述特殊表達的正則表達式為

pattern=((zero|wun|too|…|niner|dayseemal|hundred|thousand)|(alpha|bravo|charlie|…|yankee|zulu))+

式中:“+”為匹配前面的子表達式一次或多次;“|”為“或”關(guān)系。查找時使用Python中的re.reseach方法查詢符合匹配模式的第1組字符,替換時使用re.sub方法將指定字符串替換為對應(yīng)數(shù)字或字母。需要注意的是,“hundred”替換“00”,而“thousand”應(yīng)根據(jù)文本替換算法框圖進行替換,如圖2所示。

圖2 文本替換算法框圖

英文表達過程中會區(qū)分時態(tài)和語態(tài),但管制員在實際表達時未必嚴(yán)格遵循相關(guān)語法。為方便處理,統(tǒng)一將其還原為對應(yīng)詞根。使用Python中NLTK庫自帶的lemmatize方法對指令文本中每個詞進行處理。詞型還原示例如表1所示。

表1 詞型還原示例

2.2 指令文法設(shè)計

要正確執(zhí)行管制指令,明確指令意圖、獲取指令參數(shù),此過程可以看作對自然語言的理解。目前解決這一問題常用的方法有規(guī)則匹配、句法分析和深度學(xué)習(xí)等[9]?？展苡谜Z作為一種半人工語言,具有結(jié)構(gòu)簡潔、語義精確、語言程式化的特點[10],且《用語》要求飛行員對指令做到準(zhǔn)確理解、快速響應(yīng)。綜合以上分析,這里采用規(guī)則匹配法進行指令解析。

Chomsky定義形式語法G為四元組[11],G=(VT,VN,S,P),VT為終結(jié)符,VN為非終結(jié)符,S為VN中初始符號,P為產(chǎn)生式的規(guī)則集。根據(jù)產(chǎn)生規(guī)則的不同可將形式語法分為4類。當(dāng)P中規(guī)則滿足形式:A→β,其中A∈VN,β∈(VN∪VT)*,稱該文法為2型文法或上下文無關(guān)文法。

通過對大量空管指令的分析和規(guī)律總結(jié),將指令意圖分為20類,如表2所示。

表2 指令意圖分類表

根據(jù)類別分別設(shè)計文法,為保證解析器性能,設(shè)計時應(yīng)盡可能多地考慮該類別的常用語句。例如,高度類指令的文法設(shè)計如下。

Grammar of Height:

::=|

::=(|)

::=(|)

::=

::=air china|china eastern|china southern

::=

::=maintain

::=|

::=(climb|descend) to

::=(climb|descend) to and maintain

::=(||)

::=(|)

::=flight level

::= (meters|feet)

::=

::=

::=

::=

::=()|()|( minutes)

::= (VOR|DME)

::=departure|takeoff|land|vacate

::=1|2|3|4|5|6|7|8|9|0|.

::=A|B|C|D|E|F|G|H|I|J|K|L|M|N|O|P|Q|R|S|T|U|V|W|X|Y|Z

經(jīng)過驗證,本文所設(shè)計的文法可涵蓋空管指令的大部分常用句型,能夠滿足無人機在融合空域的基本管制需求。

2.3 解析方法

建立各類指令的文法之后,對指令的解析實際上可看作確定指令所匹配的文法類別并識別出指令中有意義的非終結(jié)符字段的過程。依據(jù)文法的分析算法很多,大致分為自頂而下分析和自底而上分析2種算法[12]。自底而上算法能夠避免大量回溯,在計算實時性上具有優(yōu)勢,本文借鑒了自底而上的移進—規(guī)約思想設(shè)計匹配算法。

解析算法流程如圖3所示。首先,將指令單詞從左向右依次移入后進先出棧中,每移一次就判斷棧中的單詞組是否構(gòu)成了某個產(chǎn)生式的右部;如果匹配,則將匹配部分出棧,對應(yīng)的產(chǎn)生式左部非終結(jié)符入棧,即為一次規(guī)約操作;隨后繼續(xù)檢查棧中內(nèi)容可否規(guī)約,如無法規(guī)約則重復(fù)上述操作,直到指令提取完畢;此時若棧中僅剩初始符,則該指令匹配成功,類別為初始符代表類,否則,匹配失敗,指令無法識別。

圖3 解析算法流程圖

需要注意的是,在規(guī)約操作前應(yīng)將規(guī)約式右部進行保存,便于有意義規(guī)約式的內(nèi)容提取工作。這里采用分析表的形式進行保存,規(guī)約分析表如表3所示。每進行一次規(guī)約,就取該規(guī)約所包含詞的最小開始位置和最大結(jié)束位置填入。當(dāng)需要提取參數(shù)時,可直接根據(jù)規(guī)約表的位置信息從輸入指令中截取。

表3 規(guī)約分析表

2.4 指令格式化

盡管空管指令的句式措辭較為靈活,但對于具備專業(yè)知識的飛行員來說,所接收到的信息是固定的[13]。實際上,飛行員在潛意識完成了信息的理解和格式化工作。在自然語言接口中,為后續(xù)指令交互及指令碼轉(zhuǎn)換操作方便,需要將自然語言指令的解析結(jié)果格式化地表示出來。這里將規(guī)范格式劃分為兩部分:一是所有指令均需要的執(zhí)行約束部分,決定了指令執(zhí)行的時間、地點和條件,若指令無執(zhí)行約束,則該部分內(nèi)容全部缺省,系統(tǒng)將按默認(rèn)立即執(zhí)行;二是指令參數(shù)部分,這部分設(shè)計需要依據(jù)無人機執(zhí)行不同類別指令實際調(diào)用的控制函數(shù)進行合理選取。需要注意的是,參數(shù)單位應(yīng)和無人機控制系統(tǒng)使用單位相統(tǒng)一。

例如對高度類指令,無人機一般轉(zhuǎn)換為控制端的“高度給定”指令實現(xiàn)。該指令為組合指令,需要目標(biāo)高度值參數(shù)(m),部分型號的無人機還可設(shè)置爬升率或下降率。因此基本指令參數(shù)包括高度值和變化率,此外還需添加一個高度保持的布爾型參數(shù),默認(rèn)為假,當(dāng)指令要求保持時置為真。綜上,高度類格式化指令示例如表4所示。

表4 高度類格式化指令示例

當(dāng)識別出指令所屬類別后,根據(jù)每類指令的規(guī)范化表查找對應(yīng)分析表,截取指令內(nèi)容進行填充。

3 指令交互

3.1 對話管理

對話管理是自然語言交互接口的核心部分,負(fù)責(zé)推動整個交互系統(tǒng)合理、順暢地運行。對話管理模塊一般分為對話狀態(tài)跟蹤和對話策略選擇2個部分[14],對話狀態(tài)跟蹤依據(jù)當(dāng)前用戶的輸入和系統(tǒng)的反饋,結(jié)合歷史對話狀態(tài)確定當(dāng)前的對話狀態(tài);對話策略選擇依據(jù)當(dāng)前的對話狀態(tài),通過預(yù)設(shè)的候選動作集選擇系統(tǒng)的答復(fù)類型或執(zhí)行動作。

對話狀態(tài)跟蹤的方法主要有:基于人工規(guī)則、基于生成式模型和基于判別式模型3類。后兩類方法通過強化學(xué)習(xí)和深度學(xué)習(xí)等算法實現(xiàn)了特征或概率模型的自動提取,還能在一定程度上糾正語音識別和解析模塊的錯誤結(jié)果,在面向日常生活的任務(wù)型對話系統(tǒng)中具有優(yōu)勢。但是,其訓(xùn)練需要大量數(shù)據(jù)集,且狀態(tài)估計具有一定出錯概率,在空管對話這種實時性和準(zhǔn)確性要求較高的場景中并不適用。因此,本文選取基于人工規(guī)則中的有限狀態(tài)機(Finite State Machine,FSM)方法進行對話狀態(tài)更新,并模擬真實空管對話流程加入復(fù)誦機制以避免識別和理解錯誤引發(fā)的執(zhí)行問題。

有限狀態(tài)機用來描述對象在一個生命周期內(nèi)的狀態(tài)序列,以及狀態(tài)間進行轉(zhuǎn)移的動作事件,可以通過狀態(tài)轉(zhuǎn)移圖來進行描述。定義對話狀態(tài)包括:等待狀態(tài)、復(fù)誦狀態(tài)和執(zhí)行狀態(tài)。

對話策略選擇的方法包括:專家手工制訂、強化學(xué)習(xí)和深度強化學(xué)習(xí)等。采用簡單實用的映射方法,每跳轉(zhuǎn)到下一個狀態(tài),就有相應(yīng)的動作被執(zhí)行。其動作包括:指令復(fù)誦、指令轉(zhuǎn)碼和指令回復(fù)等。對話狀態(tài)間的轉(zhuǎn)移關(guān)系和每次轉(zhuǎn)移應(yīng)執(zhí)行的動作如圖4所示。

圖4 對話狀態(tài)轉(zhuǎn)換圖

系統(tǒng)平常處于等待狀態(tài),接收到管制員發(fā)送的指令后進行匹配,如匹配成功則進行復(fù)誦,同時系統(tǒng)進入復(fù)核態(tài),否則視為無效指令,系統(tǒng)狀態(tài)不變;系統(tǒng)復(fù)誦指令后,若管制員發(fā)出無效指令或取消指令,則系統(tǒng)返回等待狀態(tài),若管制員的更改指令有效,則重新匹配、復(fù)誦,直到指令得到確認(rèn)或默認(rèn)(設(shè)定時間內(nèi)無回復(fù)),此時系統(tǒng)將指令翻譯為對應(yīng)的指令碼送入控制端執(zhí)行,系統(tǒng)進入執(zhí)行態(tài);無人機的控制系統(tǒng)判斷執(zhí)行條件后將指令加入執(zhí)行序列或返回錯誤信息,交互系統(tǒng)得到控制端反饋或反饋超時后將執(zhí)行情況報告給管制員,系統(tǒng)回到等待狀態(tài),一次交互周期完成。

3.2 回復(fù)生成

回復(fù)生成模塊是根據(jù)對話管理模塊確定的對話策略,結(jié)合當(dāng)前掌握的指令信息或反饋信息,生成一個句法合法、語義準(zhǔn)確的自然語言回復(fù)語句。目前,常用的生成方法包括:基于規(guī)則模板的方法和基于深度學(xué)習(xí)的方法。空管對話領(lǐng)域固定、內(nèi)容受限、要求回復(fù)精準(zhǔn)簡練,基于規(guī)則模板的方法更為適用。

需要生成的回復(fù)語句主要分為復(fù)誦語句和報告語句。復(fù)誦語句按照格式化指令表生成,分為包含解析結(jié)果的主句部分和包含執(zhí)行條件的狀語部分;報告語句報告指令執(zhí)行情況,例如執(zhí)行失敗則報告原因。每條語句后都應(yīng)依照《用語》規(guī)范加上本機呼號。生成模板以填槽方式給出,經(jīng)判斷后選取適合的模板,在對應(yīng)位置填寫對應(yīng)內(nèi)容即可。回復(fù)模板示例如表5所示。

表5 回復(fù)模板示例

4 實驗驗證

語義解析的準(zhǔn)確率是影響接口系統(tǒng)性能的關(guān)鍵因素。測試時,從每個類別選取20條指令輸入系統(tǒng),根據(jù)系統(tǒng)復(fù)誦結(jié)果進行人工判斷,解析準(zhǔn)確率如圖5所示。

圖5 解析準(zhǔn)確率

從圖5中可以看出,大部分類別的解析準(zhǔn)確率都達到85%以上,approach、hold(air)和departure這3個類別準(zhǔn)確率較低,原因是這3類指令普遍較長,語句較為復(fù)雜且有形式相似參數(shù)的并列情況,導(dǎo)致超出文法匹配范圍或規(guī)約過程中產(chǎn)生歧義。

展示一條指令的解析和交互過程如下。

例如“AT200 contact Beijing control wun wun ait point six when reaching victor yankee kilo.”使用樹結(jié)構(gòu)表示其解析結(jié)果,如圖6所示。交互對話示例如表6所示。

表6 交互對話示例

圖6 解析結(jié)果樹

可以看到,該交互系統(tǒng)對指令做出了正確的解析和回應(yīng),順利完成了無人機的指控任務(wù)。

5 結(jié)束語

研究了面向英文空管指令的自然語言接口,建立了自然語言接口框架并制訂了除語音處理外各部分的實現(xiàn)方案。根據(jù)空管指令的特殊性進行了針對性的預(yù)處理,分類編寫了指令文法并設(shè)計了匹配算法對指令進行解析,將自然語言指令轉(zhuǎn)換為格式化指令表。模擬實際交互場景基于狀態(tài)轉(zhuǎn)移圖設(shè)計了對話管理模塊,并編寫了用于系統(tǒng)回復(fù)的自然語言生成模板。實驗表明,該接口可以滿足空中交通管制的基本交互需求,為無人機進入融合空域奠定了技術(shù)基礎(chǔ)。

下一步工作包括以下3個方面的內(nèi)容。

① 目前,設(shè)計的指令文法對于一些結(jié)構(gòu)復(fù)雜的語句還無法匹配,后續(xù)應(yīng)進行擴充和完善。

② 目前,接口系統(tǒng)中指令格式化和語句生成2個部分都需要根據(jù)不同無人機的特點訂制,普適性和可移植性較差,需要進一步改進。

③ 由于空管指令復(fù)雜的聲學(xué)條件和變化的語言條件[15],針對空管指令的語音識別系統(tǒng)也值得進一步研究。