楊 建，傅明駒，徐國強(qiáng)

(江蘇自動化研究所 計算機(jī)事業(yè)部，江蘇 連云港 222000)

0 引言

未來戰(zhàn)爭中，戰(zhàn)場認(rèn)知與決策速度將成為戰(zhàn)爭勝負(fù)的決定因素。誰能夠更快地處理戰(zhàn)場信息(感知)、理解態(tài)勢(認(rèn)知)、判斷決策(決策)、執(zhí)行打擊(行動)等任務(wù)，誰就能壓縮OODA任務(wù)周期，從而在對戰(zhàn)中形成與對手的不對稱優(yōu)勢[1]。而人工智能在軍用領(lǐng)域的研究當(dāng)前還處于初級階段，屬于弱人工智能范疇。其對軍用信息系統(tǒng)的智能化分析與輔助能力基本停留在事務(wù)處理和業(yè)務(wù)計算層面，對所處理的信息(如戰(zhàn)場數(shù)據(jù)、作戰(zhàn)分析、態(tài)勢圖生成等)無法實現(xiàn)智能認(rèn)知以及智能輔助決策[2]，無法滿足軍用OODA的需求。此外，在實際軍事應(yīng)用中要想取得對抗優(yōu)勢，必須具備強(qiáng)大的計算能力支撐。因此，需要研究人工智能在軍用領(lǐng)域中基礎(chǔ)軟硬件架構(gòu)所涉及的關(guān)鍵技術(shù)，這對解決人工智能在軍用領(lǐng)域的落地問題和降低人工智能的應(yīng)用門檻具有重要的作用。

本文首先描述了基于深度學(xué)習(xí)技術(shù)的軍用軟硬件架構(gòu)設(shè)計方法，接著介紹了深度學(xué)習(xí)在當(dāng)前軍用領(lǐng)域面臨的問題和挑戰(zhàn)。然后借鑒業(yè)內(nèi)主流的軟硬件基礎(chǔ)架構(gòu)，分析在軍事應(yīng)用中涉及的關(guān)鍵技術(shù)和初步的解決思路。最后提出人工智能開發(fā)平臺、嵌入式邊緣智能計算平臺設(shè)計的基本架構(gòu)。本文的主要目的是分析軟硬件基礎(chǔ)架構(gòu)設(shè)計在軍用領(lǐng)域的可行性，提出軍用人工智能軟硬件架構(gòu)設(shè)計的難點以及解決方法和構(gòu)想。

1 人工智能軟硬件基礎(chǔ)架構(gòu)設(shè)計

人工智能是一門交叉性學(xué)科，當(dāng)前主流的研究方向是機(jī)器學(xué)習(xí)和深度學(xué)習(xí)領(lǐng)域。深度學(xué)習(xí)又被作為機(jī)器學(xué)習(xí)研究中的一個分支，是由HINTON G E等人于2006年提出[3]，其核心實現(xiàn)方式是深度神經(jīng)網(wǎng)絡(luò)。深度神經(jīng)網(wǎng)絡(luò)的發(fā)展需要解決數(shù)據(jù)、算法和算力問題。首先，高效的深度學(xué)習(xí)算法主要是依托計算機(jī)技術(shù)體系架構(gòu)實現(xiàn)，深度學(xué)習(xí)算法通過封裝成軟件框架的方式供開發(fā)者使用。因此，軟件框架是整個人工智能技術(shù)體系的核心，而硬件架構(gòu)是高效實現(xiàn)人工智能應(yīng)用的關(guān)鍵。

圖1所示為基于深度學(xué)習(xí)技術(shù)的人工智能基礎(chǔ)軟硬件全棧示意圖，主要分為以下幾部分：

圖1 基于深度學(xué)習(xí)的人工智能基礎(chǔ)軟硬件架構(gòu)圖

(1)基礎(chǔ)硬件層

基礎(chǔ)硬件層主要是各種架構(gòu)類型的人工智能芯片。深度學(xué)習(xí)需要大量重復(fù)執(zhí)行矩陣乘法、激活函數(shù)和池化等計算過程。通用CPU執(zhí)行重復(fù)計算的性價比較低，需要采用專用的計算芯片。AI計算芯片的架構(gòu)有GPU、FPGA或者ASIC，它們通過把AI中常用函數(shù)計算硬件化來提升硬件計算速度、降低功耗。其中涉及的關(guān)鍵技術(shù)包括指令集、硬件實現(xiàn)方案、異構(gòu)計算框架和編譯器等。考慮到當(dāng)前軍用國產(chǎn)自主安全的需求，可以采用定制化的ASIC來實現(xiàn)自主安全的專用計算硬件電路。

(2)中間表示層

中間表示層主要是深度神經(jīng)網(wǎng)絡(luò)模型編譯器的實現(xiàn)。中間表示層的核心思想借鑒了LLVM，它是底層硬件和軟件框架,以及不同軟件框架之間的橋梁。此中間表示層是解決模型推理側(cè)運(yùn)行在不同硬件平臺的重要描述方法，主要包括NNVM/TVM和TensorFlow XLA兩大陣營。類似的ONNX、NNEF，模型交換格式的核心就是對各種中間層表示的定義。由于谷歌的封閉性，可以采用開源的ONNX實現(xiàn)解決方案。

(3)軟件框架層

軟件框架層是實現(xiàn)深度學(xué)習(xí)算法封裝的關(guān)鍵，為應(yīng)用開發(fā)提供集成軟件工具包。一般包括訓(xùn)練和推理框架兩部分。決定軟件框架易用性的因素是生態(tài)和分布式訓(xùn)練。當(dāng)前生態(tài)最好的云端訓(xùn)練框架是TensorFlow和PyTorch框架，它們同樣支持分布式訓(xùn)練。國內(nèi)百度PaddlePaddle以其豐富的生態(tài)和齊全的功能，成為國產(chǎn)化深度學(xué)習(xí)軟件的首要選型。

(4)基礎(chǔ)應(yīng)用技術(shù)層

當(dāng)前人工智能的商業(yè)化實現(xiàn)主要是基于計算機(jī)視覺、智能語音、自然語言處理等基礎(chǔ)應(yīng)用技術(shù)。其中與軍用領(lǐng)域最類似的是符合OODA環(huán)的無人駕駛技術(shù)。當(dāng)前軍用領(lǐng)域的應(yīng)用問題就是要解決智能信息感知、智能信息融合和智能決策等關(guān)鍵技術(shù)。

(5)平臺任務(wù)層

商業(yè)領(lǐng)域的應(yīng)用任務(wù)常見的有人臉識別、人體姿態(tài)識別、智能視頻分析、智能對話、智能翻譯等。軍用領(lǐng)域的任務(wù)主要是智能輔助決策，包括無人水下掃雷、水下反潛作戰(zhàn)、無人戰(zhàn)斗機(jī)和無人作戰(zhàn)艇以及智能作戰(zhàn)機(jī)器人等[4]。

2 人工智能軟硬件架構(gòu)的關(guān)鍵技術(shù)研究

2.1 深度學(xué)習(xí)軟硬件架構(gòu)面臨的挑戰(zhàn)

目前人工智能系統(tǒng)雖然能夠完成圖像分類、語音識別、自然語言處理和模式識別等任務(wù)，但可能會以人預(yù)測不到的方式失效。失效的原因是當(dāng)前的人工智能系統(tǒng)不具備可解釋性。這在軍用領(lǐng)域，尤其是一些關(guān)鍵任務(wù)執(zhí)行過程是無法容忍的。所以軍用領(lǐng)域需要發(fā)展穩(wěn)健和可靠的人工智能系統(tǒng)。當(dāng)前解決該問題的方法主要分為三類[5]：在建模之前的可解釋性方法；建立本身具備可解釋性的模型；在建模之后使用可解釋性方法對模型作出解釋[6]。其中，第二種是開發(fā)可解釋的神經(jīng)網(wǎng)絡(luò)模型算法。其他兩者是分析數(shù)據(jù)和特征圖，都需要依靠易用的深度學(xué)習(xí)可視化工具，所以在人工智能軟件架構(gòu)中需要重點構(gòu)建可視化工具組件來分析軍用模型的可靠性和可解釋性。該可視化工具的重點應(yīng)是對數(shù)據(jù)、特征圖和每個神經(jīng)元權(quán)重的可視化和追蹤，能夠支持對深度神經(jīng)網(wǎng)絡(luò)模型進(jìn)行基于實例的探索和基于子集的探索。此外，它還可以抽象模型結(jié)構(gòu)并顯示，使用者可以在此基礎(chǔ)上深入分析，在每個模型層或節(jié)點這一層面，對神經(jīng)元激活執(zhí)行局部檢查。為了提升該工具的交互能力，還需要開發(fā)基于Web的工具鏈。

目前的人工智能系統(tǒng)需要手工標(biāo)注非常大的數(shù)據(jù)集，但當(dāng)前軍用領(lǐng)域卻面臨樣本數(shù)量稀少、保密性強(qiáng)、搜集和標(biāo)記困難等問題[7]。當(dāng)前解決小樣本問題的方法主要有兩種：一是產(chǎn)生更多的訓(xùn)練樣本，發(fā)展基于樣本的數(shù)據(jù)增強(qiáng)技術(shù)；二是發(fā)展基于小樣本的深度學(xué)習(xí)算法技術(shù)，如遷移學(xué)習(xí)、few-shot學(xué)習(xí)[8]等。對于數(shù)據(jù)增強(qiáng)可以開發(fā)完整的數(shù)據(jù)預(yù)處理模塊，能夠支持各種數(shù)據(jù)清理和數(shù)據(jù)增強(qiáng)的策略等。而學(xué)習(xí)方式方面則可以依賴深度學(xué)習(xí)訓(xùn)練框架發(fā)展支持專用的工具包，集成各種算法模塊。對于繁瑣的樣本標(biāo)記，本文建議發(fā)展半自動化或自動化的協(xié)同標(biāo)記流程。

另外，當(dāng)前軍用嵌入式硬件平臺異構(gòu)多樣，如何將訓(xùn)練好的模型部署在不同推理框架和硬件之上，并且能保證在異構(gòu)硬件上達(dá)到高效率運(yùn)行，這是軍用人工智能工程落地所必須解決的兩個方面，即可移植性和適應(yīng)性。當(dāng)前的主流解決方法是發(fā)展深度神經(jīng)網(wǎng)絡(luò)模型編譯器及其上下游的工具集，以解決深度學(xué)習(xí)模型部署到多種設(shè)備時可能存在的適應(yīng)性和可移植性問題。

最后，在軍用硬件平臺方面還要解決異構(gòu)集群的分布式訓(xùn)練問題，這是實現(xiàn)高性能訓(xùn)練的關(guān)鍵。所以要構(gòu)建異構(gòu)的計算集群和分布式計算調(diào)度系統(tǒng)。這也是當(dāng)前計算架構(gòu)最難解決的難題。異構(gòu)的計算集群可以兼顧主流的GPU、FPGA、SOC和ASIC等硬件，分布式計算調(diào)度系統(tǒng)能支持細(xì)粒度的拓?fù)涓兄蝿?wù)部署，能夠運(yùn)行在分布式存儲平臺之上?；趪a(chǎn)自主安全的需求，本文建議基于新一代人工智能開源開放平臺(OpenI啟智)打造異構(gòu)設(shè)備管理框架和資源管理系統(tǒng)。

2.2 人工智能軟硬件架構(gòu)的關(guān)鍵技術(shù)

2.2.1 深度學(xué)習(xí)模型壓縮技術(shù)

在計算和存儲資源受限的嵌入式和移動終端設(shè)備上對算法進(jìn)行高性能的實現(xiàn)，最有效的方式就是進(jìn)行模型壓縮和加速。模型壓縮[9]是指利用數(shù)據(jù)集對已訓(xùn)練的模型進(jìn)行精簡，進(jìn)而得到輕量且準(zhǔn)確率相當(dāng)?shù)木W(wǎng)絡(luò)模型，壓縮后的模型具有更小的結(jié)構(gòu)和更少的參數(shù)，可以顯著降低計算和存儲開銷。

深度學(xué)習(xí)模型壓縮方法主要分為更精細(xì)化模型設(shè)計、模型裁剪、核的稀疏化、量化、低秩分解、知識蒸餾(遷移學(xué)習(xí))等方法[10]，而這些方法又可分為前端壓縮和后端壓縮：前端壓縮是不破壞網(wǎng)絡(luò)結(jié)構(gòu)的壓縮技術(shù)，在原有模型上減少filter的數(shù)量或者網(wǎng)絡(luò)的深度等；后端壓縮的目的是盡可能減少模型大小，會對原始網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行極大的改造。

面向訓(xùn)練模型壓縮與優(yōu)化而開展的自動流程化工具設(shè)計，主要包括模型壓縮/加速算法組件以及超參數(shù)優(yōu)化組件兩部分。以騰訊開源的PocketFlow為例，其主要提供通道剪枝組件、權(quán)重稀疏化組件、權(quán)重量化組件、網(wǎng)絡(luò)蒸餾組件、多GPU訓(xùn)練組件以及超參數(shù)優(yōu)化組件，通過不同算法組件的有效結(jié)合，能夠?qū)崿F(xiàn)精度損失更小、自動化程度更高的深度學(xué)習(xí)模型的壓縮與加速。

2.2.2 深度學(xué)習(xí)編譯器構(gòu)建技術(shù)

傳統(tǒng)編譯器缺少對深度學(xué)習(xí)算法基礎(chǔ)算子的優(yōu)化，且對人工智能多種異構(gòu)的計算芯片適配缺失。目前主要是在傳統(tǒng)編譯器架構(gòu)的基礎(chǔ)上進(jìn)行擴(kuò)展，來解決人工智能底層計算芯片與上層軟件框架的適配優(yōu)化問題。例如英偉達(dá)的CUDA編譯器，英特爾的nGraph以及華盛頓大學(xué)的NNVM/TVM編譯器都是按照這個思想，參考LLVM體系架構(gòu)設(shè)計的。

以NNVM/TVM編譯器為例，其能夠直接從多個深度學(xué)習(xí)前端框架將工作負(fù)載編譯成為優(yōu)化的機(jī)器代碼，也能在高層圖中間表示(IR)中表示和優(yōu)化普通的深度學(xué)習(xí)工作負(fù)載，還能為不同的硬件后端轉(zhuǎn)換計算圖、最小化內(nèi)存占用、優(yōu)化數(shù)據(jù)分布、融合計算模式。NNVM編譯器是基于TVM堆棧中的兩個組件：NNVM用于生成計算圖，TVM用于映射張量運(yùn)算。

如圖2所示，從TVM的概覽可以看出，其具體工作流程如下：

(1)TensorFlow、PyTorch等前端學(xué)習(xí)框架的模型先轉(zhuǎn)化計算圖IR，主要由NNVM組件完成；

(2)對原計算圖IR進(jìn)行計算圖優(yōu)化(包括操作融合、內(nèi)存分配優(yōu)化)，得到優(yōu)化后的計算圖;

(3)對計算圖中的每個op獲取用張量表達(dá)語言描述的Tensor計算表達(dá)式，并針對所需的硬件平臺，選擇最小計算原語(primitives)生成具體的schedule(定義怎樣調(diào)度底層硬件)，該步驟由TVM組件完成；

(4)使用某種基于機(jī)器學(xué)習(xí)的Automated Optimizer生成經(jīng)過優(yōu)化的Low Level Loop Program；

(5)最后即可生成特定于硬件設(shè)備的二進(jìn)制程序，進(jìn)一步生成可以部署的module。

當(dāng)前主流方案都一致采用了Graph IR+Tensor IR兩層優(yōu)化結(jié)構(gòu)。這是解決軟件框架移植和硬件優(yōu)化實現(xiàn)的核心。此外，當(dāng)前工程應(yīng)用的訓(xùn)練模型都是按照IR層的規(guī)定進(jìn)行表達(dá)和存儲，IR是編譯器用來表示源碼的數(shù)據(jù)結(jié)構(gòu)或代碼。擴(kuò)充性能的中間表示層是打通深度學(xué)習(xí)計算中多種不同前端訓(xùn)練軟件框架和多種不同后端表達(dá)的橋梁，它可以解決框架間的可移植性問題。當(dāng)前開源的ONNX具有良好的生態(tài)，可以作為人工智能中間件的首選。

圖2 NNVM/TVM系統(tǒng)概覽圖

2.2.3 深度學(xué)習(xí)樣本增強(qiáng)技術(shù)

在很多軍事場景中，往往難以找到充足的數(shù)據(jù)來完成任務(wù)，只能擴(kuò)充數(shù)據(jù)集或?qū)?shù)據(jù)集進(jìn)行增強(qiáng)[11]。數(shù)據(jù)增強(qiáng)的目的是讓有限的數(shù)據(jù)產(chǎn)生更多的等價數(shù)據(jù)。數(shù)據(jù)增強(qiáng)分為有監(jiān)督的數(shù)據(jù)增強(qiáng)和無監(jiān)督的數(shù)據(jù)增強(qiáng)兩類[12]。其中有監(jiān)督的數(shù)據(jù)增強(qiáng)又可以分為單樣本數(shù)據(jù)增強(qiáng)和多樣本數(shù)據(jù)增強(qiáng)方法，無監(jiān)督的數(shù)據(jù)增強(qiáng)分為生成新的數(shù)據(jù)和學(xué)習(xí)增強(qiáng)策略兩個方向。

因為有監(jiān)督的數(shù)據(jù)增強(qiáng)是利用研究者的經(jīng)驗來設(shè)計規(guī)則，存在兩個比較明顯的問題：其一，沒有考慮不同任務(wù)的差異性；其二，數(shù)據(jù)增強(qiáng)的多樣性和質(zhì)量仍然不夠好。因此無監(jiān)督的數(shù)據(jù)增強(qiáng)方法逐漸開始被研究者重視，主要包括兩類：

(1)通過模型學(xué)習(xí)數(shù)據(jù)的分布，隨機(jī)生成與訓(xùn)練數(shù)據(jù)集分布一致的圖片，代表方法是生成對抗網(wǎng)絡(luò)GAN[13]。

(2)通過模型學(xué)習(xí)出適合當(dāng)前任務(wù)的數(shù)據(jù)增強(qiáng)方法，代表方法是Google的Auto Augment[14]，基本思路是使用增強(qiáng)學(xué)習(xí)從數(shù)據(jù)本身尋找最佳圖像變換策略，對于不同的任務(wù)學(xué)習(xí)不同的增強(qiáng)方法。

軍用數(shù)據(jù)增強(qiáng)未來的發(fā)展方向就是把目標(biāo)數(shù)據(jù)集尋找最有效的數(shù)據(jù)增強(qiáng)策略這一過程自動化，并且學(xué)習(xí)到的策略具有一定的可移植性。

2.3 一站式人工智能開發(fā)平臺

針對當(dāng)前對軍用數(shù)據(jù)集搜集困難、訓(xùn)練標(biāo)記門檻高、開發(fā)周期時間長等問題，需要構(gòu)建一站式人工智能開發(fā)平臺。該開發(fā)平臺設(shè)計的基本架構(gòu)如圖3所示。

圖3 一站式人工智能開發(fā)平臺

首先，底層能夠支持異構(gòu)計算平臺，可以進(jìn)行大規(guī)模分布式訓(xùn)練；擁有分布式高性能通信庫，能夠做到高性能吞吐；支持分布式數(shù)據(jù)，能夠同時支持模型和數(shù)據(jù)并行；可以容器化部署和運(yùn)維，能夠快速移植。

在深度學(xué)習(xí)框架方面需要支持主流的訓(xùn)練框架，如TensorFlow、PyTorch和PaddlePaddle等，還可以預(yù)留框架接口，添加自定義的訓(xùn)練框架等。

在訓(xùn)練過程中，主要分為數(shù)據(jù)的預(yù)處理、算法開發(fā)、模型訓(xùn)練等。在模型推理階段涉及模型的評測、模型庫管理以及模型的部署。

首先數(shù)據(jù)處理是當(dāng)前軍用領(lǐng)域面臨的第一個問題，數(shù)據(jù)準(zhǔn)備與標(biāo)注會占整個開發(fā)流程一半以上的時間，因此需要將其自動或半自動化。數(shù)據(jù)處理框架包含數(shù)據(jù)采集、數(shù)據(jù)篩選、數(shù)據(jù)增強(qiáng)、數(shù)據(jù)標(biāo)注、數(shù)據(jù)集版本管理功能，支持自動化和半自動化的數(shù)據(jù)篩選、多種數(shù)據(jù)增強(qiáng)策略、自動化的數(shù)據(jù)預(yù)標(biāo)注及輔助自動化標(biāo)注工具。基于該框架可以實現(xiàn)數(shù)據(jù)標(biāo)注全流程處理，大大提高開發(fā)效率。

算法開發(fā)服務(wù)應(yīng)該支持所有主流的AI算法框架，兼容傳統(tǒng)機(jī)器學(xué)習(xí)算法，并能夠提供在線交互的算法開發(fā)環(huán)境。除此之外，還要預(yù)置常用的機(jī)器學(xué)習(xí)和深度學(xué)習(xí)算法模板。模型訓(xùn)練階段最繁瑣的工作就是模型的超參數(shù)調(diào)優(yōu)過程，所以應(yīng)該建立模型參數(shù)的自動調(diào)優(yōu)服務(wù)，這是實現(xiàn)自動深度學(xué)習(xí)的關(guān)鍵技術(shù)之一。

在模型推理和部署階段，能夠支持模型評測服務(wù)，支持模型庫的管理功能。在部署方面能支持在線推理服務(wù)，結(jié)合平臺的端云協(xié)同能力，也能一鍵部署到邊緣和終端設(shè)備上。在部署端側(cè)過程中需要解決上文所提到的深度學(xué)習(xí)編譯器構(gòu)建和模型壓縮等關(guān)鍵技術(shù)。

2.4 嵌入式邊緣智能開發(fā)平臺

一站式開發(fā)平臺主要是以面向數(shù)據(jù)中心的訓(xùn)練為主，在嵌入式端應(yīng)用進(jìn)行模型部署還需要一個面向邊緣的智能計算平臺。該平臺分為輕量級開發(fā)和模型推理部署兩部分。它首先需要支持一站式開發(fā)平臺已訓(xùn)練模型的部署，解決軟硬件框架的關(guān)鍵就是構(gòu)建模型中間表示層。

以靈活的FPGA為例，硬件架構(gòu)利用DNN加速設(shè)計實現(xiàn)神經(jīng)網(wǎng)絡(luò)加速計算。軟件棧是根據(jù)自動化模型壓縮流程設(shè)計的相關(guān)工具集。如圖4所示，嵌入式邊緣智能計算平臺核心部分主要是模型的深度壓縮工具，包括模型剪枝和優(yōu)化工具、模型量化工具，提供剪枝和定點化運(yùn)算；神經(jīng)網(wǎng)絡(luò)編譯器，主要是將神經(jīng)網(wǎng)絡(luò)算法編譯為可運(yùn)行的指令流；運(yùn)行時工具，是運(yùn)行時支持環(huán)境，負(fù)責(zé)神經(jīng)網(wǎng)絡(luò)的加載、資源管理、調(diào)度。

圖4 嵌入式邊緣智能計算平臺

作為部署和推理平臺可以集成到一站式AI開發(fā)平臺上。算法框架層以輕量級推理框架為主，可以看做是訓(xùn)練框架的精簡版，一般只用來做推理，不考慮訓(xùn)練。最后，將算法平臺集成到應(yīng)用系統(tǒng)，支撐智能無人平臺的計算需求。

3 結(jié)束語

本文首先描述了基于深度學(xué)習(xí)技術(shù)的人工智能基礎(chǔ)軟硬件架構(gòu)組成，從數(shù)據(jù)、算力和算法論證了人工智能軟硬件在軍用領(lǐng)域的潛在選擇。考慮到后期自主安全的要求，在硬件層選用國產(chǎn)指令架構(gòu)的ASIC芯片；在模型中間表示層選擇開源并且生態(tài)良好的ONNX作為模型交換格式；在軟件框架層前期使用TensorFlow框架為主，后期傾向于使用生態(tài)逐漸發(fā)展的百度Paddle框架進(jìn)行替換。接著，簡要分析了人工智能在軍用領(lǐng)域面臨的問題及解決思路，分析了軟硬件架構(gòu)中的關(guān)鍵技術(shù)和初步解決方案。最后，提出了適合軍用領(lǐng)域的一站式開發(fā)平臺和嵌入式邊緣智能計算平臺的架構(gòu)設(shè)計思路。結(jié)合軍用智能化、無人自主化的需求說明建立兩者的必要性。人工智能基礎(chǔ)軟硬件架構(gòu)需要解決的問題還非常多，但未來軍用智能化計算的進(jìn)程需要以此為基礎(chǔ)。