摘 要: 試驗鑒定改革是美國國防采辦體系改革和美軍數(shù)字化轉型的重要組成。 面對人工智能、 自主等新興技術發(fā)展, 以及多域戰(zhàn)、 全域戰(zhàn)等體系化作戰(zhàn)要求給武器裝備能力交付帶來的試驗鑒定挑戰(zhàn), 美國國防部積極推動試驗鑒定領域的數(shù)字化轉型, 其中一項重要舉措便是提出試驗鑒定即連續(xù)體概念, 以期借助數(shù)字工程理念, 持續(xù)開展試驗策略與鑒定流程優(yōu)化, 進一步提升武器裝備采辦效率與質量。 本文簡述了試驗鑒定即連續(xù)體的發(fā)展情況, 分析研究了其框架內容、 概念內涵, 以及具體實施所需的能力要素, 給出了有關武器裝備試驗鑒定數(shù)字化轉型發(fā)展的啟示。
關鍵詞: 試驗鑒定即連續(xù)體; 數(shù)字化轉型; 數(shù)字工程; 使命任務工程; 系統(tǒng)工程
中圖分類號: TJ760
文獻標識碼: A
文章編號: 1673-5048(2024)05-0034-07
DOI: 10.12132/ISSN.1673-5048.2024.0114
0 引 言
近年來, 大國競爭日趨激烈, 為貫徹落實“第三次抵消戰(zhàn)略”重要舉措, 并應對中俄等潛在對手在人工智能、 自主、 量子計算、 6G等新興技術方面前所未有的加速創(chuàng)新, 美國國防部正在大力推進國防采辦政策制度改革, 特別是試驗與鑒定(T&E)領域的變革轉型。
同時, 數(shù)字工程(DE)的持續(xù)推進, 為試驗鑒定領域變革轉型帶來新的要求和方法, 人工智能、 有人-無人協(xié)同等作戰(zhàn)能力倍增技術和聯(lián)合全域作戰(zhàn)等體系化作戰(zhàn)概念給武器裝備能力交付提出新的要求, 美國國防部推出試驗鑒定即連續(xù)體(T&EaaC, Test and Evaluation as a Continuum)概念, 以期利用數(shù)字工程方法, 促進試驗鑒定與使命任務工程(ME)、 系統(tǒng)工程(SE)的深度融合, 形成貫穿系統(tǒng)全生命周期的連續(xù)且不斷迭代的過程, 推動試驗鑒定數(shù)字化轉型, 以此滿足美軍對于“以相關速度”交付能力的要求[1]。
本文通過系統(tǒng)梳理美國國防部試驗鑒定即連續(xù)體的發(fā)展背景與歷程, 對其主要內容、 概念內涵和實施能力要素進行了分析研究, 并就有關武器裝備試驗鑒定數(shù)字化轉型發(fā)展提出了幾點啟示。
1 T&EaaC發(fā)展背景與歷程
1.1 產生背景
在美國國防采辦活動(特別是重大能力采辦活動)中, 目前試驗鑒定范式的生成和執(zhí)行是以傳統(tǒng)串行過程進行的, 主要通過依次實施承包商試驗(CT)、 研制試驗(DT)和作戰(zhàn)試驗(OT), 來實現(xiàn)系統(tǒng)能力交付。 雖然近年來美軍在裝備采辦流程中持續(xù)推行“左移”策略, 但結合部分承包商試驗、 研制試驗和/或作戰(zhàn)使用要素形成的一體化試驗鑒定(IT&E)在很大程度上也依舊是串行的, 而且仍然需要分別為研制試驗和作戰(zhàn)試驗建立鑒定框架。 因此, 美軍認為, 隨著多域戰(zhàn)、 全域戰(zhàn)等概念提出, 以及人工智能、 自主等新興技術的發(fā)展, 當前的武器裝備試驗鑒定方式存在著一些問題和挑戰(zhàn)。
(1) 從本質上講, 承包商試驗和研制試驗側重于需求驗證, 而作戰(zhàn)試驗則專注于評估任務有效性和適用性。 通常, 作戰(zhàn)試驗在系統(tǒng)研制/開發(fā)后期進行, 這種做法缺乏在項目早期對系統(tǒng)在真實任務場景中性能的考慮和試驗鑒定, 從而造成了某些場景中影響性能的問題過晚暴露。 而當問題出現(xiàn)時, 特別是當系統(tǒng)研制/開發(fā)的技術和組件成熟度較低時, 解決這些問題將變得異常困難。 同
收稿日期: 2024-07-09
作者簡介: 楊濤(1986-), 男, 陜西勉縣人, 高級工程師。
*通信作者: 張毅(1986-), 男, 貴州臺江人, 碩士, 高級工程師。
時, 由于項目規(guī)劃和資金安排通常不包括全面解決投入使用前發(fā)現(xiàn)的重大問題所需的時間和資源, 所以, 為了
在規(guī)定期限內完成交付, 項目往往會調整所需的系統(tǒng)功能或性能指標, 這種做法極大降低了向作戰(zhàn)人員交付能
力的效能。
(2) 目前這種串行的試驗鑒定方式不僅是從有限數(shù)量的資源密集型離散事件中收集有限的信息集, 而且沒有充分考慮在整個研制過程中、 部署與使用保障期間通過持續(xù)學習而不斷演進的人工智能(AI)/機器學習(ML)支持系統(tǒng)。
(3) 系統(tǒng)工程領域通常對系統(tǒng)工程“V”模型以串行方式進行解釋, 這導致試驗方過晚參與到真實任務場景中的系統(tǒng)性能評估, 從而進一步推遲了試驗階段能夠提供的重要反饋信息, 而這些信息正是魯棒系統(tǒng), 尤其是AI/自主系統(tǒng)設計、 開發(fā)和持續(xù)改進所必需的。
為應對日益復雜多變的威脅環(huán)境, 在美國國防部試驗鑒定組織體(Test and Evaluation Enterprise)總體試驗與鑒定戰(zhàn)略指引下, 作戰(zhàn)試驗鑒定局(DOT&E)以問題和挑戰(zhàn)為導向, 開始與各軍種試驗鑒定主管以及國防部長辦公室(OSD)下屬的試驗鑒定組織機構協(xié)調開展試驗鑒定數(shù)字化轉型研究。 其中, 美軍計劃結合數(shù)字工程方法, 將試驗與鑒定工作作為一個連續(xù)體, 集成到系統(tǒng)工程和使命任務工程中, 試驗鑒定即連續(xù)體概念應運而生[1]。
1.2 發(fā)展歷程
航空兵器 2024年第31卷第5期
楊 濤, 等: 美軍試驗鑒定即連續(xù)體概念研究
早在2010年, 時任美國國防部采辦、 技術與后勤副部長, 研制試驗鑒定局(DDT&E)局長Edward R. Greer曾提出一體化試驗鑒定連續(xù)體的設想, 通過將試驗鑒定工作前伸后延, 范圍覆蓋整個研制/開發(fā)和采辦過程, 即從里程碑A(進入技術開發(fā)階段)前的裝備方案分析階段一直到后續(xù)作戰(zhàn)試驗與鑒定(FOT&E)及里程碑C(進入生產與部署階段)后的使用與保障階段, 同時引入系統(tǒng)工程理念, 在組件級研制/開發(fā)中實現(xiàn)良好的系統(tǒng)規(guī)范, 以此來提高承包商研制試驗與鑒定(DT&E)、 政府研制試驗與鑒定和政府作戰(zhàn)試驗與鑒定(OT&E)的效率[2]。 但由于實施成本較高, 缺乏可互操作的數(shù)字工程環(huán)境與工具, 以及缺少統(tǒng)一數(shù)據(jù)策略來支撐整個試驗鑒定階段與采辦壽命周期的完整端到端知識與數(shù)據(jù)共享等因素制約, 轉型發(fā)展緩慢[3]。
2018年, 美國國防部發(fā)布《國防部數(shù)字工程戰(zhàn)略》, 加速推動數(shù)據(jù)整合和共享, 構建了試驗鑒定數(shù)字化轉型的總體依據(jù), 表明美國國防采辦改革的大致方向, 將借助系統(tǒng)工程方法, 促進數(shù)字工程在試驗鑒定中的深化應用[4-6]。 2020年11月, 美國國防部發(fā)布首版試驗與鑒定指示文件DoDI 5000.89指出: “一體化試驗和獨立鑒定是更大的試驗鑒定連續(xù)體的一部分。 ”同時, 結合《國防部數(shù)字工程戰(zhàn)略》要求, DoDI 5000.89指示還要求: “采辦項目要在任務背景下對系統(tǒng)進行數(shù)字表征, 并(盡可能)使用數(shù)字生態(tài)系統(tǒng), 整合權威的模型、 數(shù)據(jù)和試驗工件(如試驗用例、 計劃、 缺陷和結果)來源, 以提高整個一體化試驗鑒定連續(xù)體的效率。 ”因此, 試驗鑒定需要變革并采用數(shù)字工程戰(zhàn)略思想, 以改進建模與仿真校核與驗證(V&V)流程以及整個生命周期內的試驗鑒定評估[7-8]。
2021年5月, 美國空軍發(fā)布“數(shù)字工程的數(shù)字建設規(guī)范”, 概述了試驗鑒定對于數(shù)字工程的重要性, 并強調試驗鑒定必須與數(shù)字工程活動相結合[9]。 與此同時, 美國國防部期望通過對試驗鑒定支撐能力交付的方式進行變革, 建立一種新的試驗鑒定范式, 使試驗鑒定活動在整個能力生命周期內(從使命任務工程最初階段持續(xù)到使用與保障階段)為當前復雜的技術開發(fā)和部署決策提供支持, 以大大增強試驗鑒定在以“相關速度”交付關鍵作戰(zhàn)能力方面的作用[10-11]。 緊接著, 2021年7月, 在國際試驗鑒定協(xié)會(ITEA)第38屆試驗與鑒定年會上, 美國國防部作戰(zhàn)試驗鑒定局和研究與工程副部長辦公室(OUSD(R&E))研制試驗、 鑒定與評估處(DTE&A)首次提及“試驗鑒定即連續(xù)體”一詞, 初步將其闡述為: “所有試驗(測試)都是連續(xù)進行的, 在此過程中, 當前的試驗會根據(jù)先前的試驗結果進行迭代更新和完善[12]。 ”至此, 美國國防部指示DoDI 5000.89中描述的“更大的試驗鑒定連續(xù)體”有了更進一步的發(fā)展和完善。 一體化試驗鑒定的轉型如圖1所示。
2022年6月, 美國國防部作戰(zhàn)試驗鑒定局發(fā)布《2022財年作戰(zhàn)試驗鑒定戰(zhàn)略更新》, 基于《國防部數(shù)字工程戰(zhàn)略》及其數(shù)字工程轉型, 總結提出了試驗鑒定5大戰(zhàn)略支柱, 概述了變革試驗鑒定基礎設施、 流程、 概念、 工具和人才隊伍的愿景, 以跟上技術、 威脅和作戰(zhàn)環(huán)境的快速演變[13-14]。 同年7月, 作為年度戰(zhàn)略更新的積極響應, 針對多域作戰(zhàn)(MDO)對試驗鑒定在自主/人工智能使能、 一體化、 彈性和敏捷等方面的挑戰(zhàn), 為促進試驗鑒定轉型發(fā)展, 充分評估多域作戰(zhàn)環(huán)境中的戰(zhàn)斗能力, 美國國防部研制試驗、 鑒定與評估處再次提出“試驗鑒定即連續(xù)體”概念, 并明確指出試驗鑒定即連續(xù)體概念建立在國防部2018年數(shù)字工程戰(zhàn)略基礎上, 通過使用數(shù)字工程使試驗與鑒定成為系統(tǒng)工程和使命任務工程流程的組成部分, 不僅能支持單個系統(tǒng)的決策, 而且有助于實現(xiàn)國防部能力開發(fā)組合的知情管理[15]。
2023年3月, 美國國防部研制試驗、 鑒定與評估處和美國海軍航空系統(tǒng)司令部(NASC)基于能力的試驗鑒定辦公室正式聯(lián)合發(fā)布“試驗鑒定即連續(xù)體”概念, 明確了“試驗鑒定即連續(xù)體”的三大關鍵屬性內容及三大能力要素, 并建議在復雜系統(tǒng)采辦中實施更加基于風險、 能力驅動和一體化的復雜系統(tǒng)采辦試驗鑒定方法[1, 3]。
2 T&EaaC框架內容
2018年, 美國國防部在數(shù)字工程戰(zhàn)略中, 提出了5個關鍵目標基礎[4]。 2022年, 作戰(zhàn)試驗鑒定局新制定的戰(zhàn)略更新文件中, 總結提出了試驗鑒定5大戰(zhàn)略支柱[12]。 在此基礎上, 依據(jù)戰(zhàn)略目標和支柱衍生出總體框架, 試驗鑒定即連續(xù)體主要構成逐漸清晰[1]。 圖2所示為其總體框架。
如圖2所示, 試驗鑒定即連續(xù)體的主要內容包括: 以能力和結果為中心的試驗; 敏捷、 可擴展的鑒定框架; 增強的試驗設計。 其中, 每個屬性內容對于以“相關速度”交付能力都至關重要。
2.1 以能力和結果為中心的試驗
以能力和結果為中心的試驗又稱“以任務為中心的試驗”, 旨在盡早關注軍事能力在投入使用時的性能表現(xiàn)。 美國國防部認為, 需要在裝備采辦過程中“像作戰(zhàn)一樣進行試驗”, 并確保在承包商試驗和研制試驗期間進行的早期工程和技術驗證試驗能夠提供直接支持最終在作戰(zhàn)試驗的任務環(huán)境中進行性能評估的各種信息。 所有承包商試驗和研制試驗活動與任務的直接結合, 可讓決策者非常清晰地了解整個采辦過程中任務級能力性能, 并能更早洞悉與當前及預計威脅環(huán)境和任務級能力性能相關的風險。 這種任務背景還有助于探究作戰(zhàn)彈性, 例如, 在高度動態(tài)或競爭環(huán)境(包括與網絡空間攻擊造成的不利條件相關的環(huán)境)中作戰(zhàn)期間的彈性。
此外, 以能力和結果為中心的試驗強調盡早關注試驗的彈性, 以便優(yōu)先考慮對試驗結果的響應, 從而確定未來的試驗要求和優(yōu)先級。 例如在賽博域, 美軍已開始將重點從傳統(tǒng)僅關注防范網絡威脅的“控制”方法, 轉向更關注任務背景、 不利影響、 對不利影響的早期識別, 以及更好的恢復能力。 未來, 隨著“需求”背景很可能從離散的關鍵性能參數(shù)和關鍵系統(tǒng)屬性演變?yōu)橥ㄟ^系統(tǒng)模型提供的“系統(tǒng)行為”之一, 連續(xù)試驗過程將實現(xiàn)在基于模型的環(huán)境背景中, 對系統(tǒng)行為進行更快速的評估。
因此, 作為一個重要基礎, 嚴格地執(zhí)行使命任務工程流程將提供有關國防部使命任務及執(zhí)行使命任務所需能力的表征, 從而實現(xiàn)系統(tǒng)需求的識別與更新。 然后, 利用基于模型的系統(tǒng)工程(MBSE)方法, 并使用共享能力表征, 可以對不斷演進的武器系統(tǒng)(包括結合AI/ML的系統(tǒng))進行迭代式的試驗與鑒定。
2.2 敏捷、 可擴展的鑒定框架
隨著數(shù)字工程和試驗鑒定改革的持續(xù)推進, 美軍認為, 當前傳統(tǒng)的鑒定框架開發(fā)工作開始得太晚, 并且要跨科學技術(S&T)、 研制試驗和作戰(zhàn)試驗領域進行整合, 實際效果較差。 要成功解決從使命任務工程到使用與保障階段的整個能力生命周期中的“決策空間”問題, 需要在項目正式啟動之前制定一個基礎性的總體鑒定框架。 新的鑒定框架要持續(xù)更新, 并確定支持決策所需的信息, 以及如何使用使命任務工程、 系統(tǒng)工程和試驗鑒定活動與工具來獲取這些信息。 總體鑒定框架還要具有適應性和可擴展性, 能用于適應性采辦框架的6種路徑, 同時也可以根據(jù)轉為采辦項目之前的科學技術、 原型設計和實驗工作進行剪裁(定制)。 隨著性能信息的積累和項目的成熟, 這種框架將實現(xiàn)對試驗鑒定活動的迭代和持續(xù)優(yōu)化。
按照美軍設想, 總體鑒定框架要包含對建模與仿真和其他對開展試驗鑒定即連續(xù)體至關重要的MBSE元素進行校核、 驗證與確認(VV&A)所需的信息。 應當確定試驗基礎設施, 包括需要獲取所需評估信息的LVC資產, 以盡早明確對跨國防部能力組合的試驗鑒定基礎設施資源的直接需求。 在基于模型的環(huán)境中開發(fā)這種鑒定框架將有利于管理跨子系統(tǒng)、 系統(tǒng), 尤其是體系(SoS)元素的集成復雜性。 而且該框架還將支持管理跨異步開發(fā)的校核與驗證工作。
目前, 這種方法已經應用到敏捷軟件開發(fā)流程, 并且與以能力和結果為中心的試驗相結合, 為決策者提供更多有關設計開發(fā)與威脅環(huán)境是否一致的信息。 其優(yōu)勢在于支持早期投用和原型設計決策, 提高對整體系統(tǒng)彈性的理解, 并更好地了解支持能力交付所需的項目設計和驗證工作的充分性和范圍。
2.3 增強的試驗設計
開發(fā)涵蓋特定能力隨時間演變的一體化試驗策略, 同時考慮高度動態(tài)和競爭性任務環(huán)境, 是試驗鑒定即連續(xù)體的關鍵組成部分。 因此, 以鑒定框架為基礎, 增強的試驗設計將擴展美軍近年來為一體化試驗改革所做的工作, 并更好地支持任務背景下的早期性能評估。
首先, 增強的試驗設計會將VV&A納入整個能力演進或項目生命周期, 并向早期工程和技術驗證試驗提供初始數(shù)據(jù), 為能否實現(xiàn)預期能力結果提供依據(jù)。 還將采用迭代的“設計/試驗/驗證”方法, 全面評估不斷演進的“系統(tǒng)行為”, 使能力開發(fā)工作適應不斷變化的作戰(zhàn)環(huán)境。
其次, 增強的試驗設計還會包括對人-機綜合(HSI)的魯棒性評估, 重點是對作戰(zhàn)人員接受和使用人工智能/機器學習使能系統(tǒng)所需的可信度進行演示驗證。 因為對于美國國防部, 無論是監(jiān)管部門、 采購部門, 還是軍方用戶, 信任是基礎保證。 對于作戰(zhàn)人員來說, 在這種背景下, 人-機系統(tǒng)試驗設計尤其重要。 在實際沖突中, 使用決策幾乎必須是瞬時的, 并且依賴于在使用系統(tǒng)時對系統(tǒng)正確校準的信任。 因此, 信任和團隊合作的指標至關重要。
最后, 增強的試驗設計還會適當結合科學試驗與分析技術(STAT), 以提高試驗效率, 并有利于開展試驗結果的嚴格評估。 貝葉斯統(tǒng)計近年來在這方面受到越來越多的關注, 就是因其提供了一種嚴謹?shù)臄?shù)學方法, 可以將多個來源的預測和不確定性結合起來, 并在一系列試驗活動中進行更新。
3 T&EaaC內涵分析
3.1 概念解析
試驗鑒定即連續(xù)體是將試驗與鑒定從一系列基本上獨立于系統(tǒng)工程活動和使命任務工程活動而進行的活動集合進行有效綜合, 形成的一種基于連續(xù)體的新的綜合性框架。 概念強調試驗鑒定不是一種“一次性”活動, 而是需要貫穿整個系統(tǒng)全生命周期的持續(xù)過程。 從系統(tǒng)工程流程角度來看, 試驗鑒定即連續(xù)體方法將試驗鑒定從主要在系統(tǒng)工程“V”模型右側進行的一組串行活動(如圖3所示), 轉變?yōu)閺摹癡”模型左側就開始的一系列活動(如圖4所示)。 從實際運行角度來看, 基于模型的環(huán)境和相關工具將使系統(tǒng)工程界能夠管理在“V”型連續(xù)體中同時開展的許多復雜活動, 這樣使命任務工程界、 系統(tǒng)工程界和試驗鑒定界就能夠盡早、 持續(xù)地協(xié)同工作, 并對動態(tài)威脅環(huán)境做出快速響應, 最終將圖3所示的傳統(tǒng)“V”型結構變?yōu)閳D4所示的壓縮折疊后的“V”型連續(xù)體結構。
由總體框架內容可知, 執(zhí)行試驗鑒定即連續(xù)體, 會將使命任務工程、 系統(tǒng)工程和試驗鑒定整合為并行、 協(xié)同和聯(lián)合的工作。 通過協(xié)同使用使命任務分解、 相關任務條件以及由使命任務工程生成的相關效能和性能指標, 將使系統(tǒng)工程和試驗鑒定能夠對驗證任務能力所需的設計迭代和試驗活動達成共識, 這種經過驗證的任務能力對于在實際應用中能夠自我學習和調整的智能裝備/系統(tǒng)尤為重要。 此外, 使命任務工程、 系統(tǒng)工程和試驗鑒定組合方法的實施, 能夠更早、 更持續(xù)地關注任務完成而不是需求驗證。 同時, 由于強調系統(tǒng)工程和試驗鑒定之間的共同責任, 這種連續(xù)體方法能使早期系統(tǒng)工程設計權衡和分析利用作戰(zhàn)試驗最終用于驗證任務效能的試驗方法和條件。
對于美國國防部而言, 一方面, 試驗鑒定即連續(xù)體可以提供關于系統(tǒng)在威脅環(huán)境中實際性能的知情風險管理, 使各方能夠更早地了解研制/開發(fā)進展, 并對整個采辦生命周期中的試驗情況和關鍵節(jié)點充滿信心, 確保所需能力如期交付, 以支持作戰(zhàn)人員。 另一方面, 試驗鑒定即連續(xù)體能夠有效應對當前國防系統(tǒng)能力復雜性帶來的風險表征和總體保證改進需求, 這些工作將自然而然地推動傳統(tǒng)系統(tǒng)工程和試驗鑒定活動的整合和交織, 提供超學科、 連續(xù)的流程, 將設計演進與VV&A耦合, 以推動試驗鑒定工作的更科學發(fā)展。
3.2 能力要素分析
為支撐試驗鑒定即連續(xù)體3大關鍵屬性的實施需求, 美國國防部結合數(shù)字工程戰(zhàn)略的5大關鍵目標, 總結提出了實施試驗鑒定即連續(xù)體的3大能力要素, 即魯棒的LVC試驗、 基于模型的環(huán)境和“數(shù)字”人才隊伍。 融合這些能力要素, 可從采辦初期設計階段就提供關于系統(tǒng)性能和風險特征的及時且全面的信息, 從而實現(xiàn)裝備系統(tǒng)快速開發(fā)和部署, 同時為日益復雜的系統(tǒng)和體系提供持續(xù)支持。
3.2.1 魯棒的LVC試驗
鑒于現(xiàn)代作戰(zhàn)系統(tǒng)的復雜性, 美軍最新的理念認為, 試驗鑒定必須向全面涵蓋LVC方法轉型, 其中包括基于模型的試驗。 由于系統(tǒng)復雜性和/或對揭示能力的敏感性, 對某些系統(tǒng)進行真實、 露天試驗面臨著巨大的挑戰(zhàn)。 因此, 增加使用建模與仿真及其他構造性方法對于全面了解系統(tǒng)性能至關重要。 美國國防部將會繼續(xù)發(fā)展和完善其試驗靶場和設施能力, 以建立可涵蓋盡可能多的威脅和作戰(zhàn)環(huán)境頻譜的LVC能力組合, 而這種轉變勢必需要在數(shù)字工程環(huán)境中建立“共享”基礎設施, 圖5所示為整個采辦生命周期內的各種共享能力。
這種轉變的優(yōu)勢之一是能夠進行體系試驗測試, 而這正是支持在全域作戰(zhàn)背景下概念評估的基本要求, 例如聯(lián)合全域指揮與控制(JADC2)評估。 由于組成體系能力的系統(tǒng)為異步開發(fā), LVC框架將顯著提升集成度, 以支持能力驗證, 特別是對于為實現(xiàn)共同目標而協(xié)作的平臺的分布式或多代理AI/ML能力。 與此同時, 這些LVC能力還能用于美軍成功完成全域作戰(zhàn)所需的逼真訓練。 不過, 美國國防部也強調, 日益重視LVC試驗并不意味著會減少對真實、 露天試驗的需求, 以評估關鍵系統(tǒng)性能, 并為建模與仿真VV&A提供支持。 通過適當?shù)腣V&A, LVC試驗勢必會更全面、 更準確地表征系統(tǒng)面對日益復雜的對手進行多域作戰(zhàn)時的能力。
3.2.2 基于模型的環(huán)境
試驗鑒定即連續(xù)體概念指出, 基于模型的環(huán)境是其最關鍵的能力要素。 美國國防部認為, 能力開發(fā)工作的復雜性, 加上增強的試驗設計的復雜性, 都需要數(shù)字骨干和基于模型的方法來管理連續(xù)的試驗鑒定活動, 將其與并行開展的使命任務工程和系統(tǒng)工程活動相結合, 并管理、 整理和分析所有這些活動生成的數(shù)據(jù)。 這種基于模型的環(huán)境將整合敏捷、 可擴展的鑒定框架, 并確保其與所有使命任務工程、 系統(tǒng)工程和試驗鑒定活動的一致性, 從而實現(xiàn)在試驗鑒定采辦生命周期中提供關于建模、 仿真、 數(shù)據(jù)分析、 數(shù)據(jù)共享和使命任務工程-系統(tǒng)工程-試驗鑒定集成的數(shù)字支持。
利用基于模型的環(huán)境, 美國國防部裝備研制將從傳統(tǒng)的“設計-建造-試驗-修復-試驗”(Design-Build-Test-Fix-Test)流程模式過渡到更優(yōu)的“建模-試驗-驗證-設計-試驗”(Model-Test-Validate-Design-Test)流程模式, 提供關于預期任務能力的早期和持續(xù)信息, 避免采用傳統(tǒng)流程時出現(xiàn)較晚發(fā)現(xiàn)能力方面不足等問題。 目前, 美軍正在驗證和使用這種新的擁有一條數(shù)字線索的流程, 通過高保真度“數(shù)字孿生”的潛在開發(fā)來支持使用與保障階段的項目, 從使命任務工程初期開始顯示系統(tǒng)性能建模的進展。 此外, 為了更好地支持試驗鑒定工作, 基于模型的環(huán)境還必須對系統(tǒng)將要運行的聯(lián)合作戰(zhàn)空間進行真實復現(xiàn)。
3.2.3 “數(shù)字”人才隊伍
美國國防部強調, 為了支持基于模型的環(huán)境, 還需要一支掌握“數(shù)字”能力的人才隊伍, 他們需要精通與MBSE、 基于模型的試驗鑒定和其他基于模型的方法相關的流程和工具。 隨著《國防采辦勞動力改進法案》(DAWIA)認證流程和相關職能領域認證的改革, 美軍數(shù)字人才隊伍建設轉型已經初步開始, 美國國防部需要付出更多的努力, 才能在國防部內獲取并發(fā)展有關使用基于模型的方法并行開展使命任務工程、 系統(tǒng)工程、 試驗鑒定連續(xù)體活動所需的技術和管理技能。 此外, 美國國防部指出, 當前的轉型工作并沒有推動更廣泛的系統(tǒng)工程領域內所需的全面集成, 來確保試驗鑒定成為系統(tǒng)工程V&V工作的重要組成部分。 而且, 系統(tǒng)工程“V”模型的“折疊”并不否定良好的普通系統(tǒng)工程實踐, 重大挑戰(zhàn)則在于如何迭代管理這些實踐, 以確保與這種基于模型的新的系統(tǒng)工程“V”模型環(huán)境的動態(tài)、 關聯(lián)性質保持一致。
4 研究啟示
試驗鑒定作為武器裝備能力交付的重要環(huán)節(jié), 在美國國防部推進數(shù)字工程的過程中, 受到格外重視。 在裝備研制能力快速發(fā)展的背景下, 美軍新提出的試驗鑒定即連續(xù)體概念對于當前裝備試驗鑒定的數(shù)字化轉型具有一定啟示。
4.1 重視工程理念融合, 推動試驗鑒定數(shù)字化變革
美國國防部針對當前武器裝備復雜性特點, 開展的此系列舉措, 旨在推動試驗鑒定活動與傳統(tǒng)系統(tǒng)工程的整合和交織, 期望提供超學科、 連續(xù)的流程, 將設計改進與VV&A耦合。 與此同時, 試驗鑒定即連續(xù)體概念所強調的并行、 協(xié)同和聯(lián)合模式, 是“左移”策略的進一步深化, 能夠盡早提供相關任務場景中系統(tǒng)試驗的重要反饋信息, 滿足當前AI/自主等魯棒系統(tǒng)設計開發(fā)和持續(xù)改進的需求。 應當借鑒連續(xù)體這種模式, 加快試驗鑒定數(shù)字化轉型進程, 增強裝備研制風險表征, 促進試驗鑒定前伸后延, 完善生命周期數(shù)據(jù)管理體系, 從而保證裝備系統(tǒng)整體交付能力目標。
4.2 重視基于模型的方法, 提升AI/ML等新興技術的試驗鑒定效能
早在F-22和F-35等裝備研制期間, 美軍就已經進行了大量建模與仿真研究實踐。 近年來, 美國國防部在數(shù)字工程推進和數(shù)字化轉型實施過程中, 持續(xù)深化試驗鑒定數(shù)實結合的總體思路, 不斷強化像作戰(zhàn)一樣試驗的理念, 推動了LVC等基于模型的技術發(fā)展。 隨著未來裝備(如六代機、 蜂群)快速發(fā)展, 人工智能/自主技術已成為核心要素, 使得軟件能力在武器裝備研制中的比重越來越大, 美軍越發(fā)重視軟件能力的試驗鑒定。 據(jù)悉, 美軍軟件工程領域正在通過“軟件采辦路徑”領導實施一種更具迭代性的基于模型的軟件開發(fā)設計/測試方法, 以實現(xiàn)在試驗鑒定采辦生命周期內, 提供連續(xù)體需要的關于建模、 仿真、 數(shù)據(jù)分析、 數(shù)據(jù)共享和使命任務工程-系統(tǒng)工程-試驗鑒定集成的數(shù)字支持。 應當借鑒連續(xù)體這種做法, 加強基于模型的方法的研究與應用, 提升AI/ML賦能的武器系統(tǒng)在跨所有作戰(zhàn)域的綜合環(huán)境中、 在專注于體系構成和更大指數(shù)級攻擊面的任務線程中的試驗鑒定效能, 確保裝備系統(tǒng)管用、 好用。
4.3 重視結合裝備研制實際, 促進試驗鑒定科學發(fā)展
隨著裝備系統(tǒng)復雜度和作戰(zhàn)體系化要求的不斷提升, 2022年6月, 美國國防部作戰(zhàn)試驗鑒定局發(fā)布的《2022財年作戰(zhàn)試驗鑒定戰(zhàn)略更新》, 為試驗鑒定基礎設施、 工具、 流程和人才隊伍的變革制定了路線。 同時, 美國國防部數(shù)字工程工作組專門成立基礎設施團隊來解決基于數(shù)字工程的試驗鑒定自動化問題, 美國空軍也在持續(xù)推進試驗策略與開發(fā)流程改進。 試驗鑒定即連續(xù)體這種系統(tǒng)化方法便是美軍探索之一。 此外, 美國國防部近年來還在推動MBSE、 貝葉斯方法、 超學科技術方法在試驗鑒定中的應用, 并加強了試驗鑒定人員對于基于模型的試驗鑒定等科學方法的培訓學習。 在裝備研制邁向并駕齊驅, 甚至領先超越的過程中, 應當借鑒美軍連續(xù)體發(fā)展思路, 秉持系統(tǒng)科學的發(fā)展理念, 結合數(shù)字化、 體系化、 智能化裝備發(fā)展需要, 加強相關試驗鑒定能力提升方面的基礎研究, 形成一套標準化、 系統(tǒng)化、 科學化的試驗鑒定理論和方法, 從而促進試驗鑒定科學可持續(xù)發(fā)展。
5 結 束 語
隨著數(shù)字工程戰(zhàn)略的持續(xù)推進, 多域作戰(zhàn)概念的日趨成熟, 人工智能/機器學習、 自主等新興技術的快速發(fā)展, 美國國防部認為必須對整體采辦模式進行變革轉型, 要求各軍種結合數(shù)字工程理念持續(xù)開展試驗策略與開發(fā)流程優(yōu)化。 美軍后續(xù)可能將緊跟分布式人工智能和數(shù)字工程技術發(fā)展步伐, 繼續(xù)推動該概念的驗證、 完善和深入應用等工作, 完善試驗環(huán)境的數(shù)字化和LVC能力, 增強鑒定框架的靈活性和擴展性, 提升復雜人工智能系統(tǒng)和多域作戰(zhàn)的試驗鑒定能力, 以期達到試驗鑒定改革效果。
參考文獻:
[1] Collins C, Senechal K. Test and Evaluation as a Continuum[J]. The ITEA Journal, 2023, 44(1): 4-1-4-16.
[2] Greer E R. The Integrated T&E Continuum, the Key to Acquisition Success[J]. The ITEA Journal, 2010, 31(4): 443-446.
[3] Freeman L, Beling P, Esser K, et al. Positioning Test and Evaluation for the Digital Paradigm[J]. The ITEA Journal, 2023, 44(2): 7-1-7-11.
[4] Office of the Deputy Assistant Secretary of Defense for Systems Engineering. DoD Digital Engineering Strategy[R]. Washington: United States Department of Defense, 2018.
[5] 崔艷林, 王巍巍, 王樂. 美國數(shù)字工程戰(zhàn)略實施途徑[J]. 航空動力, 2021 (4): 84-86.
Cui Yanlin, Wang Weiwei, Wang Le. US Digital Engineering Implementation Strategy[J]. Aerospace Power, 2021(4): 84-86. (in Chinese)
[6] 衛(wèi)旭芳, 劉彬. 美軍數(shù)字工程建設發(fā)展研究及啟示[J]. 航空兵器, 2023, 30(3): 56-66.
Wei Xufang, Liu Bin. Research on the Development of US Military Digital Engineering and Its Enlightenment[J]. Aero Weaponry, 2023, 30(3): 56-66.(in Chinese)
[7] Office of the Under Secretary of Defense for Research and Engineering, Office of the Director, Operational Test and Evaluation. DoD Instruction 5000.89, Test and Evaluation[R]. Washington: United States Department of Defense, 2020.
[8] Cortes L A, Wong M K, Cortes-Morales A, et al. Advance M&S in Acquisition T&E [R]. McLean: The MITRE Corporation, 2021.
[9] The Office of the Assistant Secretary of the Air Force. Digital Building Code for Digital Engineering[R]. Washington: Department of the Air Force, 2021.
[10] Bjorkman E, Grigaliunas J. Test and Evaluation-Where the Rubber Meets the Road in Digital Engineering[J]. Defense Acquisition Magazine, 2021, 50(6): 8-14.
[11] DOT&E. 2021 DOT&E Annual Report[R]. Washington: United States Department of Defense, 2022.
[12] Hobson S, Collins C. Transforming T&E to Adequately Assess Warfighting Capability in a Multi-Domain Operational Environment[C]∥1st T&E in a Multi-Domain Operational Environment Workshop, 2021.
[13] DOT&E. DOT&E Strategy Update 2022[R]. Washington: United States Department of Defense, 2022.
[14] Hobson S, Lowe P, Thomas N, et al. Proven Warfighting Capabili-ties Delivered at the Speed of Need[R]. Washington: United States Department of Defense, 2023.
[15] Collins C. Multi-Domain Operations-Initiatives to Enable T&E Evolution[C]∥ITEA’s 2nd Annual Multi-Domain Operations Workshop, 2022.
Research on US Military Test and Evaluation as a Continuum
Yang Tao, Zhang Yi*, Liang Baohua, Li Guole
(Chinese Flight Test Establishment, Xi’an 710089, China)
Abstract: The reform of test and evaluation is a critical component of the US defense acquisition system reform and the digital transformation of the US military. Facing the challenges of test and evaluation brought by the development of emerging technologies such as artificial intelligence and autonomy, as well as the systematic operational requirements like multi-domain warfare and all-domain warfare, to the delivery of weapon equipment capabilities, the US Department of Defense is actively promoting digital transformation in the field of test and evaluation. One of the crucial measures is to put forward the concept of test and evaluation as a continuum, aiming to continuously optimize test strategies and evaluation processes with the help of digital engineering concepts, and further enhance the efficiency and qua-lity of acquiring weapon equipment. This article briefly outlines the development of test and evaluation as a continuum, analyzes its framework content and conceptual implications, discusses the specific capability elements required for implementation, and provides insights into the digital transformation of test and evaluation for weapon equipment.
Key words: test and evaluation as a continuum; digital transformation; digital engineering; mission engineering; systems engineering