侯立鋒

（民航河北空管分局，河北 正定050802）

從用戶角度探討空管自動(dòng)化系統(tǒng)軟件測(cè)試

Discussion on ATC System Software Testing from The Perspective of The User

侯立鋒

（民航河北空管分局，河北 正定050802）

0 引言

空管自動(dòng)化系統(tǒng)（以下簡(jiǎn)稱自動(dòng)化系統(tǒng)）直接面向管制員，為管制員提供監(jiān)視信息、飛行計(jì)劃信息，以及各種告警服務(wù)，是最重要的空管設(shè)備之一。在現(xiàn)實(shí)中，自動(dòng)化廠商將大部分的投入都用在了軟件開(kāi)發(fā)上，對(duì)于支持系統(tǒng)運(yùn)行的硬件，包括：服務(wù)器、工作站、網(wǎng)絡(luò)設(shè)備、記錄儀、GPS授時(shí)設(shè)備、傳輸設(shè)備等，基本上都是直接采購(gòu)現(xiàn)成的貨架產(chǎn)品，由此可見(jiàn)，只有空管自動(dòng)化系統(tǒng)軟件才能體現(xiàn)空管自動(dòng)化系統(tǒng)的核心價(jià)值。

隨著自動(dòng)化系統(tǒng)在空管系統(tǒng)應(yīng)用越來(lái)越廣泛，其軟件質(zhì)量的優(yōu)劣也日益受到人們的重視。質(zhì)量不佳的自動(dòng)化軟件產(chǎn)品不僅會(huì)增加使用和維護(hù)費(fèi)用，還可能影響飛行安全，甚至造成災(zāi)難性的后果。軟件測(cè)試是軟件生命周期中一項(xiàng)非常重要且非常復(fù)雜的工作，對(duì)軟件質(zhì)量的保證具有極其重要的意義。

本文將站在用戶角度，分析探討如何在工廠驗(yàn)收和現(xiàn)場(chǎng)驗(yàn)收時(shí)，提高用戶的參與度，讓軟件測(cè)試工作覆蓋更全面，盡可能多的發(fā)現(xiàn)自動(dòng)化系統(tǒng)軟件隱藏的錯(cuò)誤，為自動(dòng)化系統(tǒng)正式投產(chǎn)運(yùn)行把好軟件測(cè)試關(guān)。

1 軟件測(cè)試基礎(chǔ)

1.1 什么是軟件測(cè)試

軟件測(cè)試是為了發(fā)現(xiàn)錯(cuò)誤而執(zhí)行程序的過(guò)程?；蛘哒f(shuō)，軟件測(cè)試是根據(jù)軟件開(kāi)發(fā)各階段的規(guī)格說(shuō)明和程序的內(nèi)部結(jié)構(gòu)而精心設(shè)計(jì)一批測(cè)試用例（即輸入數(shù)據(jù)及其預(yù)期的輸出結(jié)果），并利用這些測(cè)試用例去運(yùn)行程序，以發(fā)現(xiàn)程序錯(cuò)誤的過(guò)程。

1.2 軟件測(cè)試的目的和方法

1.2.1 軟件測(cè)試的目的

Grenford J.Myers就軟件測(cè)試目的提出以下觀點(diǎn)：

1）測(cè)試是程序的執(zhí)行過(guò)程，目的在于發(fā)現(xiàn)錯(cuò)誤；

2）一個(gè)好的測(cè)試用例在于能發(fā)現(xiàn)至今未發(fā)現(xiàn)的錯(cuò)誤；

3）一個(gè)成功的測(cè)試是發(fā)現(xiàn)了至今未發(fā)現(xiàn)的錯(cuò)誤的測(cè)試。

1.2.2 軟件測(cè)試方法

在軟件的測(cè)試過(guò)程中，應(yīng)該應(yīng)用各種測(cè)試方法，以保證產(chǎn)品有一個(gè)較高較穩(wěn)定的質(zhì)量。根據(jù)不同的生產(chǎn)過(guò)程進(jìn)行不同的測(cè)試，包括黑盒測(cè)試、白盒測(cè)試、功能測(cè)試、系統(tǒng)測(cè)試、壓力測(cè)試、安裝/卸載測(cè)試、兼容性測(cè)試、α測(cè)試、β測(cè)試等 。

在工廠驗(yàn)收（相當(dāng)于α測(cè)試）、現(xiàn)場(chǎng)驗(yàn)收（相當(dāng)于 β測(cè)試）的測(cè)試活動(dòng)中,主要測(cè)試對(duì)象都是功能已經(jīng)完成,即將要交付或者發(fā)布的軟件,所以大多是通過(guò)黑盒法來(lái)進(jìn)行功能、性能等各種測(cè)試。黑盒法中的一些典型方法,如等價(jià)分類法、邊界值分析法、錯(cuò)誤推測(cè)法、因果圖以及狀態(tài)轉(zhuǎn)換圖等方法。

2 自動(dòng)化系統(tǒng)軟件測(cè)試現(xiàn)狀

2.1 用戶對(duì)軟件測(cè)試工作專業(yè)知識(shí)欠缺，在與廠家共同做軟件測(cè)試時(shí)，處于弱勢(shì)一方，往往依賴于廠家的提供的測(cè)試方案和標(biāo)準(zhǔn)。

目前用戶參與到自動(dòng)化系統(tǒng)軟件測(cè)試工作，是從工廠驗(yàn)收測(cè)試開(kāi)始的。自動(dòng)化系統(tǒng)廠商按照與客戶談好的需求規(guī)格說(shuō)明書(shū)，完成自動(dòng)化系統(tǒng)軟件開(kāi)發(fā)和測(cè)試。在軟件出廠前，廠家會(huì)邀請(qǐng)用戶代表到工廠，完成工廠驗(yàn)收，以確認(rèn)開(kāi)發(fā)的軟件是否是用戶需要的產(chǎn)品，并按照客戶意見(jiàn)，修改軟件。之后，廠家會(huì)將自動(dòng)化系統(tǒng)安裝到客戶現(xiàn)場(chǎng)。自動(dòng)化系統(tǒng)調(diào)試完成后，自動(dòng)化系統(tǒng)廠家和客戶以及其他相關(guān)方會(huì)一起完成現(xiàn)場(chǎng)驗(yàn)收。在系統(tǒng)驗(yàn)收時(shí)，測(cè)試方案由自動(dòng)化廠家提供。按照自動(dòng)化廠家提供的測(cè)試用例（這些用例廠家已測(cè)試多遍）在真實(shí)環(huán)境下驗(yàn)證一遍就算通過(guò)，現(xiàn)場(chǎng)驗(yàn)收只是對(duì)廠家測(cè)試用例的簡(jiǎn)單重復(fù)，用戶未能對(duì)軟件測(cè)試工作提供新的幫助。

2.2 某廠家現(xiàn)場(chǎng)考核測(cè)試方案舉例

2.2.1 測(cè)試目的和依據(jù)

依據(jù)軟件需求規(guī)格說(shuō)明書(shū)，在真實(shí)環(huán)境下，驗(yàn)證自動(dòng)化系統(tǒng)功能的正確性。

2.2.2 測(cè)試方案總體結(jié)構(gòu)和測(cè)試用例分布

某自動(dòng)化廠家的現(xiàn)場(chǎng)考核測(cè)試方案，該方案分為8個(gè)部分，共320個(gè)測(cè)試用例，具體如下:雷達(dá)數(shù)據(jù)處理（43），飛行數(shù)據(jù)處理功能（54），人－機(jī)界面和人－機(jī)對(duì)話功能（90）；記錄、重演（14），技術(shù)監(jiān)控功能（25），數(shù)據(jù)庫(kù)管理（19），飛行數(shù)據(jù)操作席（62），性能指標(biāo)（31）。在功能、性能測(cè)試的同時(shí)，系統(tǒng)連續(xù)運(yùn)行72小時(shí)，進(jìn)行可靠性考核。系統(tǒng)通過(guò)可靠性考核驗(yàn)證。

2.2.3 系統(tǒng)錯(cuò)誤等級(jí)分類

1）第1級(jí)錯(cuò)誤（嚴(yán)重錯(cuò)誤）：不能完全滿足系統(tǒng)基本要求或系統(tǒng)正常運(yùn)行，導(dǎo)致系統(tǒng)癱瘓或危及人員安全的錯(cuò)誤并且不存在合理的、可以變通解決的辦法（重新裝入或重新啟動(dòng)該系統(tǒng)不屬于變通解決辦法）。

2）第2級(jí)錯(cuò)誤（一般錯(cuò)誤）：不利于完全滿足系統(tǒng)基本要求或系統(tǒng)正常運(yùn)行，但卻存在合理的、可以變通解決的辦法（重新裝入或重新啟動(dòng)該系統(tǒng)不屬于變通解決辦法）。

3）第3級(jí)錯(cuò)誤（輕微錯(cuò)誤）：不影響系統(tǒng)要求的滿足或基本功能的實(shí)現(xiàn)，但操作不方便。

2.2.4 考核測(cè)試通過(guò)標(biāo)準(zhǔn)

1）沒(méi)有1級(jí)錯(cuò)誤；

2）2級(jí)錯(cuò)誤不多于3個(gè)；

3）3級(jí)錯(cuò)誤不多于12個(gè)；

4）針對(duì)系統(tǒng)考核還需驗(yàn)證對(duì)需求的覆蓋程度：

5）每個(gè)系統(tǒng)功能至少被一個(gè)測(cè)試用例覆蓋；

6）覆蓋期望的系統(tǒng)性能需求；

7）覆蓋所有外部接口；

8）覆蓋100%的系統(tǒng)主流程（根據(jù)用戶需求）；

9）主流程、主要功能至少被2個(gè)測(cè)試用例覆蓋。

廠家的測(cè)試方案很專業(yè)，也很正規(guī)，具備包括測(cè)試目的、測(cè)試依據(jù)、測(cè)試方法（測(cè)試用例）、錯(cuò)誤等級(jí)定義、考核通過(guò)標(biāo)準(zhǔn)等全部要素，可操作性很強(qiáng)。測(cè)試用例基本覆蓋了系統(tǒng)主流程的功能模塊，測(cè)試用例的數(shù)量分布相對(duì)合理，是一個(gè)不錯(cuò)的測(cè)試方案。

2.3 廠家測(cè)試方案的不足

2.3.1 觀察測(cè)試角度存在局限性

目前有兩種需用戶參與的測(cè)試。一個(gè)是工廠測(cè)試，一個(gè)是現(xiàn)場(chǎng)測(cè)試。當(dāng)軟件開(kāi)發(fā)完成，自動(dòng)化廠商搭建模擬測(cè)試環(huán)境，邀請(qǐng)用戶完成出廠測(cè)試。另一種是在用戶現(xiàn)場(chǎng)，當(dāng)系統(tǒng)安裝調(diào)試完成后，在真實(shí)的環(huán)境下完成的現(xiàn)場(chǎng)驗(yàn)收測(cè)試。這兩種測(cè)試均為廠家提供測(cè)試方案?？展茏詣?dòng)化系統(tǒng)是一個(gè)非常復(fù)雜的軟件系統(tǒng)，測(cè)試方案僅站在開(kāi)發(fā)者角度編制，觀察測(cè)試角度存在局限性。

2.3.2 廠家的測(cè)試方案存在覆蓋盲點(diǎn)

盡管廠家提供的測(cè)試方案，已涵蓋絕大部分功能，但再好的測(cè)試方案，也很難覆蓋全部測(cè)試要點(diǎn)，存在覆蓋盲點(diǎn)。下面的案例很好的說(shuō)明了這一點(diǎn)。

2015年12月4日18:45，飛服通報(bào)某航班落地，主用系統(tǒng)自動(dòng)拍發(fā)落地報(bào)不成功，人工補(bǔ)發(fā)。維護(hù)人員發(fā)現(xiàn)系統(tǒng)提示不能找到收?qǐng)?bào)地址，檢查收?qǐng)?bào)地址庫(kù)數(shù)據(jù)無(wú)缺失。事后查明，因現(xiàn)用收?qǐng)?bào)地址條數(shù)（1011）已超出系統(tǒng)容量（1000）限制，排在容量之外的收?qǐng)?bào)地址將被棄用，導(dǎo)致發(fā)報(bào)時(shí)不能找到收?qǐng)?bào)地址，發(fā)送不成功。

現(xiàn)場(chǎng)考核測(cè)試方案中涉及收?qǐng)?bào)地址庫(kù)的測(cè)試用例只有一條，該測(cè)試用例僅驗(yàn)證了收?qǐng)?bào)地址庫(kù)的增加、刪除、修改功能，并沒(méi)有覆蓋收?qǐng)?bào)地址庫(kù)的容量測(cè)試。收?qǐng)?bào)地址庫(kù)1000條的容量限制隱患被保留下來(lái)，自動(dòng)化系統(tǒng)頭幾年工作運(yùn)行都正常，幾年后，隨著航班量的增加，收?qǐng)?bào)地址條目超過(guò)1000條，1000條以外的地址被認(rèn)為無(wú)效地址，導(dǎo)致系統(tǒng)自動(dòng)派發(fā)起飛報(bào)/落地報(bào)功能異常。

3 完善自動(dòng)化系統(tǒng)軟件測(cè)試方案的建議

3.1 自動(dòng)化系統(tǒng)要符合民航規(guī)章標(biāo)準(zhǔn)

2010年民航出臺(tái)了 《民用航空空中交通管制自動(dòng)化系統(tǒng)配置規(guī)范》MH/T4029.1-2010，2012年出臺(tái)了《民用航空空中交通管制自動(dòng)化系統(tǒng)技術(shù)規(guī)范》MH/T4029.2-2012，兩個(gè)重要規(guī)范性文件。2012年以后建設(shè)的自動(dòng)化系統(tǒng)，在現(xiàn)場(chǎng)驗(yàn)收時(shí)，用戶一定要按照上述規(guī)章標(biāo)準(zhǔn)，檢查所建自動(dòng)化系統(tǒng)是否符合規(guī)章要求。當(dāng)然在項(xiàng)目前期的需求規(guī)格說(shuō)明書(shū)中一定注明所建自動(dòng)化系統(tǒng)應(yīng)符合民航規(guī)章要求。

3.2 雇傭第三方軟件測(cè)試機(jī)構(gòu)設(shè)計(jì)測(cè)試用例

前文提到用戶對(duì)于軟件測(cè)試相關(guān)技術(shù)不熟悉，致使不會(huì)設(shè)計(jì)測(cè)試用例，可以聘請(qǐng)第三方軟件機(jī)構(gòu)，根據(jù)軟件需求規(guī)格說(shuō)明書(shū)，站在第三方角度，采用黑盒測(cè)試方法（例如控件測(cè)試法、邊界值分析法，等價(jià)類劃分法，性能指標(biāo)法等），協(xié)助用戶設(shè)計(jì)測(cè)試用例。這樣可以讓測(cè)試工作更完善。

3.3 聘請(qǐng)空管業(yè)內(nèi)專家參與測(cè)試

空管一體化后，各個(gè)空管單位之間的聯(lián)系加強(qiáng)，對(duì)于初次建設(shè)空管自動(dòng)化系統(tǒng)的單位，可以邀請(qǐng)其他單位有經(jīng)驗(yàn)的業(yè)內(nèi)專家，參與現(xiàn)場(chǎng)驗(yàn)收測(cè)試。

3.4 參考空管積累的經(jīng)驗(yàn)補(bǔ)充測(cè)試用例

3.4.1 敏感時(shí)間節(jié)點(diǎn)測(cè)試

某空管自動(dòng)化系統(tǒng)，每天早晨8點(diǎn)（北京時(shí)間）會(huì)刪除24小時(shí)前的計(jì)劃，廠家設(shè)計(jì)軟件時(shí)正處于閏年，故此將系統(tǒng)2月份計(jì)劃結(jié)算天數(shù)設(shè)為29天。這個(gè)缺陷非常隱蔽，工廠驗(yàn)收河現(xiàn)場(chǎng)驗(yàn)收均未能發(fā)現(xiàn)。系統(tǒng)投入使用后，第二年剛好為平年，2月份變成只有28天。系統(tǒng)仍然按照29天結(jié)算，導(dǎo)致結(jié)算天數(shù)比正常時(shí)間多一天，根據(jù)系統(tǒng)設(shè)置，若航班計(jì)劃實(shí)際執(zhí)行時(shí)間與系統(tǒng)推算執(zhí)行時(shí)間相差24小時(shí)，系統(tǒng)將自動(dòng)刪除該航班計(jì)劃。當(dāng)3月1日來(lái)臨時(shí)，系統(tǒng)認(rèn)為2月28日的計(jì)劃已超過(guò)24小時(shí)，將2月28日為執(zhí)行的計(jì)劃自動(dòng)刪除。而航班計(jì)劃被刪除后，航跡無(wú)法找到對(duì)應(yīng)的計(jì)劃，會(huì)自動(dòng)去相關(guān)。建議系統(tǒng)測(cè)試時(shí)，增加例如2月29日時(shí)間節(jié)點(diǎn)測(cè)試。

3.4.2 磁盤(pán)空間可能耗盡測(cè)試

一般應(yīng)用軟件運(yùn)行，會(huì)往磁盤(pán)里寫(xiě)一些東西，例如運(yùn)行日志，每天數(shù)據(jù)量不大，如果軟件沒(méi)有設(shè)計(jì)日志定期自動(dòng)清除機(jī)制，日積月累會(huì)，會(huì)逐漸耗盡磁盤(pán)空間。

空管安全信息網(wǎng)記載了這樣一則案例，2016年3月12日，某地發(fā)生管制綜合信息系統(tǒng)某一模塊無(wú)法操作的問(wèn)題。經(jīng)查原因?yàn)榉?wù)器磁盤(pán)空間已經(jīng)完全被占滿，數(shù)據(jù)庫(kù)日志無(wú)法寫(xiě)入。期間該模塊退出服務(wù)，無(wú)法正常使用。事后查明，主數(shù)據(jù)庫(kù)服務(wù)器的X盤(pán)（DATA）已占465G，Y盤(pán)（LOG）已占499G，兩個(gè)盤(pán)分配的空間均為500G。檢查Y盤(pán)剩余空間，為0KB。每當(dāng)程序往數(shù)據(jù)庫(kù)寫(xiě)入、更新、刪除數(shù)據(jù)時(shí)，需先增加一個(gè)日志記錄，也就是要先往Y盤(pán)（LOG）寫(xiě)入一條數(shù)據(jù)。由于Y盤(pán)已經(jīng)沒(méi)有剩余的空間去保存這條日志記錄，所以整個(gè)數(shù)據(jù)庫(kù)更改操作都失敗。建議在系統(tǒng)驗(yàn)收時(shí)，增加磁盤(pán)空間自動(dòng)釋放機(jī)制檢查。

3.4.3 AFTN報(bào)文壓力測(cè)試

AFTN網(wǎng)傳輸?shù)膱?bào)文數(shù)據(jù)流具有突發(fā)性特點(diǎn)，用大流量報(bào)文可以驗(yàn)證系統(tǒng)電報(bào)處理能力。自動(dòng)化系統(tǒng)在接入轉(zhuǎn)報(bào)鏈路后，通過(guò)關(guān)閉轉(zhuǎn)報(bào)機(jī)對(duì)該端口報(bào)文的轉(zhuǎn)發(fā)，讓轉(zhuǎn)報(bào)機(jī)積壓一定量的報(bào)文，當(dāng)放開(kāi)端口后，積壓的報(bào)文會(huì)涌入自動(dòng)化系統(tǒng)。壓力測(cè)試也是系統(tǒng)處理性能極限測(cè)試，在極端情況下更容易暴露系統(tǒng)隱藏的缺陷。

4 總結(jié)

自動(dòng)化系統(tǒng)是面向管制員的重要空管設(shè)備，其核心是軟件，軟件質(zhì)量的好壞與運(yùn)行安全息息相關(guān)，而做好軟件測(cè)試工作是保障軟件質(zhì)量的重要手段。本文針對(duì)常規(guī)軟件測(cè)試的目的、原則進(jìn)行了闡述，簡(jiǎn)單描述自動(dòng)化系統(tǒng)軟件測(cè)試的現(xiàn)狀，在用戶參與的工廠測(cè)試、和現(xiàn)場(chǎng)測(cè)試環(huán)節(jié)，提出了一些個(gè)人建議，僅供參考。

目前關(guān)于自動(dòng)化系統(tǒng)軟件測(cè)試還缺少權(quán)威性的規(guī)范作為指導(dǎo)，對(duì)于自動(dòng)化系統(tǒng)軟件測(cè)試工作用戶參與度較低，主要依賴自動(dòng)化廠家軟件測(cè)試水平。另一方面，空管系統(tǒng)的運(yùn)行標(biāo)準(zhǔn)越來(lái)越高，運(yùn)行壓力越來(lái)越大，用戶作為自動(dòng)化系統(tǒng)的使用者，是自動(dòng)化系統(tǒng)因軟件缺陷導(dǎo)致異常的責(zé)任載體。用戶必須想盡辦法，在系統(tǒng)投入使用前，盡可能多的發(fā)現(xiàn)并消除自動(dòng)化系統(tǒng)中的隱患，降低自動(dòng)化系統(tǒng)的運(yùn)行風(fēng)險(xiǎn)。

［責(zé)任編輯：李書(shū)培］