王 蕊

（國家軟件產(chǎn)品質(zhì)量監(jiān)督檢驗中心（江蘇），江蘇 南京 210012）

軟件產(chǎn)品質(zhì)量比對測試與比對方案探討

王 蕊

（國家軟件產(chǎn)品質(zhì)量監(jiān)督檢驗中心（江蘇），江蘇 南京 210012）

軟件產(chǎn)品質(zhì)量評價與測試是保障軟件產(chǎn)品質(zhì)量的方式之一。文章在《軟件工程軟件產(chǎn)品質(zhì)量要求與評價（SquaRE）商業(yè)現(xiàn)貨（COTS）軟件產(chǎn)品的質(zhì)量要求和測試細(xì)則》（GB/T25000.51-2010）等國家推薦性標(biāo)準(zhǔn)的基礎(chǔ)上，提出了對軟件產(chǎn)品進(jìn)行功能比對測試的比對方案，并在實際比對測試中進(jìn)行了應(yīng)用與驗證。

軟件產(chǎn)品質(zhì)量；軟件比對測試；比對方案；質(zhì)量控制；判定限

1 比對測試概述

實驗室間比對是對實驗室檢測結(jié)果質(zhì)量控制的常用方法之一，是根據(jù)預(yù)定條件，由兩個或多個實驗室就相同或類似的試驗項目開展的組織、實施和評估活動。通過參加實驗室比對，可以確定實驗室對特定試驗或測量的能力，了解實驗室的檢測水平，并進(jìn)一步監(jiān)控實驗室的持續(xù)檢測能力，識別實驗室的問題并采取糾正措施，提高質(zhì)量管理水平。

實驗室間比對的代表性目的有以下十點（實驗室可以根據(jù)比對實驗的目的來設(shè)置比對實驗）：（1）評定實驗室從事特定檢測或測量的能力及監(jiān)視實驗室的持續(xù)能力；（2）識別實驗室存在的問題并啟動改進(jìn)措施，這些問題可能與諸如不適當(dāng)?shù)臋z測或測量程序、人員培訓(xùn)和監(jiān)督的有效性、設(shè)備校準(zhǔn)等因素有關(guān)；（3）建立檢測或測量方法的有效性和可比性；（4）增強(qiáng)實驗室客戶的信心；（5）識別實驗室間的差異；（6）根據(jù)比對的結(jié)果，幫助參加實驗室提高能力；（7）確認(rèn)聲稱的不確定度；（8）評估某種方法的性能特征，通常稱為協(xié)作試驗；（9）用于標(biāo)準(zhǔn)物質(zhì)/標(biāo)準(zhǔn)樣品的賦值及評定其在特定檢測或測量程序中使用的適用性；（10）支持由國際計量局（BIPM）及其相關(guān)區(qū)域計量組織。

與國際軟件檢驗機(jī)構(gòu)之間進(jìn)行比對測試是國家軟件中心驗收時的重要環(huán)節(jié)。軟件產(chǎn)品的比對測試通常是由評審組提供一個軟件樣品，然后每個被評審的成員對該樣品分別進(jìn)行測試，出具檢驗報告或缺陷報告，考察他們的測試結(jié)果與真實情況的偏差，從而認(rèn)定某個檢驗機(jī)構(gòu)在某個項目上的檢測能力是否滿足既定要求。

軟件產(chǎn)品的比對測試主要是對軟件樣品的功能性進(jìn)行測試，根據(jù)既定條件和已知軟件樣品，由5家以上檢驗機(jī)構(gòu)依據(jù)產(chǎn)品需求規(guī)格說明書、使用手冊等用戶文檔集，對該軟件樣品進(jìn)行功能測試，各自找出軟件樣品中預(yù)埋的缺陷，輸出檢驗報告，然后根據(jù)檢驗報告或缺陷報告，總結(jié)歸納出各家檢驗機(jī)構(gòu)發(fā)現(xiàn)的有效缺陷。根據(jù)既定的比對測試方案和判定限，對有效缺陷的最終結(jié)果進(jìn)行比對，通過比對測試和結(jié)果分析得出國家中心的檢驗?zāi)芰κ欠襁_(dá)到國際先進(jìn)水平，是否能順利通過國家軟件中心的驗收考核。

2 比對測試方案和判定限

判定限：比對測試主要以發(fā)現(xiàn)的有效缺陷數(shù)為判定的主要依據(jù)，具體內(nèi)容如下：

第一，所有檢驗機(jī)構(gòu)發(fā)現(xiàn)的有效缺陷數(shù)（以Ni表示）取平均值（以M表示），然后把平均值跟本中心發(fā)現(xiàn)的有效缺陷數(shù)（以N1表示）進(jìn)行比較，如果本中心發(fā)現(xiàn)的有效缺陷數(shù)大于平均值，即N1≥M，則進(jìn)行第二個步驟的比對。

第二，假如有n家檢驗機(jī)構(gòu)參與此次比對，取參考值K，且K＝[0.7n]（“[]”表示四舍五入并取整），如果本中心發(fā)現(xiàn)的有效缺陷數(shù)排名在K家檢驗機(jī)構(gòu)之前，則本次比對測試通過，結(jié)果為滿意，否則本次比對測試結(jié)果為不滿意。

第三，相關(guān)注釋：注1：預(yù)埋缺陷：比對樣品中預(yù)先埋入的已知缺陷；注2：發(fā)現(xiàn)缺陷：檢驗機(jī)構(gòu)實際發(fā)現(xiàn)的缺陷；注3：發(fā)現(xiàn)的有效缺陷：檢驗機(jī)構(gòu)發(fā)現(xiàn)的缺陷如果在軟件樣品預(yù)先植入的缺陷范圍內(nèi)，則為有效缺陷，否則為無效缺陷，不做統(tǒng)計和比對。其中有效缺陷數(shù)以Ni表示，i取1，2，……，n，n為正整數(shù)，代表參與此次比對測試的檢驗機(jī)構(gòu)數(shù)目；注4：有效缺陷數(shù)平均值M＝（N1＋N2＋N3＋……＋Ni）/i。

3 比對測試過程簡介

本次參與比對測試的檢驗機(jī)構(gòu)有國家軟件產(chǎn)品質(zhì)量監(jiān)督檢驗中心（江蘇）、新加坡某學(xué)院、上海某信息技術(shù)有限公司、某研發(fā)有限合伙公司、德國某檢驗機(jī)構(gòu)、美國某大學(xué)分校6家檢驗機(jī)構(gòu)，比對軟件樣品為關(guān)鍵技術(shù)項目信息采集系統(tǒng)，測試的主要功能模塊有安全管理角色、審計管理角色、數(shù)據(jù)管理角色等。

在本次比對測試中，本中心依據(jù)產(chǎn)品需求規(guī)格說明書、使用手冊等用戶文檔集，采用等價類劃分、邊界值分析、因果圖法、決策表法和錯誤推測法等黑盒測試技術(shù)，通過設(shè)計覆蓋全部軟件產(chǎn)品功能實現(xiàn)的測試用例的方法，從功能實現(xiàn)的功能正確性、功能實現(xiàn)的完整性、功能的計算準(zhǔn)確性、計算精度的符合性等方面對用戶需求的軟件產(chǎn)品全部功能性進(jìn)行質(zhì)量測試，并將功能性檢測結(jié)果與用戶需求中的功能要求比較，評價該軟件產(chǎn)品功能是否符合用戶需求和文檔要求。

測試前準(zhǔn)備工作如下：（1）根據(jù)用戶需求和用戶文檔集，編制測試方案，并經(jīng)過嚴(yán)格評審；（2）搭建缺陷跟蹤與管理信息系統(tǒng)，如直接使用HP ALM系統(tǒng)進(jìn)行測試管理；（3）檢查測試所需的軟、硬件、操作系統(tǒng)等環(huán)境設(shè)施是否已到位；（4）檢查測試組人員的配置是否合理，測試人員的工作能力和經(jīng)驗是否符合測試要求。

軟件測試執(zhí)行過程如下：（1）根據(jù)測試方案中相關(guān)內(nèi)容，檢查測試環(huán)境（包括軟硬件環(huán)境和操作系統(tǒng)等），確認(rèn)測試環(huán)境符合要求；（2）根據(jù)測試用例的陳述，按測試目的，對每一個測試用例設(shè)計具體的操作步驟、前置條件、輸入數(shù)據(jù)、預(yù)期結(jié)果；（3）執(zhí)行測試用例，并記錄所有相關(guān)信息，如果測試用例執(zhí)行的結(jié)果與預(yù)期結(jié)果不符合，則應(yīng)詳細(xì)記錄環(huán)境信息、操作步驟、問題描述、可復(fù)現(xiàn)性等；（4）測試用例執(zhí)行完畢后，根據(jù)具體情況，備份系統(tǒng)數(shù)據(jù)或?qū)ο到y(tǒng)進(jìn)行恢復(fù)；（5）編制檢驗報告、缺陷報告等。

在測試執(zhí)行過程中，針對發(fā)現(xiàn)的軟件缺陷，定義缺陷等級如下：

S1級：發(fā)現(xiàn)影響被測系統(tǒng)正確運行的嚴(yán)重問題：導(dǎo)致系統(tǒng)崩潰；出現(xiàn)不可挽救的數(shù)據(jù)丟失或損壞；主業(yè)務(wù)流程出現(xiàn)斷點；導(dǎo)致死機(jī)；內(nèi)存泄漏。

S2級：發(fā)現(xiàn)影響被測模塊正確運行的嚴(yán)重問題：導(dǎo)致程序模塊丟失或未實現(xiàn)；軟件錯誤導(dǎo)致數(shù)據(jù)丟失；被測數(shù)據(jù)處理錯誤；用戶需求未實現(xiàn)。

S3級：發(fā)現(xiàn)影響被測功能正確實現(xiàn)的問題。

S4級：一般性的錯誤或功能實現(xiàn)有不完善處。

S5級：建議性問題。

檢測完成后，各個機(jī)構(gòu)檢驗人員根據(jù)編制的檢驗報告和缺陷報告，結(jié)合比對測試方案，得出最終比對測試結(jié)果如表1所示：

表1 各家檢驗機(jī)構(gòu)比對測試結(jié)果

由表1得出，國家軟件產(chǎn)品質(zhì)量監(jiān)督檢驗中心（江蘇）有效缺陷數(shù)N1＞M；6家檢驗機(jī)構(gòu)中，國家軟件產(chǎn)品質(zhì)量監(jiān)督檢驗中心（江蘇）發(fā)現(xiàn)的有效缺陷數(shù)排名為第2名。排名第一位的是美國某大學(xué)分校。

最終結(jié)論：國家軟件產(chǎn)品質(zhì)量監(jiān)督檢驗中心（江蘇）比對測試通過，結(jié)果為滿意。

4 結(jié)語

隨著信息技術(shù)的飛速發(fā)展，對軟件產(chǎn)品的使用已經(jīng)滲透到大眾生活的各個領(lǐng)域，小到日常生活所需的家用電器、手機(jī)平板等電子產(chǎn)品，大到金融、國防、醫(yī)療等領(lǐng)域的高端精密設(shè)備。軟件產(chǎn)業(yè)作為現(xiàn)代服務(wù)業(yè)發(fā)展的核心，已成為促進(jìn)國民經(jīng)濟(jì)與社會發(fā)展、保障國家安全的戰(zhàn)略性新興產(chǎn)業(yè)。伴隨著軟件產(chǎn)品應(yīng)用的不斷深入，其設(shè)計的復(fù)雜度和難度也在逐步加大，而開發(fā)周期卻在縮短，因此對軟件產(chǎn)品質(zhì)量的要求也在逐步提高，軟件質(zhì)量一旦出現(xiàn)缺陷將引發(fā)諸多問題，其后果也越來越嚴(yán)重。可以說，未來很長一段時間，軟件企業(yè)的競爭力不僅體現(xiàn)在軟件產(chǎn)品功能的先進(jìn)性以及類型的多樣性，更多的體現(xiàn)在軟件產(chǎn)品質(zhì)量的可靠性、易用性、可移植性以及可維護(hù)性上，軟件質(zhì)量已成為軟件企業(yè)的核心競爭力。在《國務(wù)院關(guān)于印發(fā)進(jìn)一步鼓勵軟件產(chǎn)業(yè)和集成電路產(chǎn)業(yè)發(fā)展若干政策的通知》（國發(fā)[2011]4號）明確指出“鼓勵軟件企業(yè)大力開發(fā)軟件測試和評價技術(shù)，完善相關(guān)標(biāo)準(zhǔn)，提升軟件研發(fā)能力，提高軟件質(zhì)量，加強(qiáng)品牌建設(shè)，增強(qiáng)產(chǎn)品競爭力”。與此同時，軟件產(chǎn)品質(zhì)量的檢驗檢測也越來越受到政府相關(guān)部門、軟件企業(yè)、軟件用戶的關(guān)心與重視。

作為第三方檢驗檢測機(jī)構(gòu)，為了發(fā)現(xiàn)更多的軟件產(chǎn)品質(zhì)量問題，保證高質(zhì)量的軟件產(chǎn)品能夠交付使用，不僅需要有嚴(yán)謹(jǐn)、高效、公正、規(guī)范的檢驗管理流程，還需要通過比對檢驗、能力驗證等方式，不斷提高自身技術(shù)水平，并對在同行中處于什么樣的位置有一個清晰的認(rèn)識，從而更好地開展相關(guān)業(yè)務(wù)，服務(wù)政府、服務(wù)企業(yè)、服務(wù)社會。

[1]軟件工程軟件產(chǎn)品質(zhì)量要求與評價（SquaRE）商業(yè)現(xiàn)貨（COTS）軟件產(chǎn)品的質(zhì)量要求和測試細(xì)則（GB/T25000.51-2010）[S].

[2]軟件工程產(chǎn)品質(zhì)量第1部分：質(zhì)量模型（GB/T16260.1-2006）[S].

[3]軟件工程產(chǎn)品質(zhì)量第2部分：外部度量（GB/T16260.2-2006）[S].

（責(zé)任編輯：蔣建華）

TP311

1009-2374（2017）12-0115-02

10.13535/j.cnki.11-4406/n.2017.12.059

王蕊（1983-），女，山東惠民人，供職于國家軟件產(chǎn)品質(zhì)量監(jiān)督檢驗中心（江蘇），中級職稱，碩士，研究方向：計算機(jī)通信網(wǎng)絡(luò)、軟件和網(wǎng)絡(luò)產(chǎn)品檢驗。

A