郭棟 劉文紅 陳聰 彭普 周東紅

【摘要】 本文在結(jié)合現(xiàn)有軟件質(zhì)量評(píng)價(jià)研究成果基礎(chǔ)上，將軟件研制過(guò)程中的質(zhì)量評(píng)審問(wèn)題和軟件測(cè)試過(guò)程中的問(wèn)題進(jìn)行綜合分析，提出了一種基于開(kāi)發(fā)過(guò)程和測(cè)試結(jié)果的軟件質(zhì)量評(píng)價(jià)方法。此方法通過(guò)將軟件研制過(guò)程中的質(zhì)量評(píng)審問(wèn)題和軟件測(cè)試過(guò)程中的問(wèn)題進(jìn)行綜合分析，能夠?yàn)榭焖倥袛嘬浖|(zhì)量提供支持。

【關(guān)鍵詞】 軟件過(guò)程評(píng)估;測(cè)試結(jié)果;軟件;質(zhì)量評(píng)價(jià);度量

【DOI編碼】 10.3969/j.issn.1674-4977.2021.05.018

Research on Software Quality Evaluation Method Based on Development Process and Test Results

GUO Dong1，LIU Wen-hong2，CHEN Cong1，PENG Pu1，ZHOU Dong-hong1

（1.China Aerospace Academy of Systems Science and Engineering，Beijing 100048，China

2.Beijing Institute of Tracking and Communication Technology，Beijing 100095，China）

Abstract： Based on the existing research results of software quality evaluation，this paper comprehensively analyzes the quality review problems in the software development process and the problems in the software testing process，and proposes a software quality evaluation method based on the development process and test results. This method can provide support for quickly judging software quality by comprehensively analyzing the quality review problems in the software development process and the problems in the software testing process.

Key words： software process evaluation;test results;software;quality evaluation;measurement

隨著軟件規(guī)模和復(fù)雜度的不斷增長(zhǎng)，如何抓住有限的信息來(lái)快速度量軟件系統(tǒng)中各軟件配置項(xiàng)的質(zhì)量，從而能迅速抓住質(zhì)量薄弱環(huán)節(jié)，提高整系統(tǒng)的軟件質(zhì)量，是人們亟待解決的難題。

軟件產(chǎn)品質(zhì)量是軟件質(zhì)量的重要組成部分，因此軟件產(chǎn)品質(zhì)量度量是軟件度量的重要組成部分。同時(shí)，由于軟件經(jīng)設(shè)計(jì)與開(kāi)發(fā)之后，在具備滿(mǎn)足用戶(hù)需求功能的同時(shí)，軟件質(zhì)量的優(yōu)劣也就形成在軟件設(shè)計(jì)與開(kāi)發(fā)過(guò)程之中。軟件產(chǎn)品生產(chǎn)設(shè)計(jì)的過(guò)程是影響所開(kāi)發(fā)軟件質(zhì)量的關(guān)鍵，軟件質(zhì)量的提高是軟件生產(chǎn)過(guò)程中各項(xiàng)質(zhì)量活動(dòng)共同作用的結(jié)果。因此，評(píng)估軟件質(zhì)量有必要從軟件的研制過(guò)程著手，將對(duì)軟件研制過(guò)程的評(píng)估加入到軟件的質(zhì)量評(píng)價(jià)中去[1]。

1 軟件質(zhì)量評(píng)價(jià)方法概述

國(guó)內(nèi)外軟件質(zhì)量評(píng)價(jià)研究中，基于測(cè)試結(jié)果對(duì)軟件質(zhì)量進(jìn)行評(píng)價(jià)的模型很多。以目前定義和測(cè)量軟件質(zhì)量的現(xiàn)行國(guó)際標(biāo)準(zhǔn)ISO/IEC 25010：2011為例[2]，采用了“特性—子特性—度量元”的結(jié)構(gòu)模型來(lái)定義軟件質(zhì)量的度量。通過(guò)軟件測(cè)試的方式，根據(jù)選定的測(cè)試方法得出對(duì)應(yīng)各度量元的度量值，然后根據(jù)各度量元的權(quán)重，加權(quán)平均得出對(duì)應(yīng)子特性的值，最后根據(jù)各子特性的權(quán)重加權(quán)平均得出軟件獨(dú)立值。GB/T 25000系列標(biāo)準(zhǔn)也借鑒了該模型。參考該模型重新修訂GJB 5236的工作正在立項(xiàng)。

以上各種軟件質(zhì)量度量評(píng)估都是依據(jù)軟件測(cè)試的結(jié)果來(lái)進(jìn)行，這種度量方式需要針對(duì)軟件的特定度量元進(jìn)行大量指定方法的測(cè)試工作，計(jì)算也非常煩瑣。度量出的結(jié)果與軟件實(shí)際效能缺乏聯(lián)系，并不能實(shí)際反映軟件的質(zhì)量。軟件研制開(kāi)發(fā)和測(cè)試過(guò)程中所積累的大量原始數(shù)據(jù)也沒(méi)有被考慮進(jìn)去，對(duì)軟件開(kāi)發(fā)過(guò)程影響軟件質(zhì)量的因素和機(jī)制尚缺乏有效研究。

2 基于開(kāi)發(fā)過(guò)程和測(cè)試結(jié)果的軟件質(zhì)量評(píng)價(jià)方法

軟件的質(zhì)量是在軟件研制過(guò)程中逐步得到實(shí)現(xiàn)的，不能只依靠軟件測(cè)試環(huán)節(jié)控制質(zhì)量。因此，本文提出通過(guò)對(duì)軟件研制過(guò)程的監(jiān)控來(lái)評(píng)價(jià)軟件質(zhì)量，即軟件研制過(guò)程的監(jiān)控與評(píng)價(jià)作為軟件質(zhì)量評(píng)價(jià)的一部分參數(shù)，利用各階段測(cè)試結(jié)果實(shí)現(xiàn)對(duì)軟件全生命周期的質(zhì)量進(jìn)行度量和評(píng)價(jià)。

如圖1所示，軟件質(zhì)量的評(píng)估模型可以由兩個(gè)觀察側(cè)面的評(píng)估值來(lái)構(gòu)成，分別是產(chǎn)品側(cè)面（軟件測(cè)試結(jié)果）和過(guò)程側(cè)面（軟件研制過(guò)程評(píng)估）。每個(gè)觀察側(cè)面各選取多個(gè)度量要素來(lái)計(jì)算其取值，最后將它們歸一化到統(tǒng)一的衡量尺度上，加權(quán)匯總成為最終的軟件質(zhì)量評(píng)價(jià)數(shù)據(jù)。

2.1 軟件開(kāi)發(fā)過(guò)程分析

軟件產(chǎn)品的研制過(guò)程評(píng)估，一方面需要將軟件開(kāi)發(fā)組織的過(guò)程能力成熟度考慮在內(nèi);另一方面，對(duì)于當(dāng)前軟件研制項(xiàng)目的相關(guān)參數(shù)的度量，也要作為重要的指標(biāo)予以考慮，這些指標(biāo)主要包括：軟件規(guī)模度量、軟件安全關(guān)鍵級(jí)別度量以及針對(duì)項(xiàng)目各條基線的質(zhì)量有效性度量等。其中軟件規(guī)模和軟件安全關(guān)鍵級(jí)別不直接影響軟件的質(zhì)量，而是作為軟件質(zhì)量參數(shù)的基準(zhǔn)調(diào)整參數(shù)來(lái)使用。

2.1.1 軟件項(xiàng)目基線評(píng)審結(jié)果評(píng)估

在軟件研制過(guò)程中，對(duì)應(yīng)基線產(chǎn)品的歷次質(zhì)量評(píng)審中的意見(jiàn)個(gè)數(shù)與更改比例，是軟件研制過(guò)程質(zhì)量的一項(xiàng)重要體現(xiàn)。能有效地評(píng)審出問(wèn)題，并根據(jù)評(píng)審意見(jiàn)進(jìn)行了修改，對(duì)促進(jìn)軟件研制能力的提升有正面幫助。以同類(lèi)軟件平均基準(zhǔn)值作為參考，記第n個(gè)階段基線評(píng)審中提出了m10，m20，m30…mn0條意見(jiàn)，當(dāng)前項(xiàng)目的實(shí)測(cè)值為a1，a2，a3…條意見(jiàn)。如表1所示。

那么，針對(duì)軟件研制項(xiàng)目基線評(píng)審結(jié)果的計(jì)算公式如下。PJX的范圍在（0，1）之間。

[PJX=1÷1ni=1i=n（mi-mi0）2=ni=1i=n（mi-mi0）2]

該計(jì)算公式還可以進(jìn)一步精細(xì)化處理?？紤]到根據(jù)質(zhì)量評(píng)審中所提出意見(jiàn)的嚴(yán)重程度，以及與其對(duì)應(yīng)階段之間的關(guān)系，還應(yīng)有不同權(quán)重予以計(jì)算。例如，在設(shè)計(jì)評(píng)審階段發(fā)現(xiàn)了需求中的問(wèn)題（本應(yīng)在需求評(píng)審中提出并修改），其嚴(yán)重性應(yīng)大于在需求評(píng)審中所發(fā)現(xiàn)的同類(lèi)問(wèn)題，其折合扣分權(quán)重也應(yīng)更高。

2.1.2 軟件研制能力成熟度評(píng)估

一般一個(gè)具有較高等級(jí)軟件研制能力成熟度評(píng)價(jià)的組織，能開(kāi)發(fā)出更高質(zhì)量的軟件。因此，我們讀入評(píng)價(jià)機(jī)構(gòu)對(duì)該組織的軟件研制能力成熟度評(píng)分的成績(jī)，并根據(jù)其成熟度等級(jí)，通過(guò)權(quán)值對(duì)分?jǐn)?shù)進(jìn)行調(diào)整。當(dāng)讀入的分?jǐn)?shù)成績(jī)相同時(shí)，成熟度三級(jí)的單位比成熟度二級(jí)的單位得分更高。

評(píng)價(jià)機(jī)構(gòu)對(duì)軟件研制能力成熟度的評(píng)分方式使用SCAMPI方法[3]進(jìn)行，由被評(píng)單位自行提供自己的四個(gè)項(xiàng)目來(lái)進(jìn)行度量，根據(jù)這些項(xiàng)目的相關(guān)質(zhì)量數(shù)據(jù)，對(duì)每個(gè)實(shí)踐域進(jìn)行評(píng)價(jià)，給出每個(gè)實(shí)踐以S/L/P/NY的分值。最終的統(tǒng)計(jì)評(píng)分采用木桶原理式，以短板作為能力的記錄點(diǎn)。一個(gè)目標(biāo)未實(shí)現(xiàn)，則整體過(guò)程域評(píng)價(jià)為不通過(guò);一個(gè)過(guò)程域不通過(guò)，則本級(jí)別評(píng)價(jià)不通過(guò)[4]。那么，通過(guò)對(duì)應(yīng)級(jí)別軟件研制能力成熟度的單位，統(tǒng)計(jì)其所有實(shí)踐，最終得到的得分成績(jī)記為A。A必然是大于6分，最大能得到8分。我們讀入某單位的軟件研制能力成熟度成績(jī)?yōu)锳，該單位的成熟度等級(jí)為[N0]。

考慮到軟件研制能力成熟度共分為5個(gè)等級(jí)，我們?cè)O(shè)置成熟度等級(jí)5級(jí)的權(quán)重為1.0，成熟度成績(jī)保持為讀入的原始值。當(dāng)成熟度等級(jí)降低，權(quán)重也隨之降低，記每降低一級(jí)所減少的權(quán)重為[p0]，[p0]的初始值可以采用專(zhuān)家打分法來(lái)確定，后期積累大量歷史數(shù)據(jù)后，也可采用客觀賦權(quán)法來(lái)確定其權(quán)重值。該軟件的研制單位的軟件研制能力成熟度評(píng)分值對(duì)軟件質(zhì)量的影響度量初始計(jì)算公式即為：

[PSCM=A×[1-p0×（5-N0）]]

[A]的取值范圍在（6，8）之間，則[PSCM]的取值范圍也在（6，8）之間。對(duì)[PSCM]進(jìn)行歸一化處理，該項(xiàng)度量的歸一化計(jì)算公式為：

[PSCM_1=A-6（8-6）×[1-p0×（5-N0）]]

歸一化處理之后，[PSCM_1]的范圍在（0，1）之間。評(píng)價(jià)機(jī)構(gòu)對(duì)研制單位的軟件研制能力成熟度評(píng)審并打分完后，每年還要組織對(duì)該軟件研制單位進(jìn)行年度監(jiān)督[5-6]。一般的，年度監(jiān)督時(shí)評(píng)價(jià)機(jī)構(gòu)會(huì)對(duì)軟件研制單位提出若干條年檢意見(jiàn)。年檢問(wèn)題的嚴(yán)重等級(jí)是評(píng)估該軟件研制單位的研制過(guò)程質(zhì)量非常重要的參數(shù)，能直接的反應(yīng)研制單位當(dāng)前（而不是過(guò)往）的軟件研制項(xiàng)目過(guò)程管理水平。

當(dāng)年檢結(jié)果問(wèn)題中存在嚴(yán)重不符合項(xiàng)時(shí)，認(rèn)為該單位的軟件研制能力與其初始評(píng)分極不相稱(chēng)，考慮對(duì)初始評(píng)分做清零處理，即：

[PSCM_final=0]

當(dāng)年檢結(jié)果問(wèn)題中沒(méi)有嚴(yán)重不符合，但存在一般不符合項(xiàng)時(shí)，則認(rèn)為該單位的軟件研制能力與其初始評(píng)分有較大出入，考慮對(duì)初始評(píng)分做減半處理，即：

[PSCM_final=12PSCM_1]

當(dāng)年檢問(wèn)題均為改進(jìn)項(xiàng)，認(rèn)為該單位的軟件研制能力與初始評(píng)分基本相符，但仍有待改進(jìn)處，需要對(duì)初始評(píng)分做一定減分處理，但保證其最終的得分比年檢問(wèn)題存在一般不符合的得分高。

具體的減分處理，需要參考當(dāng)前軟件研制單位年審改進(jìn)項(xiàng)的個(gè)數(shù)多少，以及是否存在重復(fù)性問(wèn)題來(lái)進(jìn)行調(diào)整。提出的改進(jìn)建議越多得分越低，改進(jìn)建議中重復(fù)問(wèn)題越多得分越低。當(dāng)無(wú)改進(jìn)建議，則得分依舊為[PSCM_1]。

記最近一次軟件研制單位的年審改進(jìn)項(xiàng)的個(gè)數(shù)為m條，一年內(nèi)各軟件研制單位年審改進(jìn)項(xiàng)個(gè)數(shù)的均值為n條，當(dāng)每比均值多一條改進(jìn)項(xiàng)，則權(quán)重減少的比例為[p1];這m條改進(jìn)項(xiàng)中，有[l]條改進(jìn)項(xiàng)在本單位以往年審中曾經(jīng)出現(xiàn)過(guò)，記每多一個(gè)重復(fù)問(wèn)題的扣除權(quán)重比例為[p2]。

[PSCM_ final=12PSCM_1+12PSCM_1（1-p1）m-nn（1-p2）l]

同樣，[p1]和[p2]初始值可以根據(jù)專(zhuān)家經(jīng)驗(yàn)確定，后期有歷史數(shù)據(jù)可根據(jù)實(shí)際數(shù)據(jù)和評(píng)價(jià)結(jié)果進(jìn)行調(diào)整。

2.2 軟件測(cè)試結(jié)果分析

對(duì)于每個(gè)軟件測(cè)試問(wèn)題，從軟件的問(wèn)題嚴(yán)重等級(jí)、該問(wèn)題的引入階段和發(fā)現(xiàn)該問(wèn)題所需技術(shù)難度三個(gè)方面進(jìn)行考察。

2.2.1 軟件問(wèn)題嚴(yán)重等級(jí)

軟件問(wèn)題的嚴(yán)重等級(jí)分為五個(gè)等級(jí)，分別為：

1）致命問(wèn)題，導(dǎo)致系統(tǒng)/設(shè)備任務(wù)完全失敗，系統(tǒng)/設(shè)備安全性和安全保密性喪失，甚至危及人身安全;2）嚴(yán)重問(wèn)題，會(huì)影響/潛在影響設(shè)計(jì)/需求文檔中所規(guī)定的主要功能的完成或沒(méi)有實(shí)現(xiàn)設(shè)計(jì)/需求文檔中規(guī)定的功能;3）一般問(wèn)題，會(huì)對(duì)設(shè)計(jì)文檔中規(guī)定的主要功能的完成產(chǎn)生不利/潛在不利的影響，從而導(dǎo)致功能障礙的代碼問(wèn)題;4）輕微問(wèn)題，不會(huì)影響設(shè)計(jì)/需求文檔共規(guī)定的主要功能的完成，但對(duì)運(yùn)行或操作會(huì)產(chǎn)生輕微影響/潛在影響;5）改進(jìn)建議，對(duì)主要功能的完成，以及運(yùn)行或操作均無(wú)影響，但從代碼可讀性和結(jié)構(gòu)化程度等方面可以進(jìn)一步改進(jìn)優(yōu)化。

記發(fā)現(xiàn)的問(wèn)題嚴(yán)重等級(jí)為[N1]。當(dāng)發(fā)現(xiàn)的問(wèn)題嚴(yán)重等級(jí)每降低一個(gè)等級(jí)（對(duì)應(yīng)的值增加），則權(quán)重增加[p3]。軟件問(wèn)題的嚴(yán)重等級(jí)對(duì)當(dāng)前問(wèn)題的參考值為：

[Pdj=[1-p3×（5-N1+1）]]

2.2.2 軟件問(wèn)題引入階段

在發(fā)現(xiàn)軟件問(wèn)題的時(shí)候，同時(shí)也能定位到該軟件問(wèn)題是從生命周期的哪個(gè)階段引入的。如果軟件研制過(guò)程受控，軟件測(cè)試及交付時(shí)應(yīng)只發(fā)現(xiàn)編碼階段引入的問(wèn)題。如果在測(cè)試時(shí)發(fā)現(xiàn)存在設(shè)計(jì)階段的問(wèn)題，例如設(shè)計(jì)存在漏項(xiàng)，未覆蓋需求，則這類(lèi)問(wèn)題的權(quán)重值需要增加。

設(shè)發(fā)現(xiàn)問(wèn)題發(fā)生階段包括方案、需求、設(shè)計(jì)、編碼、使用等一共S個(gè)階段，按階段先后順序?qū)?yīng)的標(biāo)注值為1、2、3、…、[Ns]，當(dāng)軟件問(wèn)題引入階段越早（而一直未發(fā)現(xiàn)），則該問(wèn)題的權(quán)重值越高。記軟件編碼階段引入的問(wèn)題權(quán)重值為1.0，問(wèn)題引入階段每向前一個(gè)階段，則對(duì)應(yīng)權(quán)重增加[p4]。軟件問(wèn)題的引入階段對(duì)當(dāng)前問(wèn)題的參考值為：

[Pjd=[1-p4×（S-Ns+1）]]

2.2.3 軟件問(wèn)題發(fā)現(xiàn)難易程度

發(fā)現(xiàn)軟件問(wèn)題是需要一定的技術(shù)手段的。設(shè)發(fā)現(xiàn)問(wèn)題難度包括1、2、3、4、5五個(gè)等級(jí)，表示問(wèn)題的發(fā)現(xiàn)難度逐漸增加。發(fā)現(xiàn)問(wèn)題難度為增加一個(gè)等級(jí)，則權(quán)重增加[p5]，發(fā)現(xiàn)的問(wèn)題難度等級(jí)為[N2]，則發(fā)現(xiàn)問(wèn)題難度對(duì)當(dāng)前問(wèn)題的參考值為：

[Pnd=[1-p5×（5-N2+1）]]

2.2.4 測(cè)試結(jié)果總評(píng)分

設(shè)該軟件在提交第三方測(cè)試和交付后共計(jì)發(fā)現(xiàn)k個(gè)問(wèn)題。第k個(gè)問(wèn)題所對(duì)應(yīng)的三個(gè)方向參考值分別為[Pdj_k×Pjd_k×Pnd_k][Pdj_k×Pjd_k×Pnd_k]。

當(dāng)前軟件的測(cè)試結(jié)果分析得分值為：

[PJF=（Pdj_k×Pjd_k×Pnd_k）? ? ? =i=1i=k[1-p3*（5-Ni1+1）][1-p4*（5-Nis+1）][1-p5*（S-Ni2+1）]]

其中，[p3]，[p4]，[p5]初始值可以根據(jù)專(zhuān)家經(jīng)驗(yàn)確定，后期有歷史數(shù)據(jù)可根據(jù)實(shí)際數(shù)據(jù)和評(píng)價(jià)結(jié)果進(jìn)行調(diào)整。

3 綜合結(jié)果分析

綜合評(píng)價(jià)方法采用加權(quán)平均，假設(shè)綜合評(píng)價(jià)滿(mǎn)分為100，項(xiàng)目基線評(píng)審結(jié)果、研制能力成熟度評(píng)估和軟件測(cè)試結(jié)果的權(quán)重分別為[η1]，[η2]，[η3]，且有[i=13ηi=1]，則該軟件的質(zhì)量評(píng)價(jià)分?jǐn)?shù)為：

[Qfinal=100×（η1PJX+η2PSCM_final+η3PJF）]

4 總結(jié)

本文在現(xiàn)有軟件質(zhì)量評(píng)價(jià)研究成果的基礎(chǔ)上，提出了一種基于過(guò)程評(píng)估和測(cè)試結(jié)果的軟件質(zhì)量評(píng)價(jià)方法，立足于總體單位所能方便獲得的質(zhì)量數(shù)據(jù)，快速便捷評(píng)估各軟件的質(zhì)量。

目前，使用該方法還主要采用主觀權(quán)重，即專(zhuān)家打分的方式來(lái)確定其中各個(gè)權(quán)重的選擇。在積累更多項(xiàng)目歷史數(shù)據(jù)之后，可以不斷修正該算法，將主觀權(quán)重調(diào)整為客觀賦權(quán)，利用各指標(biāo)間的相互關(guān)系或提供的信息量來(lái)確定，實(shí)際通過(guò)對(duì)原始數(shù)據(jù)經(jīng)過(guò)數(shù)學(xué)處理獲取權(quán)重。在計(jì)算測(cè)試結(jié)果分析等數(shù)據(jù)時(shí)，本方法使用的是與同類(lèi)軟件基準(zhǔn)值進(jìn)行比較?？紤]到軟件按其規(guī)模分為巨、大、中、小、微五個(gè)等級(jí)，按其安全關(guān)鍵等級(jí)分為I、II、III、IV四個(gè)等級(jí)，按照嵌入式/非嵌入式以及不同語(yǔ)言、不同行業(yè)特點(diǎn)，給予不同的權(quán)值后，可以考慮與不同類(lèi)的軟件進(jìn)行映射對(duì)比計(jì)算。

【參考文獻(xiàn)】

[1] 梅磊，劉鴻飛，董文通.基于測(cè)試過(guò)程管理的航天軟件質(zhì)量評(píng)價(jià)[J].西華大學(xué)學(xué)報(bào)（自然科學(xué)版），2019（6）：67-72.

[2] Systems and software engineering-Systems and software Quality Requirements and Evaluation（SQuaRE）-System and software quality models：IEC 25010：2011[S].

[3] 徐俊.CMMI軟件成熟度模型SCAMPI評(píng)估需求分析[J].信息技術(shù)與標(biāo)準(zhǔn)化，2008（12）：35-37.

[4] 何新貴.GJB 5000《軍用軟件能力成熟度模型》實(shí)施指南[M].北京：國(guó)防工業(yè)出版社，2004.

[5] 張昱.GJB 5000A過(guò)程和產(chǎn)品質(zhì)量保證實(shí)施要點(diǎn)[J].電子技術(shù)與軟件工程，2021（7）：72-74.

[6] 孟磊，陳松，陳心華，等.基于GJB 5000A三級(jí)的軍用軟件過(guò)程改進(jìn)探討與實(shí)踐[J].電子質(zhì)量，2020（12）：117-121.

【作者簡(jiǎn)介】

郭棟，男，1984年出生，高級(jí)工程師，碩士，研究方向?yàn)檐浖y(cè)評(píng)。

劉文紅，女，1968年出生，研究員，碩士，研究方向?yàn)檐浖こ?、軟件測(cè)試。

陳聰，男，1987年出生，工程師，碩士，研究方向?yàn)榍度胧杰浖y(cè)試。

彭普，男，1984年出生，工程師，學(xué)士，研究方向?yàn)檐浖こ獭?/p>

周東紅，男，1981年出生，工程師，碩士，研究方向?yàn)榍度胧杰浖y(cè)試、軟件工程。