基于標準屬性的標準實施效果評價方法探究

2023-11-16 00:42:57劉俊銳趙力丹逄錦山李童吳迪楊震

中國標準化 2023年1期

劉俊銳趙力丹逄錦山李童吳迪楊震

摘要：標準化是信息化時代的前提和基礎，對標準實施效果進行分析和評價有助于促進社會經濟的發(fā)展。目前的研究主要關注于評價指標體系構建，缺少對標準之間差異性的研究，不能實現(xiàn)對標準實施效果的精確評價。本文提出了一種基于標準屬性的標準實施效果評價方法。首先，我們關注到不同類型的標準之間的差異，通過計算標準屬性來構建更適合該標準的評價指標體系。然后，我們判斷評價指標的主客觀性，使用對應的數據收集方法收集評價數據。最后，我們使用層次分析法為各個指標分配權重，使用加權求和的方式計算標準的綜合評價量化值。為了證明方法的有效性、可操作性和合理性，我們采用案例分析法進行驗證。

關鍵詞：標準實施效果，標準屬性，主客觀分析，標準評價

DOI編碼：10.3969/j.issn.1002-5944.2023.01.002

基金項目：本文受中國電子技術標準化研究院資助項目“建設電子信息領域標準大數據平臺”（項目編號：CEIEC-2021-ZM02-0167）資助。

Exploration of the Evaluation Method of Standards Implementation Effect Based on Standard Attributes

LIU Jun-rui1 ZHAO Li-dan1 PANG Jin-shan2 LI Tong1*

WU Di1 YANG Zhen1

（1. Faculty of Information Technology， Beijing University of Technology； 2. Standard Institute of Emerging Technologies and Innovations）

Abstract： Standardization is the premise and foundation of the information age. Analyzing and evaluating the effect of standards implementation is helpful to promote social and economic development. The current research mainly focuses on the construction of the evaluation index system， and it lacks the research on the differences between standards， and cannot realize the accurate evaluation of the implementation effect of standards. This paper proposes an evaluation method of standards implementation effect based on standard attributes. The paper studies the differences between different types of standards， and constructs an evaluation index system that is more suitable for standards by calculating standard attributes. Then， it judges the subjectivity and objectivity of the evaluation indicators， and uses the corresponding data collection methods to collect evaluation data. Finally， it uses AHP to assign weights to each indicator， and uses weighted summation to calculate the standard comprehensive evaluation quantifi cation value. It uses case analysis method to verify the validity， operability and rationality of the method.

Keywords： standards implementation effect， standard attributes， subjective and objective analysis， standards evaluation

1 引言

標準化不僅可以滿足企業(yè)生產產品在產品質量、品種規(guī)格、零部件通用等方面的統(tǒng)一，還能滿足企業(yè)為了其預期目的改造產品，促進技術合作。因此，對標準實施效果進行評價能夠促進企業(yè)發(fā)展，維護社會統(tǒng)一發(fā)展。選擇恰當的評價方法能夠提升經濟發(fā)展，促進社會進步。

目前對于標準實施效果的評價主要應用于軍工行業(yè)標準、航天領域標準等。李國強等人[1]提出了航天領域標準實施效果評價的一種思路與方法，構建相應的評價指標體系，針對標準技術內容、實施過程、實施效益分別提出了不同的數據收集方案，以此實現(xiàn)標準實施效果評價。孟凡萍等人[2]根據軍工行業(yè)標準定位和作用，分析并構建了相應的評價指標體系，建立軍工行業(yè)標準實施效果和評價方法，使用模糊層次分析法對軍工行業(yè)標準實施效果進行評價。孫充勃等人[3]結合配電網規(guī)劃設計標準的實際情況，構建了配電網規(guī)劃設計標準實施效果評價體系，并采用模糊層次分析法對標準的實施效果進行評價。除此之外，研究者們[4-6]主要關注于對標準實施效果評價指標的構建及評價方法理論研究等。

這些研究大多數都是根據領域知識構建通用的評價指標體系。然而，他們沒有關注到標準之間的差異性。對于不同類型的標準，進行評價的角度有所不同。因此，我們提出了基于標準屬性的標準實施效果評價方法。通過分析不同類型的標準，將其與相應的評價指標對應，生成個性化的標準實施效果評價指標體系。對于評價數據的收集，采用主客觀結合的方法，分析各個指標的性質，對于主觀指標通過問卷調查得到結果；對于客觀指標，通過官方渠道獲取數據得到結果。使用層次分析法對各個指標進行權重分配，加權求和得到最終的綜合評價量化值。最后，使用案例分析法和統(tǒng)計分析法對所提出的方法進行有效性驗證。

2 標準實施效果評價指標體系

標準的技術內容對標準實施是至關重要的。標準的實施情況直接影響著標準的實施效果。除此之外，標準的實施效益也是衡量標準實施效果的重要方面。因此，本文將標準實施效果評價指標體系劃分為三個子體系：標準實施內容評價指標子體系、標準實施過程評價指標子體系和標準實施效果評價指標子體系，標準實施效果評價指標體系如圖1所示。

3 基于標準屬性的自適應標準實施效果評價方法

本文提出基于標準屬性的標準實施效果評價方法，具體方法流程如圖2所示。該方法首先確定所要評價的標準，分析標準文件。通過識別標準的各種屬性，映射出精確的評價指標體系；基于相對應的指標體系，通過問卷或收集公開數據等方法收集相關數據；最后使用層次分析法，為各個指標分配權重，與評價值加權求和，最終得到標準的綜合量化評價值以及詳細的評價報告。

3.1 基于標準大數據的標準實施效果評價指標體系

通過確定標準的不同屬性，對標準實施效果評價體系進行個性化調整，不同的標準將對應不同的評價指標體系，這樣做考慮到標準的差異性，實現(xiàn)標準實施效果的精確評價。本文將從標準類型、標準級別、標準內容結構等多個方面考慮標準屬性與評價指標之間的映射關系。

從標準類型考慮，標準可以分為強制性標準和推薦性標準。強制性標準主要考慮法律等方面的問題，在評價該類標準時，考慮到標準規(guī)范性評價，對應的指標有：標準符合政策程度、標準結構合理性、標準條例嚴謹性；同時，該類標準還考慮到保障人體健康、人身、財產安全等，涉及到社會效益，對應的指標有：提升行業(yè)整體水平、提升公眾利益。推薦性標準主要對應產品類標準，在企業(yè)或生產中使用，是自愿采用的標準，因此在評價該類標準時，首先考慮的是標準推廣，對應的指標有：宣傳力度、應用推廣、推廣反饋；除此之外，在生產應用中，要評估的主要是其對經濟發(fā)展的作用，因此評估標準實施產生的經濟效益，對應的指標有：提高生產效益、提高生產率。

從標準內容考慮，在標準實施過程中，環(huán)境相關性越來越受到重視。標準實施效果評價不僅包括社會效益評價、經濟效益評價，除此之外還有環(huán)境效益評價，因此環(huán)境內容也是標準屬性的一種。若標準文件內容與環(huán)境能源相關，在標準實施效益評價方面將更加注重其環(huán)境效益，其對應的評價指標有：節(jié)約能源資源、減少環(huán)境污染；若標準文件內容與環(huán)境能源無關，在標準實施效益評價方面將更加注重其經濟效益，其對應的評價指標有：提高生產率、提高生產收益。

除以上兩種屬性外，我們還考慮了其他的屬性。具體的映射關系如表1所示。

3.2 收集相關數據

在對指標的原始數據進行收集時，我們遵循客觀性優(yōu)先的原則，即在收集數據時，盡可能保持結果的客觀公正，避免在計算過程中引入人為的主觀性干擾，造成收集到的數據無效。因此，我們首先分析了評價指標的主觀性和客觀性，對不同性質的指標采取不同的分析方法。對于主觀性指標，主要通過問卷的形式收集數據；對于客觀性指標，主要通過公開渠道收集數據。

客觀性和主觀性是統(tǒng)計指標的兩種基本屬性[7]。主觀性指標在統(tǒng)計和測量過程中因受人為主觀因素的影響而產生差異；客觀因素是對社會經濟現(xiàn)實存在的反映，具有一致性。因此，為了更精確地收集到各個指標的評價數據，我們對指標的主客觀進行了分類（見表2），來收集標準實施效果評價指標。

使用不同數據收集方案，所獲得的數據類型不同。使用問卷調查法收集數據時，獲取的數據是由企業(yè)提供，僅需設計出問卷設計即可。

若使用公開渠道收集數據，需要規(guī)定不同評價指標收集數據的內容。各種類型的標準都有標準應用的產品名稱，通過收集產品的相關信息來獲取數據。例如，可以通過各大電商平臺和專門渠道來收集，通過這兩類平臺收集的公開數據內容如表3所示。

3.3 評價標準

針對不同的數據來源，計算三級指標評價量化值的方式不同。如果來源是問卷數據，我們使用基于模糊數學的隸屬度理論對問卷結果進行量化；如果來源是公開數據，將對這些數據進行一系列處理得到對應的評價量化值。最終使用層次分析法為各個指標分配權重，加權求和得到最終的綜合評價量化值。主客觀評價數據的處理以及分配權重的細節(jié)如下：3.3.1 主觀數據分析

對于主觀性指標，我們通過問卷調查的方式獲取相應的評價數據。在設計問卷時考慮填寫問卷者的身份、問卷的有效性等因素，從而提高問卷結果的可信度。采用模糊評價法對問卷數據進行處理，模糊評價法根據模糊數學的隸屬度理論把定性的指標轉化成定量評價，能較好地解決模糊的、難以量化的問題[8]。

各個二級指標的問卷設計中，包含7-11個問題，其中前2個問題針對填寫問卷者的身份和問卷的有效性進行提問，其余問題用于收集評價指標數據。每個問題包含5個選項，將其打分定義為1.0、0.75、0.5、0.25、0分。

對二級指標的量化評價值由各個問題的得分平均求和得到，最終分數為0-10分；二級指標的定性評價是依據二級指標量化評價值得到，對應評價如表4所示。

3.3.2 客觀數據分析

對于客觀性指標，我們通過公開信息平臺獲取數據。對收集到的不同數據，有不同的分析方法，最終將評價方法結合在一起，生成指標評價模型，具體評價方法如表5所示。

大多數二級指標數據是通過爬取電商平臺信息獲得的。大多數評價得分范圍為0-1，對該種方式的定性分析設計如表6所示；由于對社會效益和環(huán)境效益的評價有較多的不確定性，因此，對于評價得分不統(tǒng)一的數值，將對其進行專項定性評價。

3.3.3 基于層次分析法分配權重

本文使用層次分析法為各個三級指標分配權重。層次分析法是指將目標分解為多個目標或準則，進而分解為多指標的若干層次。通過定性指標模糊量化方法算出層次單排序和總排序，以作為多指標、多方案優(yōu)化決策的系統(tǒng)方法[9]。

第一，我們需面向應用構建層次結構模型。在本文中，將標準實施效果的評價設定為最高層，將子系統(tǒng)和一級指標設定為中間層，將二級指標設定為最低層。

第二，根據標準對應的評價指標體系，構建相應的判斷矩陣。從層次結構的第二層開始，對于從屬于上一層每個因素的同一層諸因素，構造判斷矩陣，直至最下層。

第三，計算單層特征向量和最大特征根并進行一致性檢驗。

第四，計算組合特征向量和最大特征根并進行一致性檢驗。

最終，得到相對應的權重向量，即，各個指標的權重分配。

4 有效性驗證

為了驗證我們所提出方法的有效性和可操作性，采用案例分析法和統(tǒng)計分析法對標準進行評價。

我們對標準GY/T 323-2019（AVS2 4K超高清編碼器技術要求和測量方法）的實施效果進行評價。

該標準規(guī)定了視頻編碼采用GY/T 299.1—2016（簡稱AVS2）的4K超高清編碼器的主要技術要求和測量方法。本標準適用于廣播電視專業(yè)用SDI接入的AVS2 4K超高清實時編碼器的開發(fā)、生產、應用、測試和運行維護。

我們把評價該標準的過程分為：分析屬性生成相應的評價指標體系、分析主客觀并收集數據、分配權重、計算評價結果這四步依次進行。

4.1 分析屬性

根據在3.2節(jié)對標準屬性的分析，我們將對GY/ T 323-2019行業(yè)標準進行屬性分析，生成相對應的評價指標體系。

行業(yè)標準是推薦性標準，因此該標準的類型為推薦性標準，對應指標：方便獲取度、宣傳力度、應用推廣、認知程度、推廣反饋、提高生產效益、提高生產率；通過分析該標準文件，該標準沒有替代別的標準，因此對該類標準的評價關注于引用次數、引用評價；該標準主要包含4K超高清編碼器的主要技術要求和測量方法，將用于具體的產品中，故評價時較關注標準實施過程中的過程，對應的評價指標有完成情況、管理措施；該標準內容與環(huán)境能源無關，在評價標準實施效益時更關注其經濟效益，對應的評價指標有提高生產率、提高生產收益；該標準為行業(yè)標準，因此在衡量標準間相關性時，將會考慮到該標準與上下級標準之間的吻合度與先進度。

通過對該標準的各類屬性進行分析，結合屬性與指標體系之間的映射關系，可以得到GY/T 323-2019標準的實施效果評價指標體系，如圖3所示。

4.2 分析主客觀，收集數據

由3.3對主客觀指標的分類，我們對該指標體系的三級指標進行劃分?？陀^指標將通過公開渠道獲取數據，主觀性指標將通過問卷調查法收集數據。具體情況如下：

該標準對應的客觀性三級指標有：應用推廣、推廣反饋、完成情況、引用次數、提高生產率、提高生產收益。該標準適用于廣播電視專業(yè)用SDI接入的AVS2 4K超高清實時編碼器的開發(fā)、生產、應用等。因此，我們將通過爬蟲各大電商平臺的相關數據來計算該標準的客觀性指標評價結果。除客觀性指標意外，其余均為主觀性指標。對該標準制定了相應的問卷，通過在線平臺收集到50份問卷數據，對結果進行分析得到評價數據。各三級指標的評價量化值如表7所示。

4.3 分配權重

我們使用層次分析法為三級指標分配權重。通過對各級指標進行重要程度打分，構建各級的判斷矩陣，分別得到它們各自的權重向量。在計算三級指標對實施效果的權重時，需將該層指標在所屬二級指標中的權重乘以對應的二級指標在一級指標中的權重，即可得到三級指標相對于目標的權重，最終得到的權重向量如下：

Y=[0.03846，0.03846，0.03846，0.03846，0.03846，0.03846，0.02799，0.02099，0.03499，0.02099，0.02799，0.0 8682，0.06512，0.04986，0.04986，0.19231，0.19231]T。

4.4 評價結果

我們通過加權求和的方式得到標準的綜合量化值，并對標準實施效果進行定性分析，具體的評價結果如表7所示。

為了驗證我們所提出方法的合理性，本文檢驗各個指標與目標之間的正負相關性。根據以上結果，繪制了各個三級指標評價數據柱狀圖，如圖4所示。該圖中的橫線表示標準的綜合評價量化值。從該圖可以知道，該標準的推廣反饋評價較高，應用推廣、完成情況、引用次數較低。該標準的綜合評價定性為良好，能夠綜合考慮各個指標的評價情況。因此，本文的評價方法能夠正確反映標準綜合評價與各個三級指標之間的相關性。此外，從該圖中也可以總結出：該標準的應用推廣、完成情況、引用次數方面評價較低，今后可以關注這幾個方面的發(fā)展。綜上所述，本文所提出的評價方法是合理的。

5 結論

對標準實施效果進行評價是非常有意義的，然而對實施效果進行精確評價是困難的。本文考慮到各個標準的特點，通過標準屬性與評價指標之間的映射關系，構建個性化的評價指標體系。除此之外，使用主客觀結合的數據收集方法，對評價指標進行評估。最后，采用層次分析法，為各個指標分配權重，與指標評價值加權求和得到標準的綜合評價量化值。