金山 邵之一 陳曉珊 裘誠

摘? 要： 評審專家作為評審環(huán)節(jié)的關(guān)鍵核心要素，很大程度上影響著評審結(jié)果的可行性和可信度，其評審水平直接影響著項目決策的科學(xué)性。文章研究了專家評審的監(jiān)測及行為智能分析技術(shù)。以科技項目評審為重心，以系統(tǒng)監(jiān)控及網(wǎng)絡(luò)監(jiān)視技術(shù)、大數(shù)據(jù)分析挖掘技術(shù)以及層次分析法等技術(shù)為基礎(chǔ)，對專家的評審行為進行全程監(jiān)測，對采集的監(jiān)測數(shù)據(jù)進行實時智能分析，針對專家不規(guī)范操作進行智能提醒。

關(guān)鍵詞： 評審專家; 系統(tǒng)監(jiān)測; 智能分析; 項目決策

中圖分類號：TP315? ? ? ? ? 文獻標識碼：A? ? ?文章編號：1006-8228（2021）05-13-03

Research on the monitoring and behavior intelligent analysis of

the science and technology project reviewing

Jin Shan， Shao Zhiyi， Chen Xiaoshan， Qiu Cheng

（Zhejiang Topcheer Information Technology Co.，Ltd.， Hangzhou， Zhejiang 310006， China）

Abstract： Review experts as the key core elements of the review process， greatly affect the feasibility and credibility of the review results， their ability of reviewing directly affects the scientificity of project decision. This paper studies the technologies for monitoring and behavior intelligence analyzing of expert review. Focusing on the science and technology project reviewing， based on the technologies of system monitoring and network monitoring， big data analysis and mining， and analytic hierarchy process， and the other technologies， fully monitor the review behavior of experts， conduct real-time intelligent analysis of the collected monitoring data， and intelligently remind the experts of their non-standard operation.

Key words： review expert; system monitoring; intelligent analysis; project decision

0 引言

隨著科學(xué)技術(shù)的持續(xù)發(fā)展和社會的不斷進步，各類科學(xué)技術(shù)研究項目的申報數(shù)量也越來越多?？萍柬椖吭u審是科技計劃管理的重要環(huán)節(jié)之一，是推動科技事業(yè)持續(xù)健康發(fā)展，促進科技資源優(yōu)化配置，提高科技管理水平的重要手段[1]。如何利用信息化手段來避免部分專家在評審過程中的隨意性、盲目性，發(fā)揮專家的專業(yè)性是很關(guān)鍵的?？萍忌陥箜椖考纫紤]其管理效率又要保證公平評審是目前科技管理部門遇到的管理難點。

本文提出一種在科技項目評審過程中的監(jiān)測及行為智能分析的方法，其通過對專家的評審行為進行全程監(jiān)測，全面分析專家評審行為，建立評審專家行為畫像技術(shù)指標體系和評估模型，對評審專家進行反評估，之后將指標體系和評估模型應(yīng)用于系統(tǒng)中，規(guī)范專家評審行為、發(fā)揮專家專業(yè)性，保證科技項目評審過程的客觀、公平、公正、公開，為決策者提供更科學(xué)、精準的評審結(jié)果及決策依據(jù)。

1 Zabbix介紹

Zabbix是一個基于Web界面的提供分布式系統(tǒng)監(jiān)視以及網(wǎng)絡(luò)監(jiān)視功能的企業(yè)級的開源解決方案。Zabbix能監(jiān)視各種網(wǎng)絡(luò)參數(shù)，保證服務(wù)器系統(tǒng)的安全運營;并提供靈活的通知機制以讓系統(tǒng)管理員快速定位/解決存在的各種問題。Zabbix由兩部分構(gòu)成，zabbix server與可選組件zabbix agent。Zabbix server可以通過SNMP，zabbix agent，ping，端口監(jiān)視等方法提供對遠程服務(wù)器/網(wǎng)絡(luò)狀態(tài)的監(jiān)視以及數(shù)據(jù)收集等功能，它可以運行在Linux，Solaris，HP-UX，AIX，F(xiàn)ree BSD，Open BSD，OS X等平臺上。

本文所實現(xiàn)指標體系及評估模型通過Zabbix在項目里對專家評審時的操作動作進行記錄和監(jiān)測。

2 RapidMiner介紹

RapidMiner是世界領(lǐng)先的數(shù)據(jù)挖掘解決方案，具有豐富數(shù)據(jù)挖掘分析和算法功能，常用于解決各種的商業(yè)關(guān)鍵問題，如營銷響應(yīng)率、客戶細分、客戶忠誠度及終身價值、資產(chǎn)維護、資源規(guī)劃、預(yù)測性維修、質(zhì)量管理、社交媒體監(jiān)測和情感分析等典型商業(yè)案例。

擁有以下產(chǎn)品特點。

⑴ 拖拽建模，自帶1500多個函數(shù)，無需編程，同時支持各常見語言代碼編寫。

⑵ 數(shù)據(jù)提取、轉(zhuǎn)換和加載（ETL）功能。

⑶ 生成和導(dǎo)出數(shù)據(jù)、報告和可視化。

⑷ 為技術(shù)性和非技術(shù)性用戶設(shè)計的交互式界面。

⑸ 通過WebServices應(yīng)用將分析流程整合到現(xiàn)有工作流程中。

本文利用RapidMiner大數(shù)據(jù)分析挖掘算法關(guān)鍵技術(shù)，結(jié)合科技評審管理方法，通過評審項目全過程的需求分析，提煉并整合出適合系統(tǒng)的算法模型。

3 層次分析法

層次分析法（The analytic hierarchy process）簡稱AHP，在20世紀70年代中期由美國運籌學(xué)家托馬斯·塞蒂（T.L.saaty）正式提出。它是一種分析多目標、多準則量化、將人腦分析方案的過程數(shù)學(xué)化、定性與定量相結(jié)合的系統(tǒng)分析方法。其原理是把復(fù)雜的問題分解為n個組成元素，將這些因素按支配關(guān)系分組，以形成有序的階梯層次結(jié)構(gòu)。最簡單的是頂中低三層，頂層通常是決策的目標和目的，是唯一的。底層是可供選擇的不同方案，中層是分析評價影響方案好壞的因素[2]，然后通過兩兩比較的方法確定各因素的相對重要性。

AHP法的基本思路是：首先找出目標問題涉及的主要因素，將這些按其關(guān)聯(lián)、隸屬關(guān)系構(gòu)成遞階層次模型[3]，然后在每一層次按照某一規(guī)定準則，對該層要素進行逐對相對重要性比較建立判斷矩陣，通過計算來判斷矩陣的最大特征值和對應(yīng)的正交化特征向量，得出該層要素對于該準則的權(quán)重;最后在這個基礎(chǔ)上計算出各層次要素對總體目標的組合權(quán)重，從而得出不同設(shè)計方案的權(quán)值，為選擇最優(yōu)方案提供依據(jù)。

本文基于層次分析法構(gòu)建了專家評審行為評估模型，為專家?guī)旃芾韺崿F(xiàn)公開透明、績效導(dǎo)向、動態(tài)調(diào)整提供科學(xué)有效的管理工具。

4 技術(shù)先進性

4.1 隨機雙盲專家遴選系統(tǒng)

評審系統(tǒng)采用全程無人值守的方式運作，只需要提前設(shè)定好需要的專家數(shù)和要求，系統(tǒng)就會自動對統(tǒng)一批次的項目進行自動分組，自動匹配專家（專業(yè)、項目經(jīng)歷）、隨機抽?。ㄗ詣右?guī)避項目相關(guān)的專家及單位）、自動確認并開啟項目評審，自動分發(fā)賬號，自動增補替代未及時到位的專家和臨時自主規(guī)避的專家，已應(yīng)用于項目評審過程中。

4.2 智能推薦

對申報項目、評審專家進行大數(shù)據(jù)分析，比較項目的相似度，按照相似度排序，提醒項目審核人員進行決策判斷。在評審專家智能推薦環(huán)節(jié)，根據(jù)專家參加評審項目類型的相似度進行智能匹配推薦。

5 功能介紹

系統(tǒng)根據(jù)國家互聯(lián)互通標準建立專家?guī)旒軜?gòu)，并為各類型項目設(shè)立不同類別的子庫來適應(yīng)各類計劃項目的評審工作;通過系統(tǒng)構(gòu)建的專家與技術(shù)領(lǐng)域、專家與企業(yè)等關(guān)系模型，提高專家抽取的精準匹配度，降低專家廉政風(fēng)險。

5.1 專家評審配置和抽取

當抽取專家參與評審時，可設(shè)定對應(yīng)的抽取條件，管理員只需要設(shè)定評審相關(guān)參數(shù)即可自動對統(tǒng)一批次的項目進行自動分組。

系統(tǒng)會根據(jù)預(yù)設(shè)的模式自動通知合適的專家，確認專家是否能來參加，在專家到齊后自動開啟評審并發(fā)放賬號，在專家數(shù)不夠時自動增補專家，并在專家主動回避時自動替換專家。抽取過程中，全程自動處理，避免人工干預(yù)。

在選擇專家評審模式后，可配置短信模板，可針對不同情況配置短信模板。當評審結(jié)果為平票時，本系統(tǒng)還支持多輪評審，直至票選出最優(yōu)項目。

5.2 后臺監(jiān)控進度

采用系統(tǒng)監(jiān)控及網(wǎng)絡(luò)監(jiān)視技術(shù)，管理員可以通過后臺監(jiān)控模塊對專家評審結(jié)果進行實時的監(jiān)控分析，包括現(xiàn)場評審監(jiān)控，監(jiān)管專家實際登錄及評審進度等情況，如圖1所示。該界面顯示所有在評項目，支持對單個項目的狀態(tài)監(jiān)控，在屏蔽掉專家基礎(chǔ)信息后僅顯示評審的進度，保護了在評專家的隱私信息。

5.3 導(dǎo)出專家評審結(jié)果

在專家完成評審后，可將評審結(jié)果導(dǎo)出并發(fā)送至上級單位進行驗證，在發(fā)送結(jié)果的同時，可將該信息通過短信通知上級單位。

5.4 專家信用評價

專家在項目管理過程中缺乏專家進行評價的重要依據(jù)，在評審過程中對專家的評審行為進行全程監(jiān)測，依據(jù)專家在評審時的評審意見、評審時長、評審分數(shù)等，對專家評審行為做出統(tǒng)計，進而進行信用評價，統(tǒng)計圖表如圖2所示。系統(tǒng)錄入專家響應(yīng)的評價等級、失信行為程度、具體失信行為、信用記錄原因等因素，采用層次分析法的方式構(gòu)建專家評審行為評估模型，對評審專家行為特征進行智能分析，針對專家不規(guī)范操作進行智能提醒，限制信用等級低的專家的評審資格。

6 結(jié)束語

專家評審是科技項目管理工作的重要組成部分，科學(xué)合理的評審，有利于科技資源的優(yōu)化配置，提升科技工作者的積極性，提高科技管理水平。因此，需要加強專家評審過程中的過程監(jiān)測。本文結(jié)合系統(tǒng)監(jiān)控及網(wǎng)絡(luò)監(jiān)視技術(shù)、大數(shù)據(jù)分析挖掘技術(shù)以及層次分析法等技術(shù)，對評審專家評審過程進行監(jiān)測，對行為特征進行智能分析，對評審專家進行反評估，針對專家不規(guī)范操作進行智能提醒，為專家評審行為和評審專家?guī)斓囊?guī)范和優(yōu)化提供參考依據(jù)，進而提高科技項目評審質(zhì)量?；谏鲜鲅芯砍晒麑崿F(xiàn)了科技項目評審監(jiān)測及行為智能分析系統(tǒng)，項目成功推廣應(yīng)用到多個省市自治區(qū)科技項目管理系統(tǒng)中，成效結(jié)果表明，專家推薦結(jié)果是比較合理和準確的，驗證了本文提出的專家評審行為評估模型是可行的和有效的。

參考文獻（References）：

[1] 郭曉巖，邵武杰.科技評價是提高科技管理水平的重要手段[J].中國科技成果，2006.8：26-27，36

[2] 王麗玫.層次分析法在系統(tǒng)評價方法中的應(yīng)用[J].煤，2001.1.

[3] 吳殿廷，李東方.層次分析法的不足及其改進的途徑[J].北京師范大學(xué)學(xué)報：自然科學(xué)版，2004.40（2）：264-268