孟祥峰，王 浩，張 超，李佳戈，李靜莉

（中國食品藥品檢定研究院醫(yī)療器械檢定所，北京 102629）

0 引言

當(dāng)前，我國醫(yī)學(xué)人工智能產(chǎn)業(yè)得到快速發(fā)展，審評(píng)、審批制度改革持續(xù)推進(jìn)，且近些年陸續(xù)出臺(tái)了多個(gè)相關(guān)醫(yī)學(xué)人工智能的審查指導(dǎo)原則[1-4]，國內(nèi)外也有多種針對(duì)不同數(shù)據(jù)模態(tài)和疾病的產(chǎn)品上市或進(jìn)行研究[5-9]。在評(píng)價(jià)方面，人工智能醫(yī)療器械標(biāo)準(zhǔn)化技術(shù)歸口單位起草了多個(gè)標(biāo)準(zhǔn)并公開向社會(huì)征求意見[10-13]，但醫(yī)學(xué)人工智能產(chǎn)品檢測(cè)手段目前還滿足不了實(shí)際需求，產(chǎn)品上市前的算法評(píng)價(jià)主要依賴臨床確認(rèn)，人力、物力成本投入較大。即使臨床機(jī)構(gòu)已經(jīng)建立了數(shù)據(jù)庫和操作平臺(tái)，但如果沒有按照標(biāo)準(zhǔn)要求對(duì)數(shù)據(jù)標(biāo)注、數(shù)據(jù)庫質(zhì)量和算法等開展質(zhì)量評(píng)價(jià)，所開發(fā)的人工智能產(chǎn)品也很難滿足臨床使用要求。醫(yī)學(xué)人工智能產(chǎn)品檢測(cè)是統(tǒng)一生產(chǎn)與監(jiān)管評(píng)價(jià)標(biāo)準(zhǔn)、顯著降低企業(yè)成本、縮短產(chǎn)品上市周期、支撐新興產(chǎn)業(yè)發(fā)展的必要舉措，然而醫(yī)學(xué)人工智能產(chǎn)品檢測(cè)服務(wù)目前還普遍存在局限性，比如以單一病種為維度的標(biāo)準(zhǔn)數(shù)據(jù)集建設(shè)無法滿足多目標(biāo)、多用途產(chǎn)品的檢測(cè)需求；業(yè)內(nèi)很多公司嘗試自行開發(fā)檢測(cè)平臺(tái)來滿足中試加速和針對(duì)性調(diào)優(yōu)的需求，導(dǎo)致重復(fù)投入、方法不一、數(shù)據(jù)集質(zhì)量和產(chǎn)品指標(biāo)缺乏可比性，大大影響了我國新興醫(yī)學(xué)人工智能產(chǎn)業(yè)的創(chuàng)新發(fā)展。

以往人工智能產(chǎn)品的檢測(cè)模式多為局部的、分散式的模式，從數(shù)據(jù)集創(chuàng)建、數(shù)據(jù)標(biāo)注、數(shù)據(jù)質(zhì)控、測(cè)試集生成到產(chǎn)品性能評(píng)價(jià)[14-16]的各個(gè)環(huán)節(jié)相互孤立，不同機(jī)構(gòu)建立的數(shù)據(jù)集兼容性、可比性難以控制。基于云端的檢測(cè)平臺(tái)有望優(yōu)化資源利用、降低成本，但業(yè)內(nèi)缺乏成熟的先例?；诖?，建立網(wǎng)絡(luò)化、標(biāo)準(zhǔn)化的檢測(cè)平臺(tái)，提供集約化的安全監(jiān)控和檢測(cè)能力，亟須做好頂層設(shè)計(jì)。

本研究基于當(dāng)前技術(shù)策略及系統(tǒng)架構(gòu)方式，通過采用集中式的人工智能產(chǎn)品檢測(cè)服務(wù)工具，集成建立整體技術(shù)架構(gòu)，并將新技術(shù)正確地嵌入整體的IT 系統(tǒng)和基礎(chǔ)架構(gòu)中，形成統(tǒng)一完備的人工智能運(yùn)營產(chǎn)品形態(tài)，同時(shí)利用統(tǒng)一的基于評(píng)價(jià)機(jī)制的運(yùn)營中心提供集約化的檢測(cè)、監(jiān)測(cè)、分析能力，實(shí)現(xiàn)影像輔助檢測(cè)、輔助分類等人工智能產(chǎn)品在測(cè)試中的數(shù)據(jù)治理、任務(wù)調(diào)度、算法測(cè)試、安全管理及人員管理?；谏鲜龇椒ń⒌尼t(yī)學(xué)人工智能產(chǎn)品檢測(cè)平臺(tái)將為多數(shù)據(jù)模態(tài)、多病種醫(yī)學(xué)人工智能模型建立動(dòng)態(tài)評(píng)價(jià)機(jī)制，打造面向醫(yī)學(xué)人工智能產(chǎn)業(yè)全生命周期的檢測(cè)服務(wù)體系。

1 平臺(tái)架構(gòu)設(shè)計(jì)

1.1 平臺(tái)整體架構(gòu)

醫(yī)學(xué)人工智能產(chǎn)品檢測(cè)平臺(tái)整體體系架構(gòu)包括基礎(chǔ)設(shè)施層、能力層和應(yīng)用層3 個(gè)部分，如圖1 所示。本平臺(tái)通過模塊化設(shè)計(jì)，降低業(yè)務(wù)間的耦合。低耦合、高內(nèi)聚的技術(shù)架構(gòu)設(shè)計(jì)支持關(guān)鍵技術(shù)模塊的獨(dú)立運(yùn)行和部署，如標(biāo)注模塊、數(shù)據(jù)管理模塊、監(jiān)測(cè)模塊等，可以低成本地根據(jù)需求進(jìn)行靈活擴(kuò)展，保證應(yīng)用架構(gòu)的健壯性。

圖1 醫(yī)學(xué)人工智能產(chǎn)品檢測(cè)平臺(tái)整體架構(gòu)圖

在基礎(chǔ)設(shè)施層，基于虛擬化、分布式存儲(chǔ)、并行計(jì)算、負(fù)載調(diào)度等技術(shù)，為云服務(wù)提供完善的云基礎(chǔ)設(shè)施，為上層應(yīng)用提供計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)等虛擬資源。本平臺(tái)架構(gòu)中，服務(wù)器硬件處于架構(gòu)底層，較基礎(chǔ)且通用性很強(qiáng)，能提供底層操作系統(tǒng)和軟件的運(yùn)行環(huán)境；應(yīng)用入口處于架構(gòu)高層級(jí)，形式相對(duì)靈活，復(fù)用性較低。在部署形式上，平臺(tái)基于混合云架構(gòu)模式，采用小型化部署形態(tài)，形成共性接口的規(guī)范，如業(yè)務(wù)觸發(fā)、任務(wù)調(diào)度等，同時(shí)歸類、抽取不同業(yè)務(wù)場(chǎng)景的共性部分，支撐完成不同類產(chǎn)品業(yè)務(wù)流、任務(wù)流、工作流。

在能力層，提供平臺(tái)所需的資源能力，包括檢定管理能力、資源管理能力、檢測(cè)服務(wù)管理能力、接入管理能力等，支撐應(yīng)用層的技術(shù)體現(xiàn)、升級(jí)迭代、業(yè)務(wù)推廣，實(shí)現(xiàn)全生命周期檢測(cè)服務(wù)。

在應(yīng)用層，解決實(shí)踐和創(chuàng)新的問題，主要面向特定醫(yī)療應(yīng)用場(chǎng)景，提供用戶管理、檢測(cè)需求錄入、人工智能模型管理、數(shù)據(jù)集管理、數(shù)據(jù)內(nèi)容展示、測(cè)試集管理、第三方標(biāo)注工具接入等功能，為送檢客戶提供算法評(píng)價(jià)、數(shù)據(jù)評(píng)價(jià)等服務(wù)。

1.2 平臺(tái)建設(shè)

醫(yī)學(xué)人工智能產(chǎn)品檢測(cè)平臺(tái)包括數(shù)據(jù)入庫、數(shù)據(jù)標(biāo)注、數(shù)據(jù)配置、產(chǎn)品送檢、算法測(cè)試、數(shù)據(jù)集質(zhì)量評(píng)價(jià)等模塊。不同的功能模塊、業(yè)務(wù)流程是并行的。其中，算法測(cè)試、數(shù)據(jù)標(biāo)注、數(shù)據(jù)集質(zhì)量評(píng)價(jià)等模塊按照現(xiàn)有的人工智能醫(yī)療器械行業(yè)標(biāo)準(zhǔn)進(jìn)行設(shè)計(jì)。

在研發(fā)環(huán)境方面，平臺(tái)根據(jù)業(yè)務(wù)能力建設(shè)的總體規(guī)劃方案，構(gòu)建開發(fā)環(huán)境、測(cè)試環(huán)境、生產(chǎn)環(huán)境，支撐SpringBoot、SpringCloud、Python Django 等研發(fā)體系搭建代碼管理工具。依托分布式版本控制系統(tǒng)的多任務(wù)協(xié)調(diào)管理能力，建立研發(fā)工程師的獨(dú)立用戶體系。其中測(cè)試環(huán)境用于平臺(tái)代碼的測(cè)試，與生產(chǎn)環(huán)境、客戶數(shù)據(jù)隔離。生產(chǎn)環(huán)境用于測(cè)試已完成的代碼的發(fā)布，上線后為客戶提供應(yīng)用服務(wù)。平臺(tái)依托云資源的GPU算力、CPU 運(yùn)力、Linux 基礎(chǔ)支撐，構(gòu)建面向多線程、多組件的應(yīng)用環(huán)境，支撐代碼的模塊化，提升系統(tǒng)性能。本平臺(tái)采用云聯(lián)網(wǎng)的私有化部署形態(tài)，全部的生產(chǎn)數(shù)據(jù)均存放在本地?cái)?shù)據(jù)中心。

在技術(shù)支撐方面，平臺(tái)預(yù)期提供跨模型、跨方法、跨機(jī)構(gòu)的檢測(cè)服務(wù)，面向醫(yī)學(xué)人工智能產(chǎn)品的全生命周期（研發(fā)、上市前、上市后）。平臺(tái)面向科研院校、企業(yè)等社會(huì)機(jī)構(gòu)開放使用，可提供人工智能公共服務(wù)組件，如TensorFlow、PyTorch、MXNet 和Caffe 多種主流人工智能計(jì)算框架，通過社會(huì)化效應(yīng)建立數(shù)據(jù)支持、技術(shù)支撐、方法支撐、標(biāo)準(zhǔn)支撐，形成多源異構(gòu)數(shù)據(jù)入庫、智能數(shù)據(jù)標(biāo)注、數(shù)據(jù)中臺(tái)、評(píng)價(jià)檢測(cè)等技術(shù)能力。平臺(tái)建設(shè)方案如圖2 所示。

圖2 醫(yī)學(xué)人工智能產(chǎn)品檢測(cè)平臺(tái)建設(shè)方案

1.3 基于安全認(rèn)證的準(zhǔn)入中心

為保證權(quán)限控制與訪問安全，平臺(tái)通過鑒權(quán)流程設(shè)計(jì)，實(shí)現(xiàn)用戶信息統(tǒng)一管理和單點(diǎn)登錄功能，服務(wù)于不同能力提供方的模塊化接入，可形成統(tǒng)一安全的鑒權(quán)能力；子系統(tǒng)歸集主要解決一次登錄訪問多個(gè)獨(dú)立應(yīng)用的問題，在登錄方案出現(xiàn)之前，每個(gè)應(yīng)用都需要獨(dú)立登錄維持各自的會(huì)話；通過權(quán)限管理建立用戶屬性，具備公眾用戶、企業(yè)用戶、專家、區(qū)域管理員等角色，形成運(yùn)營管理一體化能力，具體如下：

（1）鑒權(quán)流程設(shè)計(jì)。統(tǒng)一單點(diǎn)登錄系統(tǒng)提供統(tǒng)一授權(quán)認(rèn)證接口，保障各個(gè)子系統(tǒng)進(jìn)行能力對(duì)接，可以實(shí)現(xiàn)用戶信息統(tǒng)一管理和單點(diǎn)登錄功能。

（2）接入認(rèn)證。安全單點(diǎn)登錄是運(yùn)營及檢定服務(wù)平臺(tái)的核心組件之一，也是檢定服務(wù)平臺(tái)的安全屏障。

（3）權(quán)限管理。單點(diǎn)登錄驗(yàn)證成功后，用戶可以訪問平臺(tái)下的所有應(yīng)用系統(tǒng)，因此保證單點(diǎn)登錄的安全是保證應(yīng)用系統(tǒng)安全的前提。

（4）子系統(tǒng)歸集。單點(diǎn)登錄系統(tǒng)在私有云內(nèi)獨(dú)立部署，與公有云形成物理隔離及安全準(zhǔn)入，其與網(wǎng)絡(luò)附屬存儲(chǔ)（network attached storage，NAS）系統(tǒng)的獨(dú)立安全域內(nèi)各子業(yè)務(wù)統(tǒng)一進(jìn)行鑒權(quán)，實(shí)現(xiàn)子系統(tǒng)歸集，在一次登錄中可訪問多個(gè)獨(dú)立應(yīng)用。統(tǒng)一進(jìn)行鑒權(quán)。

（5）白名單管理。建立訪問IP 白名單機(jī)制。

1.4 基于多中心數(shù)據(jù)的安全存儲(chǔ)方案

數(shù)據(jù)安全存儲(chǔ)中心采用本地化部署的方式，實(shí)現(xiàn)多中心/醫(yī)院數(shù)據(jù)的安全存儲(chǔ)；各子業(yè)務(wù)系統(tǒng)對(duì)數(shù)據(jù)的訪問需經(jīng)過點(diǎn)對(duì)點(diǎn)專線統(tǒng)一進(jìn)行鑒權(quán)，點(diǎn)對(duì)點(diǎn)專線形式的安全通道可以保障用戶與數(shù)據(jù)的絕對(duì)安全；采用基于多協(xié)議標(biāo)簽交換（multiprotocol label switching，MPLS）技術(shù)的虛擬專用網(wǎng)（virtual private network，VPN）的點(diǎn)對(duì)點(diǎn)專線，實(shí)現(xiàn)跨地域、安全、高速、可靠的數(shù)據(jù)和圖像多業(yè)務(wù)通信，并結(jié)合差別服務(wù)、流量工程等相關(guān)技術(shù)，將公眾網(wǎng)可靠的性能、良好的擴(kuò)展性、豐富的功能與專用網(wǎng)的安全、靈活、高效結(jié)合，為用戶提供高質(zhì)量的服務(wù)，形成全流程數(shù)據(jù)多中心安全存儲(chǔ)方案，如圖3 所示。

圖3 多中心數(shù)據(jù)安全存儲(chǔ)方案設(shè)計(jì)圖

2 重點(diǎn)應(yīng)用服務(wù)流程設(shè)計(jì)

2.1 數(shù)據(jù)入庫

用戶首先需要根據(jù)上傳數(shù)據(jù)的模態(tài)下載相應(yīng)的入庫模板，用于填寫上傳數(shù)據(jù)的元數(shù)據(jù)信息，包含患者的基本信息、數(shù)據(jù)模態(tài)信息、數(shù)據(jù)采集信息等。這些信息不僅是數(shù)據(jù)質(zhì)控的內(nèi)容，也可保證入庫數(shù)據(jù)信息的規(guī)范化，實(shí)現(xiàn)面向社會(huì)開放的、多樣化的測(cè)試數(shù)據(jù)集的收集，為數(shù)據(jù)集建設(shè)提供統(tǒng)一的模板，為數(shù)據(jù)集的開放共享提供平臺(tái)。數(shù)據(jù)按照模板的要求打包上傳后，平臺(tái)會(huì)通過自動(dòng)審核+人工審核的方式進(jìn)行審核，保證數(shù)據(jù)的合規(guī)性、唯一性、完整性，達(dá)到審核標(biāo)準(zhǔn)的數(shù)據(jù)可存入樣本庫。

2.2 產(chǎn)品送檢及測(cè)試集生成

平臺(tái)為不同模態(tài)的數(shù)據(jù)打造了專屬的送檢模板，包含產(chǎn)品的基本信息、適應(yīng)證及對(duì)數(shù)據(jù)的要求等，以便收集用戶個(gè)性化檢測(cè)需求，從而選擇合適的數(shù)據(jù)集進(jìn)行評(píng)價(jià)測(cè)試。

用戶按模板填寫送檢信息并提交送檢申請(qǐng)后，區(qū)域檢定員進(jìn)行審核，確認(rèn)平臺(tái)是否滿足用戶需求。審核通過后，用戶可申請(qǐng)服務(wù)器資源配置以部署待檢產(chǎn)品。平臺(tái)開放公共支撐組件，提供鏡像庫IaaS 支撐能力，為檢品提供部署環(huán)境。

檢品部署完成后，將檢測(cè)需求提交至數(shù)據(jù)中臺(tái)；數(shù)據(jù)中臺(tái)將需求解譯，提供搜索項(xiàng)，包括樣本量、數(shù)據(jù)分布、數(shù)據(jù)規(guī)范信息、參考標(biāo)準(zhǔn)信息等，對(duì)數(shù)據(jù)進(jìn)行篩選，并對(duì)搜索到的數(shù)據(jù)創(chuàng)建測(cè)試集用于后續(xù)檢測(cè)。

2.3 數(shù)據(jù)標(biāo)注

如果檢索到數(shù)據(jù)的標(biāo)注信息無法滿足當(dāng)前測(cè)試的要求時(shí)，該測(cè)試集會(huì)打包生成標(biāo)注任務(wù)，開展新的標(biāo)注，以適配當(dāng)前任務(wù)。標(biāo)注工具支持基本標(biāo)注任務(wù)類型，包括分類標(biāo)注、分割標(biāo)注和檢出標(biāo)注，涵蓋影像、文本、信號(hào)、圖片、視頻等模態(tài)。在保證標(biāo)注結(jié)果質(zhì)量的前提下，為了提高標(biāo)注準(zhǔn)確度與效率，采用人機(jī)相結(jié)合的智能標(biāo)注方式，在檢測(cè)平臺(tái)導(dǎo)入人工智能模型進(jìn)行預(yù)標(biāo)注。同時(shí)，平臺(tái)實(shí)現(xiàn)了多人標(biāo)注的流程設(shè)計(jì)，加入多個(gè)質(zhì)控環(huán)節(jié)，保證標(biāo)注過程的可追溯性。

2.4 產(chǎn)品檢測(cè)

平臺(tái)將人工智能產(chǎn)品的檢測(cè)指標(biāo)劃分為檢出、分類、分割3 類，對(duì)每類指標(biāo)均建立了測(cè)試腳本庫。在具體測(cè)試過程中，根據(jù)用戶檢測(cè)申請(qǐng)，將進(jìn)行以下6 個(gè)步驟：（1）啟動(dòng)待測(cè)的算法模型；（2）導(dǎo)入測(cè)試集；（3）輸出預(yù)測(cè)結(jié)果；（4）調(diào)用測(cè)試腳本庫；（5）將預(yù)測(cè)結(jié)果與參考標(biāo)準(zhǔn)進(jìn)行對(duì)比計(jì)算；（6）形成檢測(cè)記錄和檢測(cè)報(bào)告，檢測(cè)報(bào)告可通過平臺(tái)供用戶下載獲取。

此外，針對(duì)常規(guī)指標(biāo)無法評(píng)價(jià)產(chǎn)品對(duì)于真實(shí)世界的陌生樣本或極端樣本的性能問題，平臺(tái)構(gòu)建了白盒和黑盒測(cè)試工具，基于專病擾動(dòng)庫生成對(duì)抗樣本，實(shí)現(xiàn)人工智能產(chǎn)品泛化能力和魯棒性測(cè)試。

為了滿足全生命周期的檢測(cè)需求，平臺(tái)在檢測(cè)流程中還設(shè)計(jì)了支持算法調(diào)優(yōu)、更新再評(píng)價(jià)、重復(fù)性檢測(cè)等。

根據(jù)以上設(shè)計(jì)，平臺(tái)業(yè)務(wù)流程如圖4 所示。

圖4 醫(yī)學(xué)人工智能產(chǎn)品檢測(cè)平臺(tái)業(yè)務(wù)流程設(shè)計(jì)圖

3 典型應(yīng)用服務(wù)體系及成果

3.1 產(chǎn)品送檢

平臺(tái)已通過定點(diǎn)開放的形式，面向研發(fā)機(jī)構(gòu)和生產(chǎn)企業(yè)上線運(yùn)營，可從3 個(gè)方面規(guī)范運(yùn)營體系：首先，從安全體系入手，單點(diǎn)登錄系統(tǒng)支持身份綁定及任務(wù)權(quán)限接入綁定，從用戶注冊(cè)、用戶登錄、身份認(rèn)證及角色賦予等幾方面保證用戶及數(shù)據(jù)的隱私安全；然后，根據(jù)不同模態(tài)數(shù)據(jù)及病種的檢測(cè)需求，制訂送檢量表規(guī)范、數(shù)據(jù)采集規(guī)范、結(jié)果記錄規(guī)范，助推檢測(cè)流程的標(biāo)準(zhǔn)化；最后，全面建立檢測(cè)評(píng)價(jià)體系，圍繞檢測(cè)管理的時(shí)效性、互動(dòng)性形成規(guī)范化業(yè)務(wù)流程操作指引。

平臺(tái)支持線上發(fā)起檢測(cè)申請(qǐng)，用戶可以按照送檢模板填寫送檢需求，滿足個(gè)性化的檢測(cè)需求。該方式改變了傳統(tǒng)線下封閉檢測(cè)的方式。在送檢產(chǎn)品部署方式上，平臺(tái)可根據(jù)用戶需求按產(chǎn)品、類別提供線上服務(wù)器資源。同時(shí)根據(jù)使用周期定期釋放送檢資源，動(dòng)態(tài)化匹配各類業(yè)務(wù)的共性資源使用。網(wǎng)上送檢界面如圖5 所示。

圖5 網(wǎng)上送檢界面

3.2 數(shù)據(jù)管理

根據(jù)數(shù)據(jù)安全專網(wǎng)接口調(diào)度能力，平臺(tái)構(gòu)建按產(chǎn)品分類的多權(quán)限數(shù)據(jù)存儲(chǔ)模式。用戶在上傳數(shù)據(jù)時(shí)，須在可見性及預(yù)期用途2 個(gè)維度進(jìn)行選擇，以便平臺(tái)對(duì)數(shù)據(jù)的使用權(quán)限進(jìn)行控制。在數(shù)據(jù)可見性上可選擇數(shù)據(jù)共享與非共享2 種方式，共享的數(shù)據(jù)可被其他用戶檢索并使用，不共享的數(shù)據(jù)僅供該用戶檢索使用。該方式實(shí)現(xiàn)了數(shù)據(jù)的區(qū)域性管理以及平臺(tái)的多賬號(hào)體系運(yùn)營。在預(yù)期用途上可選擇訓(xùn)練數(shù)據(jù)和測(cè)試數(shù)據(jù)2 種用途，以保證用于算法調(diào)優(yōu)的數(shù)據(jù)與用于檢測(cè)評(píng)價(jià)的數(shù)據(jù)的獨(dú)立性，滿足用戶在產(chǎn)品不同的生命周期階段的檢測(cè)需求。此外，本研究采用了跨模態(tài)、跨形態(tài)的醫(yī)學(xué)數(shù)據(jù)檢索方法，實(shí)現(xiàn)數(shù)據(jù)資源、標(biāo)注工具、檢測(cè)技術(shù)體系的聯(lián)動(dòng)，可快速生成能夠匹配用戶檢測(cè)需求的測(cè)試數(shù)據(jù)集。數(shù)據(jù)管理界面如圖6 所示。

圖6 數(shù)據(jù)管理界面

3.3 服務(wù)提供

平臺(tái)利用數(shù)據(jù)的多元管理，可為用戶提供研發(fā)階段、上市前、上市后的性能評(píng)價(jià)，包括算法調(diào)優(yōu)任務(wù)、更新再評(píng)價(jià)任務(wù)、重復(fù)性檢測(cè)任務(wù)3 種，具體如下：（1）算法調(diào)優(yōu)任務(wù)：執(zhí)行算法調(diào)優(yōu)任務(wù)時(shí)，平臺(tái)僅可檢索訓(xùn)練數(shù)據(jù)，檢索出的訓(xùn)練數(shù)據(jù)可根據(jù)用戶需求自由配置。在同一任務(wù)下可申請(qǐng)多次檢測(cè)，平臺(tái)服務(wù)器資源支持每次檢測(cè)前產(chǎn)品的在線調(diào)參，避免重復(fù)部署。（2）更新再評(píng)價(jià)任務(wù)：執(zhí)行更新再評(píng)價(jià)任務(wù)時(shí)，平臺(tái)僅可檢索測(cè)試數(shù)據(jù)，在同一任務(wù)下可申請(qǐng)多次檢測(cè)，每次申請(qǐng)僅可更新檢品，不可更換測(cè)試集，以驗(yàn)證檢品升級(jí)后的性能。（3）重復(fù)性檢測(cè)任務(wù)：執(zhí)行重復(fù)性檢測(cè)任務(wù)時(shí)，平臺(tái)僅可檢索測(cè)試數(shù)據(jù)，在同一任務(wù)下可申請(qǐng)多次檢測(cè)，每次申請(qǐng)僅可更換測(cè)試集，不可調(diào)整檢品，以驗(yàn)證產(chǎn)品在不同數(shù)據(jù)組成下的性能，完成不同維度的壓力測(cè)試。除以上3 種測(cè)試任務(wù)外，根據(jù)平臺(tái)的多工具集成屬性，也可為用戶提供多種單獨(dú)的數(shù)據(jù)質(zhì)量評(píng)價(jià)服務(wù)、數(shù)據(jù)標(biāo)注服務(wù)等來滿足檢測(cè)整個(gè)鏈條及單點(diǎn)的多層次檢測(cè)服務(wù)，如圖7 所示。

圖7 檢測(cè)服務(wù)界面

3.4 相關(guān)標(biāo)準(zhǔn)檢驗(yàn)?zāi)芰Φ膶?shí)現(xiàn)

本研究通過對(duì)醫(yī)學(xué)人工智能產(chǎn)品檢測(cè)平臺(tái)的研究，為多種數(shù)據(jù)模態(tài)和病種的醫(yī)學(xué)人工智能產(chǎn)品建立了評(píng)價(jià)機(jī)制。在疫情防控等特殊時(shí)期，有助于減少人員的線下接觸，提升檢測(cè)效率。此外，平臺(tái)的功能覆蓋了現(xiàn)有標(biāo)準(zhǔn)對(duì)于人工智能醫(yī)療器械產(chǎn)品的檢測(cè)和質(zhì)量評(píng)價(jià)需求，具體如下：

（1）實(shí)現(xiàn)了行業(yè)標(biāo)準(zhǔn)YY/T 1858—2022《人工智能醫(yī)療器械 肺部影像輔助分析軟件 算法性能測(cè)試方法》中對(duì)平臺(tái)數(shù)據(jù)抽取、測(cè)試集管理、可視化工具、測(cè)試指標(biāo)計(jì)算等功能的要求。本文設(shè)計(jì)的檢測(cè)平臺(tái)實(shí)現(xiàn)了基于用戶需求的數(shù)據(jù)抽取，并形成測(cè)試集用于檢測(cè)；利用數(shù)據(jù)入庫模塊及數(shù)據(jù)本地存儲(chǔ)方案實(shí)現(xiàn)了多模態(tài)、多權(quán)限、多用途的測(cè)試數(shù)據(jù)管理方式；利用數(shù)據(jù)標(biāo)注模塊實(shí)現(xiàn)了數(shù)據(jù)的可視化，為上傳數(shù)據(jù)參考標(biāo)準(zhǔn)的生成提供了技術(shù)手段；建立了計(jì)算資源庫，實(shí)現(xiàn)了檢出、分類、分割各項(xiàng)指標(biāo)的檢測(cè)，并支持計(jì)算庫的擴(kuò)展更新，滿足更多的檢測(cè)需求。

（2）滿足了《人工智能醫(yī)療器械注冊(cè)審查指導(dǎo)原則》中提到的“為全面深入評(píng)估算法性能，可開展壓力測(cè)試、對(duì)抗測(cè)試等測(cè)試”的要求，并遵守行業(yè)標(biāo)準(zhǔn)YY/T 1858—2022 提出的泛化能力、魯棒性、重復(fù)性等性能測(cè)試方法的規(guī)定。本文設(shè)計(jì)的檢測(cè)平臺(tái)還構(gòu)建了白盒和黑盒測(cè)試工具，基于專病擾動(dòng)庫生成對(duì)抗樣本，且支持更新再評(píng)價(jià)、重復(fù)性檢測(cè)等檢測(cè)流程，這些為算法泛化能力、魯棒性的評(píng)價(jià)及壓力測(cè)試、對(duì)抗測(cè)試提供了技術(shù)手段。

（3）滿足了行業(yè)標(biāo)準(zhǔn)YY/T 1833.2—2022《人工智能醫(yī)療器械 質(zhì)量要求和評(píng)價(jià) 第2 部分：數(shù)據(jù)集通用要求》對(duì)數(shù)據(jù)完整性、唯一性、多樣性等的要求。平臺(tái)在數(shù)據(jù)入庫質(zhì)控方面建立了不同模態(tài)數(shù)據(jù)規(guī)范化描述文本，劃分?jǐn)?shù)據(jù)類型，從入庫結(jié)構(gòu)、傳輸格式、存儲(chǔ)方式等方面進(jìn)行標(biāo)準(zhǔn)化規(guī)范。

4 結(jié)語

本文在頂層設(shè)計(jì)上采用多中心數(shù)據(jù)存儲(chǔ)的方式，建立了不同模態(tài)數(shù)據(jù)的入庫模板，為數(shù)據(jù)的規(guī)范化存儲(chǔ)、數(shù)據(jù)模態(tài)的擴(kuò)展提供了范本。但目前由于隱私保護(hù)及醫(yī)院數(shù)據(jù)管理的限制，醫(yī)療數(shù)據(jù)共享仍未完全實(shí)現(xiàn)，需要解決；人工智能醫(yī)療器械的臨床應(yīng)用范圍越來越廣，數(shù)據(jù)的模態(tài)需要持續(xù)更新；由于人工智能醫(yī)療器械的診療方案不同，所需要的標(biāo)注方式和標(biāo)注結(jié)果需動(dòng)態(tài)變化。下一步的研究重點(diǎn)是建立可動(dòng)態(tài)擴(kuò)展的定制化檢測(cè)模式，打通數(shù)據(jù)存儲(chǔ)端與應(yīng)用端的訪問限制，滿足全生命周期各環(huán)節(jié)用戶個(gè)性化的檢測(cè)需求。