中國食品藥品檢定研究院醫(yī)療器械檢定所，北京 102629

引言

近年來，人工智能（Artificial Intelligence，AI）醫(yī)療器械發(fā)展迅速，上市產(chǎn)品數(shù)量不斷增加，核心算法的迭代更新頻率加快。AI產(chǎn)品的質量管理框架需要創(chuàng)新，以便在滿足產(chǎn)品的安全有效的前提下促進產(chǎn)品的迭代更新。質量管理過于嚴苛，會影響產(chǎn)品的競爭力，限制行業(yè)發(fā)展；質量管理過于松散，又會降低產(chǎn)品質量，帶來臨床風險。因此，如何開展AI產(chǎn)品質量管理是監(jiān)管與標準化的重要研究對象，對行業(yè)發(fā)展有重要意義。

目前，AI醫(yī)療器械的質量管理尚未形成統(tǒng)一標準，各國的研究進展不同。我國藥品監(jiān)管部門在通用醫(yī)療器械、醫(yī)療器械軟件質量管理方面已開展大量工作[1-2]，在AI醫(yī)療器械軟件的注冊審評方面也發(fā)布了相關技術文件[3-4]。美國食品藥品監(jiān)督管理局（Food and Drug Administration，F(xiàn)DA）在今年發(fā)布了AI/機器學習醫(yī)療器械軟件行動計劃[5]，繼續(xù)研究產(chǎn)品快速變更的監(jiān)管路徑[6]，構建良好機器學習框架[7]。歐盟從倫理角度出發(fā)，以“可解釋”“可信賴”為關鍵詞，構建AI產(chǎn)品的監(jiān)管框架[8]。

由于AI產(chǎn)業(yè)剛剛起步，產(chǎn)品上市后召回事件、企業(yè)飛行檢查通報等監(jiān)管數(shù)據(jù)比較缺乏，AI企業(yè)在質量管理方面的問題缺乏系統(tǒng)的梳理。產(chǎn)業(yè)在實踐環(huán)節(jié)還存在一些問題和困惑需要解決。本文對AI醫(yī)療器械質量管理面臨的特殊問題進行了梳理，結合相關的行業(yè)與監(jiān)管情況，對AI醫(yī)療器械專用的標準規(guī)范研究提出了建議，旨在幫助行業(yè)提升質量管理能力。

1 AI特殊問題分析

與傳統(tǒng)醫(yī)療器械相比，當前AI醫(yī)療器械存在以下特點：① 內核采用以深度學習為代表的新一代AI算法，缺乏可解釋性，工作過程比較抽象，難以直觀理解；② 產(chǎn)品研發(fā)過程比較開放，前沿學術成果的轉化速度快，調用的算法框架、工具包等技術資源也處于快速變化中，例如業(yè)內常見的pytorch深度學習框架從2016年問世以來，版本更新了50多次[9]；③ 產(chǎn)品的驗證和確認在方法、指標、測試集等方面差異較大，不同企業(yè)之間缺乏可比性。例如，近年來美國已上市的部分計算機輔助診斷/檢測類產(chǎn)品的算法測試集規(guī)模從幾十到幾千不等，性能指標、受試者響應曲線的定義和構造方式也有差別[10]；④ 常見形態(tài)為醫(yī)療器械獨立軟件，開始向嵌入式組件、AI芯片擴展。軟件的部署與配置方式靈活多變，包括本地服務器、云平臺、移動計算平臺、芯片即系統(tǒng)（System on a Chip）、軟件即服務（SaaS）等。在當前AI醫(yī)療器械特點背景下，現(xiàn)行的醫(yī)療器械軟件監(jiān)管與法規(guī)，對AI醫(yī)療器械的質量管理具有宏觀的指導意義[11-12]，例如強調全生命周期管理、軟件生存周期的理念等。但在具體實施中，部分細節(jié)尚未明確，有待研究。本文依據(jù)醫(yī)療器械監(jiān)管、AI技術資源發(fā)展的歷史，從更大的維度發(fā)掘線索，建議關注以下特殊問題。

1.1 可追溯性

本文對美國2016至2020年醫(yī)療器械的召回事件[13]進行了簡要分析，匯總了由于軟件、算法、數(shù)據(jù)問題直接導致的召回事件分布如圖1所示。根據(jù)5年的總數(shù)量，出現(xiàn)質量問題的頻率從高到低排名為軟件＞數(shù)據(jù)＞算法。

AI產(chǎn)品與軟件、算法、數(shù)據(jù)都有密切聯(lián)系，結合其中的具體案例考慮，在以下方面宜加強可追溯性。

（1）數(shù)據(jù)的可追溯性。在圖1所示的醫(yī)療器械召回事件中，與數(shù)據(jù)有關的常見現(xiàn)象包括數(shù)據(jù)丟失、數(shù)據(jù)錯誤、信息記錄混亂等，說明相關產(chǎn)品在數(shù)據(jù)完整性、數(shù)據(jù)管理等方面存在缺陷，質量管理需要加強數(shù)據(jù)的可追溯性。

圖1 美國醫(yī)療器械召回事件統(tǒng)計

數(shù)據(jù)集是AI醫(yī)療器械全生命周期使用的重要資源，對產(chǎn)品質量有重要影響。目前，AI醫(yī)療器械行業(yè)不斷提升對數(shù)據(jù)集的認識和標準建設[14-16]，包含了對數(shù)據(jù)集本身的版本控制、標志標識的要求，以及數(shù)據(jù)集開發(fā)管理過程的可追溯性要求。在實際的生產(chǎn)研發(fā)活動中，需要根據(jù)數(shù)據(jù)集的作用和角色，明確數(shù)據(jù)采集、標注、存儲、使用等各個環(huán)節(jié)的具體過程記錄，對人員、設施、工具、操作規(guī)程等要素進行覆蓋，對醫(yī)療器械產(chǎn)品本身的數(shù)據(jù)處理、數(shù)據(jù)管理能力進行溯源。

（2）算法和軟件的可追溯性。在圖1所示的醫(yī)療器械召回事件中，部分現(xiàn)象包括軟件及組件的過期/擅自更新/不兼容、算法異常、計算錯誤等，從軟件系統(tǒng)到GPU都有所涉及。上述缺陷說明算法、軟件的質量管理需要加強。

根據(jù)醫(yī)療器械軟件注冊相關指導文件[11]，軟件生存周期均應開展可追溯性分析。對AI醫(yī)療器械而言，算法的來源和功能較為豐富，包括企業(yè)本身、開源平臺、外部供應商等渠道，以及聯(lián)邦學習、遷移學習等其他方式。在研發(fā)與測試階段，算法架構、參數(shù)配置和對應的源代碼、軟件組件是動態(tài)變化和完善的，可追溯的難度較大。雖然軟件產(chǎn)品整體有版本控制的要求[17]，源代碼、軟件組件、核心算法的版本控制仍需加強。

1.2 風險與缺陷管理

AI產(chǎn)品的風險與缺陷，由多種因素決定，包括自身設計、外部組件、硬件等。根據(jù)公開數(shù)據(jù)[18]，AI研發(fā)相關的技術資源多次出現(xiàn)安全漏洞如圖2所示。其中，Notebook、TensorFlow、MongoDB、GPU、Python分別是開發(fā)工具、深度學習框架、數(shù)據(jù)庫、核心硬件和編程語言的代表。在此情況下，AI產(chǎn)品的制造商在設計開發(fā)、設計變更、供應商資質審核等方面應廣泛提高警惕。

圖2 近3年公布的安全缺陷一覽表

此外，在臨床部署后，產(chǎn)品的性能會隨著輸入數(shù)據(jù)的波動而變化。這種波動來自真實世界的數(shù)據(jù)采集設備、人員操作、外界干擾、受試人群等各個方面，具有隨機性和發(fā)散特性。質量管理體系需要對產(chǎn)品的真實世界表現(xiàn)進行監(jiān)測，需要應對和處理不良事件，明確何種情形下對產(chǎn)品進行召回[19]。

1.3 更新控制

由于AI行業(yè)鼓勵算法的迭代更新，為保障AI醫(yī)療器械算法更新后的安全有效，從管理的角度意味著需要加強更新控制，尤其是對算法性能開展驗證和確認[20-21]。

在測試環(huán)節(jié)，應加強回歸測試的管理?；貧w測試是使用相同的測試用例或測試集對迭代前后的算法進行測試。如果算法迭代頻繁，應保障測試集動態(tài)管理的資源需求。另一方面，當測試集發(fā)生更新時，當前最新版本的算法應立即開展測試，作為性能的基線，用于和后續(xù)版本的算法進行比對。同時，為了充分驗證算法更新后的泛化能力，除了開展回歸測試外，宜動態(tài)引入新的測試數(shù)據(jù)，擴展算法驗證與確認的維度。例如對現(xiàn)有測試集添加噪聲和干擾，合成“對抗測試集”，用于比較新舊算法的抗擾能力。

2 來自實踐的啟示

在AI醫(yī)療器械的性能驗證環(huán)節(jié)，實踐中發(fā)現(xiàn)一些常見問題，容易影響驗證工作的進程如圖3所示。這些問題涵蓋了檢品的安裝、部署、運行、設計等方面，從側面反映了AI產(chǎn)品質量管理的薄弱之處，建議從以下方面予以加強。

圖3 產(chǎn)品檢測實踐中發(fā)現(xiàn)的問題

（1）樣品管理。測試前，樣品的代碼編譯、發(fā)布、程序部署等環(huán)節(jié)需要做好驗證記錄，確保將正確的版本投入測試，將算法版本與測試結果之間形成關聯(lián)；測試中，樣品宜形成和顯示過程記錄，如當前測試進度、當前測試樣本編號、剩余測試時間等，提高測試過程的可追溯性；測試后，應檢查內存、存儲空間使用情況，檢查算法輸出結果的格式、順序是否符合預期，形成記錄。

（2）數(shù)據(jù)管理。參照行業(yè)標準《人工智能醫(yī)療器械質量要求和評價 第2部分：數(shù)據(jù)集通用要求（報批稿）》[14]，數(shù)據(jù)采集、標注、存儲、流通、停用等環(huán)節(jié)均應建立記錄；數(shù)據(jù)標注的最終結論或形成的參考標準應能追溯至原始標注結論、仲裁與審核結果。數(shù)據(jù)采集、標注人員的資質要求、選拔、培訓、活動記錄應當齊全。

（3）評價指標管理。在產(chǎn)品的測試環(huán)節(jié)，隨著測試集的抽樣與組合，評價指標可能是動態(tài)變化的，但需要與產(chǎn)品的設計輸入、需求分析、風險分析之間保持協(xié)同。評價指標的確定和改變需要進行評審并建立記錄。對于魯棒性等評價指標，在風險分析環(huán)節(jié)應明確描述其對應的真實世界風險。

3 討論與總結

本文根據(jù)國外醫(yī)療器械上市后監(jiān)管數(shù)據(jù)和行業(yè)安全數(shù)據(jù)，對AI醫(yī)療器械質量管理的特殊性進行了分析，并結合在產(chǎn)品驗證實踐中發(fā)現(xiàn)的問題，對產(chǎn)品質量管理提出建議，主要強調可追溯性、數(shù)據(jù)管理、質量控制等角度：① 可追溯性方面：需要專業(yè)的技術規(guī)范保證AI醫(yī)療器械使用的數(shù)據(jù)集、源代碼、軟件組件的可追溯性，例如唯一標識編碼等，考慮各種技術要素的生成時間、修改時間、使用地點、執(zhí)行機構、版本等信息，密切跟蹤軟硬件、組件的版本更新、安全更新等，做好驗證、確認和變更記錄控制。同時，為了加強算法的可追溯性，宜細化明確算法研發(fā)記錄的要求，例如參與研發(fā)/測試的人員記錄、訓練記錄與過程參數(shù)、訓練集/調優(yōu)集的分配記錄等；② 數(shù)據(jù)管理方面：訓練/調優(yōu)、封閉測試、臨床試驗、真實世界監(jiān)測等各種用途的數(shù)據(jù)集均應建立專用的管理體系與過程記錄，明確管理職責和人員資質，并提供相應的存儲與安全設施，保證數(shù)據(jù)集的版本控制和可重復使用，能與算法的快速迭代相適應。產(chǎn)品、研發(fā)工具的數(shù)據(jù)管理、數(shù)據(jù)處理能力，同樣應納入考量范圍；③ 在產(chǎn)品質控方面，應加強質量評價方法標準的研究，把真實世界風險評估的關口前移，增強上市前的驗證與確認，模擬產(chǎn)品上市后面臨的風險；在產(chǎn)品臨床部署后，提高日常質控的完備性，設立產(chǎn)品性能監(jiān)測指標、接口和工具，為用戶反饋和產(chǎn)品變更提供可靠的、持續(xù)的客觀數(shù)據(jù)。

AI醫(yī)療器械屬于新興事物，監(jiān)管的歷史較短，公開數(shù)據(jù)較少，制約著質量管理研究。本文參考了近5年來國外醫(yī)療器械召回事件中與軟件、算法、數(shù)據(jù)相關的案例，豐富了信息收集的渠道，為后續(xù)研究提供了有益的素材。同時，本文對AI產(chǎn)品研發(fā)資源自身的更新、安全漏洞等情況進行了量化分析，側重AI自身特色，為質量管理研究提供了新的線索。

綜上所述，AI醫(yī)療器械的質量管理還有很大的進步空間，需要加強算法、數(shù)據(jù)的可追溯性，提高數(shù)據(jù)管理能力，提升對產(chǎn)品的全生命周期質控能力，需要相關基礎標準、方法標準的協(xié)同與支撐。