周慧明,李丹陽(yáng),萬 雷,李成濤,汪茂文,王亞輝
(1.司法鑒定科學(xué)研究院上海市法醫(yī)學(xué)重點(diǎn)實(shí)驗(yàn)室上海市司法鑒定專業(yè)技術(shù)服務(wù)平臺(tái)司法部司法鑒定重點(diǎn)實(shí)驗(yàn)室,上海 200063;2.山西醫(yī)科大學(xué) 法醫(yī)學(xué)院,山西 晉中 030600;3.山西醫(yī)科大學(xué) 醫(yī)學(xué)科學(xué)院,山西 太原 030000)
法醫(yī)學(xué)活體年齡評(píng)估是法醫(yī)臨床學(xué)、法醫(yī)人類學(xué)科學(xué)研究的重點(diǎn)和難點(diǎn)問題之一,一直以來備受國(guó)內(nèi)外學(xué)者的廣泛關(guān)注。 法醫(yī)學(xué)活體年齡鑒定對(duì)犯罪嫌疑人的刑事責(zé)任能力、刑罰量刑、民事行為能力、福利權(quán)利、非法移民等方面進(jìn)行評(píng)估,為刑事偵查、法庭審判提供重要的科學(xué)依據(jù)。 活體年齡研究的主要內(nèi)容包括:骨骼年齡、牙齒年齡、分子生物學(xué)年齡以及基于個(gè)體外部軟組織、骨密度檢測(cè)等多種技術(shù)手段的活體年齡評(píng)估等[1]。 目前比較公認(rèn)的,尤其是在司法鑒定領(lǐng)域使用較多且被司法機(jī)關(guān)認(rèn)可的方法仍以法醫(yī)學(xué)骨齡鑒定為主,即利用個(gè)體骨骼發(fā)育程度推斷其生物學(xué)年齡。 與骨骼類似,牙齒在年齡推斷中的應(yīng)用也較為廣泛。 牙齒的生理結(jié)構(gòu)不易受外界理化因素變化而發(fā)生降解、變形,且牙齒發(fā)育和行使功能過程中多個(gè)生理性變化特點(diǎn)與年齡均有一定的相關(guān)性。 2008 年,國(guó)際法醫(yī)年齡推斷研究小組(study group on forensic age diagnostics,SGFAD)[2]提出,活體年齡推斷的標(biāo)準(zhǔn)方法應(yīng)包括一般體格檢查、牙齒檢查、左腕關(guān)節(jié)和口腔曲面斷層影像學(xué)檢查;若骨骼發(fā)育完成,應(yīng)額外拍攝鎖骨胸骨端薄層CT,并建議同時(shí)應(yīng)用多種方法來提高年齡推斷的準(zhǔn)確性。
自21 世紀(jì)以來,隨著大數(shù)據(jù)和計(jì)算機(jī)技術(shù)的快速發(fā)展,許多先進(jìn)的人工智能(artificial intelligence,AI)技術(shù)成功應(yīng)用于疾病診斷、新藥研發(fā)等領(lǐng)域。2017 年7 月20 日,國(guó)務(wù)院發(fā)布了《新一代人工智能發(fā)展規(guī)劃》(國(guó)發(fā)〔2017〕35 號(hào))[3],從頂層設(shè)計(jì)的角度充分肯定了人工智能的重要性,并以此作為國(guó)家戰(zhàn)略規(guī)劃與發(fā)展的重要組織部分。 近年來,隨著支持向量機(jī)(support vector machine,SVM)、深度學(xué)習(xí)(deep learning,DL)等AI 技術(shù)的發(fā)展,基于AI 技術(shù)的活體年齡研究進(jìn)入了“快車道”,尤其是近幾年歐美國(guó)家和地區(qū)開發(fā)出了AI 輔助骨齡評(píng)估系統(tǒng)。 該系統(tǒng)基于數(shù)字化信息技術(shù)和分類的統(tǒng)計(jì)方法,將計(jì)算機(jī)數(shù)字影像技術(shù)和模式識(shí)別技術(shù)相結(jié)合,通過對(duì)骨骼、牙齒醫(yī)學(xué)影像圖像的預(yù)處理、圖像分割、特征提取、信息處理實(shí)現(xiàn)骨骼或牙齒圖像自動(dòng)識(shí)別并運(yùn)算得出個(gè)體年齡,為輔助實(shí)現(xiàn)骨齡、牙齡的高精度智能評(píng)估提供了新契機(jī)。 因此,運(yùn)用AI 技術(shù)實(shí)現(xiàn)骨骼、牙齒等圖像識(shí)別是實(shí)現(xiàn)AI 骨齡評(píng)估系統(tǒng)的一個(gè)必由途徑。
AI 亦稱機(jī)器智能,廣義上指由人類制造機(jī)器所表現(xiàn)出的智能,狹義上則指通過計(jì)算機(jī)程序來模擬呈現(xiàn)人類智能的技術(shù)。 1956 年,在達(dá)特茅斯學(xué)院舉行的會(huì)議上,AI 的名稱和任務(wù)得以確定,這次會(huì)議被廣泛認(rèn)為是AI 誕生的標(biāo)志[4]。進(jìn)入21 世紀(jì),隨著大數(shù)據(jù)和計(jì)算機(jī)技術(shù)的快速發(fā)展,許多先進(jìn)的機(jī)器學(xué)習(xí)(machine learning,ML)技術(shù)成功應(yīng)用于經(jīng)濟(jì)和社會(huì)中的各個(gè)方面[5]。 大數(shù)據(jù)應(yīng)用也開始逐漸滲透到其他領(lǐng)域,如生態(tài)學(xué)模型訓(xùn)練、疾病預(yù)測(cè)和新藥研發(fā)等。DL(特別是卷積神經(jīng)網(wǎng)絡(luò))更是極大地推動(dòng)了圖像和視頻處理、文本分析、語(yǔ)音識(shí)別等問題的研究進(jìn)程[6]。AI 的主要領(lǐng)域大體上可分為三個(gè)方面:感知、學(xué)習(xí)和認(rèn)知。 感知是指模擬人的感知能力,對(duì)外部刺激信息(視覺和語(yǔ)音等)進(jìn)行感知和加工,主要研究領(lǐng)域包括語(yǔ)音信息處理和計(jì)算機(jī)視覺等。學(xué)習(xí)是指模擬人的學(xué)習(xí)能力,主要研究如何從樣例或從與環(huán)境的交互中學(xué)習(xí),主要研究領(lǐng)域包括監(jiān)督學(xué)習(xí)、無監(jiān)督學(xué)習(xí)和強(qiáng)化學(xué)習(xí)等。 認(rèn)知是指模擬人的認(rèn)知能力,主要研究領(lǐng)域包括知識(shí)表示以及自然語(yǔ)言理解、推理、規(guī)劃、決策等。 從AI 的萌芽時(shí)期開始,就有一些研究者嘗試讓機(jī)器來自動(dòng)學(xué)習(xí)(即ML)。 ML 的主要目的是設(shè)計(jì)和分析一些學(xué)習(xí)算法,讓計(jì)算機(jī)可以從數(shù)據(jù)(經(jīng)驗(yàn))中自動(dòng)分析并獲得規(guī)律,之后利用學(xué)習(xí)到的規(guī)律對(duì)未知數(shù)據(jù)進(jìn)行預(yù)測(cè),從而幫助人們完成一些特定任務(wù),以提高開發(fā)效率。 ML 較為成功的應(yīng)用領(lǐng)域是計(jì)算機(jī)視覺,骨骼、牙齒等醫(yī)學(xué)影像圖像識(shí)別屬于計(jì)算機(jī)視覺范疇,因此,運(yùn)用ML 實(shí)現(xiàn)骨骼圖像的識(shí)別是實(shí)現(xiàn)AI 骨齡評(píng)估系統(tǒng)的可靠途徑之一。 通過有限的觀測(cè)數(shù)據(jù)(如軀體各大骨關(guān)節(jié)、牙齒醫(yī)學(xué)影像圖像)的學(xué)習(xí)總結(jié)出一般規(guī)律,并利用這些規(guī)律對(duì)未知圖像進(jìn)行預(yù)測(cè),逐漸成為推動(dòng)AI 技術(shù)發(fā)展的關(guān)鍵因素。
目前,國(guó)內(nèi)外研究中,與法醫(yī)學(xué)骨齡評(píng)估研究結(jié)合較為緊密的AI 技術(shù)是SVM 和DL。
1995 年,VAPNIK[7]率先提出了SVM,其作為一種尋找分類邊界的方法,是用于模式分類和非線性回歸統(tǒng)計(jì)學(xué)習(xí)理論的經(jīng)典二分類算法,基本思想是建立一個(gè)分類超平面作為決策曲面,優(yōu)勢(shì)在于解決線性不可分問題,通過核函數(shù)將低維度映射到高維上使之線性可分。 簡(jiǎn)單概括來說,就是在樣本空間尋找最佳分類面(即超平面),并以此將訓(xùn)練樣本分開。 SVM 的基本模型是定義在特征空間上的間隔最大的線性分類器,其學(xué)習(xí)的基本思想是求解能夠正確劃分訓(xùn)練數(shù)據(jù)集并且?guī)缀伍g隔最大的分離超平面。 SVM 遵循結(jié)構(gòu)風(fēng)險(xiǎn)最小化原則,在處理二分類問題上擁有較好的泛化能力,在解決小樣本、非線性和高維等問題時(shí)優(yōu)勢(shì)明顯,并且在數(shù)據(jù)挖掘、圖像處理等領(lǐng)域也獲得良好的應(yīng)用效果[8]。 隨著法醫(yī)人類學(xué)與計(jì)算機(jī)技術(shù)的應(yīng)用與發(fā)展,骨齡評(píng)估目前正逐漸向計(jì)算機(jī)自動(dòng)化評(píng)估體系轉(zhuǎn)變。SVM 對(duì)于骨骼影像學(xué)圖像的建模有較高的準(zhǔn)確度,主要有以下幾個(gè)原因:(1)SVM 利用核函數(shù)的概念解決了黑色、白色、灰色不同的色階骨骼圖像與所對(duì)應(yīng)骨發(fā)育分級(jí)之間的非線性關(guān)系問題;(2)骨骼醫(yī)學(xué)影像圖像數(shù)量相對(duì)有限,符合SVM 對(duì)小樣本數(shù)據(jù)建模的獨(dú)特優(yōu)勢(shì);(3)梯度方向直方圖(histogram of oriented gradient,HOG)可對(duì)骨骼圖像局部出現(xiàn)的方向梯度次數(shù)進(jìn)行計(jì)算,且HOG 的計(jì)算是基于一致空間的密度矩陣來提高圖像識(shí)別準(zhǔn)確率,可以保持圖像幾何與光學(xué)轉(zhuǎn)化不變性,尤其適合固定不變的醫(yī)學(xué)影像圖像的識(shí)別與檢測(cè)。
2.1.1 SVM 與手腕關(guān)節(jié)骨齡評(píng)估
手腕關(guān)節(jié)的掌骨、指骨、腕骨、尺橈骨以及籽骨等骨骼成熟度具有明顯的先后順序,該解剖區(qū)域存在形態(tài)不一的骨骼發(fā)育指標(biāo)。 因此,手腕關(guān)節(jié)骨骼一直是骨齡研究者最感興趣的區(qū)域之一。 2016 年,王亞輝研究團(tuán)隊(duì)[9]運(yùn)用SVM 對(duì)華東地區(qū)140 名11.0~19.0 歲青少年腕關(guān)節(jié)數(shù)字X 射線攝影(digital radiography, DR)正位攝片進(jìn)行模型訓(xùn)練,用留一交叉驗(yàn)證法(leave-one-out cross validation,LOCV)和HOG分別進(jìn)行內(nèi)部、外部驗(yàn)證,對(duì)預(yù)測(cè)結(jié)果和模型的有效性進(jìn)行了獨(dú)立的交叉驗(yàn)證檢驗(yàn)準(zhǔn)確性測(cè)試。 研究表明,這種新的骨骺分類技術(shù)是成功的,采用SVM進(jìn)行圖像分類研究是可靠可行的,且模型精度較高,骨骺發(fā)育分級(jí)識(shí)別準(zhǔn)確率可達(dá)88.6%。 2019 年,BUI等[10]提出一種多階段TW3 評(píng)估系統(tǒng),該系統(tǒng)訓(xùn)練一個(gè)支持向量回歸模型來預(yù)測(cè)骨齡,先使用Faster-RCNN 檢測(cè)從TW3 定義中選定的感興趣區(qū)域(region of interest,ROI),再使用Inception-V4 網(wǎng)絡(luò)進(jìn)行ROI分類。該學(xué)者用完整的Digital Hand Atlas (DHA)數(shù)據(jù)庫(kù)System1 的公共數(shù)據(jù)集來評(píng)估所提出方法的性能,實(shí)驗(yàn)結(jié)果實(shí)現(xiàn)了約為0.59 歲的平均絕對(duì)誤差。
2.1.2 SVM 與膝關(guān)節(jié)骨齡評(píng)估
2016 年,王品等[11]提出一種基于多特征SVM邊緣定位和彈性區(qū)域生長(zhǎng)的膝關(guān)節(jié)軟骨自動(dòng)分割算法。 先通過改進(jìn)的自適應(yīng)Canny 算子獲取初始邊緣,再提取初始邊緣的多種特征,并采用一對(duì)一的多分類SVM 算法進(jìn)行分類,實(shí)現(xiàn)骨-軟骨邊緣的定位,最后在定位的骨-軟骨邊緣附近自適應(yīng)地選取種子點(diǎn),并采用彈性區(qū)域生長(zhǎng)方法進(jìn)行閾值分割,從而完成對(duì)膝關(guān)節(jié)軟骨區(qū)域的準(zhǔn)確分割。 該算法的視覺和定量分析均表明其分割結(jié)果與手工分割金標(biāo)準(zhǔn)相近,顯示其能夠?qū)崿F(xiàn)軟骨的精確分割,為后續(xù)三維建模和計(jì)算形態(tài)參數(shù)等提供了數(shù)據(jù)基礎(chǔ)。2019 年,王亞輝等[12]采集了500 例12.0~19.0 歲維吾爾族青少年膝關(guān)節(jié)DR 攝片,運(yùn)用主成分分析法(principle component analysis,PCA)對(duì)提取的HOG與局部二值模式(local binary patterns,LBP)圖像進(jìn)行降維,然后再運(yùn)用支持向量回歸法(support vector regression,SVR)構(gòu)建骨齡評(píng)估算法模型。 該方法與依賴“大數(shù)據(jù)、大計(jì)算、高性能”的DL 方法相比,具有較易實(shí)現(xiàn)、 在小樣本數(shù)據(jù)上學(xué)習(xí)能力強(qiáng)及泛化能力良好的優(yōu)點(diǎn),并且關(guān)注到了骨齡發(fā)育在地區(qū)、民族間的差異性,對(duì)未來的司法鑒定有一定的價(jià)值。
2.1.3 SVM 與骨盆、髖關(guān)節(jié)骨齡評(píng)估
骨盆的髂嵴、坐骨骨骺繼發(fā)骨化中心出現(xiàn)至骨骺閉合所經(jīng)歷的時(shí)間和周期均較其他骨關(guān)節(jié)稍晚,在大年齡組(18.0 歲以上)青少年骨齡鑒定中發(fā)揮著重要作用。 目前,最常用于骨盆骨齡評(píng)估的有Risser 征和髂嵴骨化,其他還包括髂嵴和坐骨結(jié)節(jié)骨化程度、髖關(guān)節(jié)和股骨近端骨骺的閉合程度、恥骨聯(lián)合骨化程度等。 2020 年,F(xiàn)AN 等[13]分別建立了4 個(gè)回歸模型和5 個(gè)分類模型來分析年齡在10.0~25.9 歲之間的2 137 例常規(guī)骨盆DR 攝片(男性1 215 例,女性922 例),并分別對(duì)髂骨和坐骨結(jié)節(jié)骨骺的骨化和融合進(jìn)行評(píng)分。 結(jié)果顯示,在法醫(yī)學(xué)年齡估計(jì)方面,SVR 有較高的精度,且在女性的預(yù)測(cè)方面準(zhǔn)確率高于男性,SVR 和梯度增強(qiáng)回歸的性能優(yōu)于決策樹回歸和貝葉斯嶺回歸。 綜上,結(jié)合其他年齡測(cè)定方法,SVR 模型可用于青少年法醫(yī)年齡估計(jì)。
2.1.4 SVM 與胸鎖關(guān)節(jié)骨齡評(píng)估
鎖骨胸骨端是構(gòu)成胸鎖關(guān)節(jié)的重要解剖結(jié)構(gòu),是全身骨關(guān)節(jié)中繼發(fā)骨化中心出現(xiàn)和骨骺閉合時(shí)間均最晚的骨骼,也是大年齡組(18.0 歲以上)青少年骨齡鑒定的最重要指標(biāo)之一。 2013 年,HILLEWIG 等[14]對(duì)220 名16.0~26.0 歲志 愿者的鎖骨進(jìn)行3T MRI 檢查,另外拍攝了手腕關(guān)節(jié)DR 片,采用一個(gè)多元序數(shù)回歸模型被擬合并嵌入基于貝葉斯的框架。 研究表明,鎖骨胸骨端骨骺發(fā)育狀況可用于界定18.0 周歲這個(gè)關(guān)鍵年齡,但結(jié)合手腕關(guān)節(jié)一并評(píng)價(jià),骨齡評(píng)估結(jié)果的準(zhǔn)確性會(huì)更高。 2019 年,STERN 等[15]融合了鎖骨、手部、牙齒3 個(gè)解剖部位的MRI 數(shù)據(jù)信息,利用卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network, CNN)對(duì)322 名年齡為13.0~25.0 歲的受試者進(jìn)行訓(xùn)練。 每個(gè)深度CNN 塊由兩個(gè)連續(xù)的3×3×3 卷積層和一個(gè)最大池層組成,最終得到了(1.01±0.74)歲的平均絕對(duì)誤差。該研究將鑒定年齡范圍從單純使用手部的19.0 歲拓展到25.0 歲。 同時(shí),該團(tuán)隊(duì)還計(jì)算了特征提取塊后全連接層的平均激活值,以此衡量每個(gè)解剖部位對(duì)于預(yù)測(cè)年齡的重要性。 結(jié)果顯示,對(duì)于不同年齡段的骨齡和牙齡評(píng)估,軀體不同解剖部位有著各自的優(yōu)勢(shì)。
人工神經(jīng)網(wǎng)絡(luò)是模擬人腦神經(jīng)網(wǎng)絡(luò)而設(shè)計(jì)的一種計(jì)算模型,是從結(jié)構(gòu)、實(shí)現(xiàn)機(jī)制和功能上模擬人腦神經(jīng)網(wǎng)絡(luò)。 骨齡評(píng)估多年來一直是計(jì)算機(jī)視覺和放射學(xué)研究的目標(biāo), 運(yùn)用人工神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)實(shí)現(xiàn)骨骼圖像的識(shí)別是實(shí)現(xiàn)AI 骨齡評(píng)估系統(tǒng)的可靠途徑之一。 2006 年,GEOFFREY[16]首次提出深信度網(wǎng)絡(luò)(deep belief network, DBN)這一概念,該網(wǎng)絡(luò)是一種快速的、貪婪的算法,不僅可以識(shí)別特征、分類數(shù)據(jù),還可用其來生成數(shù)據(jù)。 DBN 掀起了DL 在AI 領(lǐng)域迅猛發(fā)展的新高潮。 DL 是ML 的分支,是AI 領(lǐng)域的一項(xiàng)革新成果[17],是一種以人工神經(jīng)網(wǎng)絡(luò)為架構(gòu)對(duì)資料進(jìn)行表征學(xué)習(xí)的算法。 DL 的一個(gè)外在特點(diǎn)是端到端的訓(xùn)練,其將整個(gè)系統(tǒng)組建好之后一起訓(xùn)練。 當(dāng)人工沒有能力來選取更好的特征時(shí),自動(dòng)化的算法可以從所有可能的特征中搜尋出最佳特征。 除端到端的訓(xùn)練外,訓(xùn)練集也正在經(jīng)歷從含參數(shù)統(tǒng)計(jì)模型轉(zhuǎn)向完全無參數(shù)的模型。 近年來,DL 在骨齡研究方面取得了較大的成功。 以往骨齡評(píng)估都是基于傳統(tǒng)方法人工提取興趣域, 而DL 則將圖像作為整體信息直接輸入網(wǎng)絡(luò)進(jìn)行處理。 這表明DL 在圖像特征差異性識(shí)別方面可能更精細(xì),性能或許優(yōu)于人工識(shí)別,并可能會(huì)在人工骨齡評(píng)估方法的指標(biāo)改進(jìn)方面取得重大突破。 鑒于DL 在學(xué)術(shù)界和工業(yè)界的巨大影響力,2013 年4 月《麻省理工學(xué)院科技評(píng)論》(MIT Technology Review)雜志將其列為2013 年十大突破性技術(shù)之首[18]。
2.2.1 DL 與手腕關(guān)節(jié)骨齡評(píng)估
2011 年,DODIN 等[19]將磁共振圖像分解成多個(gè)表面層,對(duì)骨骼的邊界進(jìn)行定位,并自動(dòng)融合多個(gè)部分分割對(duì)象,最終得到完整的骨骼分割。2017 年,SPAMPINATO 等[20]首次將DL 網(wǎng)絡(luò)算法應(yīng)用到骨齡自動(dòng)評(píng)估領(lǐng)域,同時(shí)利用遷移學(xué)習(xí)的方法創(chuàng)建了3種基于ImageNet上預(yù)訓(xùn)練的CNN網(wǎng)絡(luò)模型和1種基于從零開始訓(xùn)練專門針對(duì)手部DR 攝片的特定CNN(BoNet)模型,以用于骨齡自動(dòng)化評(píng)估。2018年,王亞輝等[21]采集了13.0~19.0 歲維吾爾族男性青少年245 例、女性青少年227 例的左手腕關(guān)節(jié)DR圖像,經(jīng)過處理之后的圖像作為研究對(duì)象,將AlexNet 網(wǎng)絡(luò)作為圖像識(shí)別的回歸模型,實(shí)現(xiàn)了骨齡評(píng)估的自動(dòng)化,進(jìn)一步證實(shí)了DL 應(yīng)用于骨齡研究的可行性。 除了DR 攝片外,手腕關(guān)節(jié)MRI 攝片也因其無輻射的優(yōu)點(diǎn)在青少年骨齡研究中得到重視與發(fā)展。 2019 年,STERN 等[15]分別使用深度CNN和射頻脈沖網(wǎng)絡(luò)對(duì)328 名白種人男性的手部三維磁共振成像(magnetic resonance imaging,MRI)圖譜進(jìn)行訓(xùn)練并在二維DR 攝片中進(jìn)行驗(yàn)證。 結(jié)果顯示,對(duì)于13.0~18.0 歲的青少年,深度CNN 模型的絕對(duì)偏差為(0.37±0.51)歲,射頻脈沖模型的絕對(duì)偏差為(0.48±0.56)歲,顯著優(yōu)于放射學(xué)家的預(yù)測(cè)。
2020 年,KOITKA 等[22]使用北美放射學(xué)會(huì)(Radiological Society of North America,RSNA)數(shù)據(jù)集構(gòu)建了一個(gè)用于兒童骨齡估計(jì)的自動(dòng)化系統(tǒng),整個(gè)系統(tǒng)由兩個(gè)基于神經(jīng)網(wǎng)絡(luò)的DL 模型組成,一個(gè)是檢測(cè)網(wǎng)絡(luò),用于檢測(cè)特征骨化ROI,并以圖像化的形式顯示出來;另一個(gè)是識(shí)別ROI的回歸網(wǎng)絡(luò),根據(jù)檢測(cè)到的區(qū)域進(jìn)行回歸并估計(jì)年齡。 檢測(cè)網(wǎng)絡(luò)以Faster-RCNN為架構(gòu),Inception-ResNet-V2 為底層特征提取器。 回歸網(wǎng)絡(luò)使用有50層的殘差網(wǎng)絡(luò)(ResNets),針對(duì)性別差異和每種類型的骨化區(qū)域(DIP、PIP、MCP、橈骨、尺骨、手腕)分別進(jìn)行了訓(xùn)練,獲得了12個(gè)回歸模型。 結(jié)果顯示, 該自動(dòng)化骨齡評(píng)估系統(tǒng)在RSNA兒童骨齡挑戰(zhàn)測(cè)試集的平均誤差為0.38歲。
2.2.2 DL 與骨盆、髖關(guān)節(jié)骨齡評(píng)估
2019年,鄧振華等[23]開發(fā)了一種基于骨盆DR攝片的DL骨齡評(píng)估模型,采用ImageNet數(shù)據(jù)集預(yù)先訓(xùn)練的改良版AlexNet網(wǎng)絡(luò),對(duì)我國(guó)四川省10.0~25.0歲人群骨盆DR攝片進(jìn)行骨齡評(píng)估。 該研究采用微調(diào)版CNN,保留了原始AlexNet網(wǎng)絡(luò)卷積層進(jìn)行特征提取。再將基于DL網(wǎng)絡(luò)模型推斷出的骨骼年齡與其自身建立的三元一次回歸模型的評(píng)估結(jié)果進(jìn)行比較。 結(jié)果顯示,CNN模型的輸出骨齡與參考骨齡顯著相關(guān)(相關(guān)系數(shù)r=0.916,P<0.05),且平均絕對(duì)誤差和均方根誤差分別為0.91 歲和1.23 歲。 運(yùn)用DL-CNN模型的性能與現(xiàn)有的三元一次回歸模型相當(dāng),展示了基于骨盆影像學(xué)自動(dòng)骨骼評(píng)估模型的預(yù)測(cè)能力。
2020 年,王亞輝等[24]以漢族青少年骨盆DR 攝片962 例(男性481 例,女性481 例)為研究對(duì)象,比較了VGG 19、Inception V3、Inception-ResNet-V2 這3 種DL 模型基于骨盆DR 攝片進(jìn)行骨齡自動(dòng)評(píng)估的性能。 結(jié)果顯示,Inception-ResNet-V2 模型性能最優(yōu),Inception V3 模型與VGG 19 模型性能相當(dāng)。2022 年,王亞輝等[25]在2020 年的研究[24]基礎(chǔ)上,將漢族青少年七大關(guān)節(jié)DR 攝片樣本量擴(kuò)大至2164 例(男性1290 例,女性874 例),分別采用Inception-V3、Inception-ResNet-V2 和VGG19 這3 種DL 網(wǎng) 絡(luò)模型對(duì)上述骨盆、髖關(guān)節(jié)DR 攝片進(jìn)行圖像分析,分別推斷出上述3 種DL 網(wǎng)絡(luò)模型的骨齡評(píng)估結(jié)果。然后,引入AI 領(lǐng)域較為常見的分割網(wǎng)絡(luò)(segmentation network),對(duì)骨盆、髖關(guān)節(jié)ROI 進(jìn)行圖像分割,再運(yùn)用上述3 種DL 網(wǎng)絡(luò)模型進(jìn)行AI 骨齡評(píng)估。研究表明,經(jīng)圖像分割的骨齡評(píng)估結(jié)果的平均絕對(duì)誤差和均方根誤差均優(yōu)于分割前,進(jìn)一步證實(shí)了分割網(wǎng)絡(luò)可有效降低分割圖像的重疊等因素的影響,從而提高骨盆年齡估計(jì)的準(zhǔn)確性。
2.2.3 DL 與膝關(guān)節(jié)骨齡評(píng)估
近年來,國(guó)內(nèi)外學(xué)者已開始致力于運(yùn)用MRI 掃描并結(jié)合AI 技術(shù)開展骨齡評(píng)估研究。 2019 年,DALLORA 等[26]對(duì)14.0~21.0 歲的402 名志愿者(男性221 名,女性181 名)膝關(guān)節(jié)進(jìn)行了MRI 檢查,采用包括從零開始培訓(xùn)和使用遷移學(xué)習(xí)的不同CNN架構(gòu)對(duì)膝關(guān)節(jié)MRI 圖像進(jìn)行分析,其中一個(gè)CNN 模型是負(fù)責(zé)選擇最可能提供年齡評(píng)估的MRI 序列圖像,然后在第二個(gè)CNN 網(wǎng)絡(luò)中完成骨齡評(píng)估,該CNN 分類器是受過訓(xùn)練的網(wǎng)絡(luò),能夠選擇最有價(jià)值的MRI 圖像信息,包括股骨遠(yuǎn)端和脛腓骨近端骨骺、骺軟骨板、干骺端等感興趣的解剖部位。 該研究認(rèn)為,獲得最佳研究結(jié)果的CNN 架構(gòu)是在ImageNet 數(shù)據(jù)庫(kù)上預(yù)訓(xùn)練的GoogLeNet 網(wǎng)絡(luò)。 研究表明,男性受試者的平均絕對(duì)誤差為0.79 歲,女性的為0.99 歲。2020 年,彭釗等[27]收集10.0~25.0 歲同時(shí)拍攝T1(T1WI)、T2(T2WI)和 質(zhì) 子(PDWI)加 權(quán) 像 的400 例MRI 圖像,對(duì)膝關(guān)節(jié)骨骺發(fā)育分級(jí)賦分,建立多個(gè)年齡推斷逐步線性回歸模型,繪制18.0 歲推斷的受試者工作特征(receiver operating characteristic, ROC)曲線,建立18.0 歲年齡節(jié)點(diǎn)判別SNR 模型。 研究表明,不同加權(quán)像與年齡的相關(guān)性、ROC 曲線下面積從高到低依次為T1WI、PDWI、T2WI。 男性應(yīng)用T1WI 腓骨近端和PDWI 股骨遠(yuǎn)端骨骺發(fā)育等級(jí)建立的模型準(zhǔn)確性最高,平均絕對(duì)誤差為1.70 歲;女性應(yīng)用PDWI 股骨遠(yuǎn)端和腓骨近端骨骺發(fā)育等級(jí)建立的模型準(zhǔn)確性最高,平均絕對(duì)誤差為2.01 歲。SVR 模型判別18.0 歲年齡節(jié)點(diǎn)的男、女性準(zhǔn)確率分別為84.0%、92.0%。 由此可見,膝關(guān)節(jié)T1WI、PDWI 和T2WI 均適用于18.0 歲年齡節(jié)點(diǎn)的判斷。 2021 年,MAUER 等[28]開發(fā)了一種基于ML 的冠狀面膝關(guān)節(jié)三維MRI 成像的全自動(dòng)計(jì)算機(jī)年齡評(píng)估方法。 該研究的主要過程分為三個(gè)部分:(1)對(duì)膝關(guān)節(jié)三維MRI 圖像進(jìn)行自動(dòng)裁剪、圖像增強(qiáng)等預(yù)處理(校正和標(biāo)準(zhǔn)化);(2)采用類似于UNet 自編碼器的CNN 架構(gòu),提取年齡相關(guān)解剖結(jié)構(gòu)特征(數(shù)據(jù)約簡(jiǎn)和簡(jiǎn)化);(3)基于CNN 年齡預(yù)測(cè)和使用ML 算法具體執(zhí)行重復(fù)分層k-fold 驗(yàn)證,并回歸年齡(骨齡評(píng)估)。研究表明,冠狀面MRI 圖像回歸年齡的結(jié)果較矢狀面更好。 同時(shí),該研究結(jié)果進(jìn)一步證實(shí)了STERN 等[15]運(yùn)用DL 評(píng)估手部、鎖骨和牙齒年齡的方法同樣適用于膝關(guān)節(jié)。
ML 技術(shù)的興起與不斷發(fā)展為實(shí)現(xiàn)牙齡推斷方法的進(jìn)一步完善和提高、輔助實(shí)現(xiàn)牙齡的高精度智能評(píng)估提供了新契機(jī)。
隨著DL 技術(shù)的不斷發(fā)展,一些學(xué)者嘗試將其應(yīng)用于牙齒的檢測(cè)和分類當(dāng)中,選擇不同的DL 方法來建立自動(dòng)檢測(cè)分類的神經(jīng)網(wǎng)絡(luò)模型,并獲得了較高的準(zhǔn)確率。 2018 年,ZAHNG 等[29]選擇DL 技術(shù)中的標(biāo)簽樹建立神經(jīng)網(wǎng)絡(luò)模型,以提高牙齒檢測(cè)和分類的魯棒性,特別是基于CNN 的級(jí)聯(lián)網(wǎng)絡(luò)結(jié)構(gòu)。結(jié)果顯示,該標(biāo)簽樹模型準(zhǔn)確率高于其他深度學(xué)習(xí)網(wǎng)絡(luò)。 2020 年,LEE 等[30]通過應(yīng)用DL、CNN 在口腔曲面斷層片中實(shí)現(xiàn)了牙齒的自動(dòng)分割。 該研究學(xué)者選擇了掩膜基于區(qū)域的卷積神經(jīng)網(wǎng)絡(luò)(mask RCNN)進(jìn)行牙齒自動(dòng)分割模型的建立,mask RCNN 是多任務(wù)算法模型。 為了提高牙齒分割的精度,該學(xué)者使用了一個(gè)稱為ROI Align 的神經(jīng)網(wǎng)絡(luò)層,以像素對(duì)像素的方式提取牙齒的空間結(jié)構(gòu)。采用F1分?jǐn)?shù)及并集平均相交IoU 兩項(xiàng)指標(biāo)進(jìn)行分割結(jié)果的評(píng)價(jià)。結(jié)果顯示,該研究建立的牙齒自動(dòng)分割模型準(zhǔn)確率優(yōu)于其他學(xué)者的研究結(jié)果。 該研究創(chuàng)建的牙齒自動(dòng)分割模型效果較既往研究有明顯提高, 可應(yīng)用于牙齡自動(dòng)化推斷的第一步和其他涉及類似分割任務(wù)的鑒定。 2021 年,CHEN 等[31]將牙齒三維咬合面轉(zhuǎn)換為深度圖像,使用基本的CNN 構(gòu)建兩級(jí)層次模型,在三維模型中獲得了優(yōu)秀的后牙類型分類性能。 該模型采用基于CNN 的咬合面形態(tài)學(xué)分析方法,對(duì)上頜第一前磨牙、第二前磨牙、第一磨牙、下頜第二磨牙等八類后牙類型進(jìn)行研究,提出了一種分層分類模型,將八類分類任務(wù)分解為兩級(jí)級(jí)聯(lián)的分類子任務(wù)。 圖像增強(qiáng)包括傳統(tǒng)的幾何變換和深度卷積生成對(duì)抗網(wǎng)絡(luò) (deep convolutional generative adversarial network,DCGAN)應(yīng)用于每個(gè)子網(wǎng)絡(luò)和級(jí)聯(lián)網(wǎng)絡(luò)。 結(jié)果表明, 結(jié)合傳統(tǒng)增強(qiáng)圖像和基于DCGAN 的增強(qiáng)圖像訓(xùn)練CNN 模型可以提高分類性能。該模型對(duì)八類后牙類型分類的總體準(zhǔn)確率為91.4%,宏查準(zhǔn)率為91.5%,宏查全率為91.3%,宏F1為0.91,優(yōu)于其他深度學(xué)習(xí)模型。 2023 年,HOU 等[32]針對(duì)牙齒全景X 線圖像進(jìn)行牙齒全景分割存在的牙間邊界模糊、牙齒與牙槽骨對(duì)比度低等問題提出了Teeth UNet 模型。 該模型在編碼器和解碼器中采用了擠壓激勵(lì)模塊,并且在瓶頸層設(shè)計(jì)了一種多尺度聚集注意塊和擴(kuò)展混合自關(guān)注塊,能夠有效提取齒形特征并自適應(yīng)融合多尺度特征,并且能在更大的感知范圍內(nèi)捕獲牙齒特征信息。為驗(yàn)證Teeth U-Net 模型的有效性,HOU 等[32]在臨床牙科全景X 線圖像數(shù)據(jù)集上進(jìn)行了上下文語(yǔ)義相關(guān)實(shí)驗(yàn)與先進(jìn)分割網(wǎng)絡(luò)比較以及消融實(shí)驗(yàn)。 通過可視化結(jié)果、數(shù)據(jù)表分析和雷達(dá)圖像對(duì)比,證明了在牙科全景X 線牙齒分割中,Teeth U-Net 模型的分割精度高于其他模型。
目前,已建立的牙齡推斷方法是基于觀察者的主觀經(jīng)驗(yàn)判斷,這是造成牙齡推斷結(jié)果與實(shí)際年齡之間誤差的原因之一。 DL 技術(shù)應(yīng)用于牙齡推斷領(lǐng)域主要體現(xiàn)在兩個(gè)方面:一是實(shí)現(xiàn)了牙齒的自動(dòng)定位、分割和分類,為進(jìn)一步實(shí)現(xiàn)牙齡自動(dòng)化推斷奠定基礎(chǔ);二是建立自動(dòng)推斷牙齡的神經(jīng)網(wǎng)絡(luò)模型,包括基于不同牙齡推斷方法添加標(biāo)簽進(jìn)行有監(jiān)督的深度學(xué)習(xí)模型和基于不同類型牙齒圖像進(jìn)行的無監(jiān)督深度學(xué)習(xí)模型,為該領(lǐng)域的深入研究提供了思路和方向。 2019 年,STERN 等[15]基于手腕骨、鎖骨和第三磨牙的MRI 影像建立了年齡推斷的神經(jīng)網(wǎng)絡(luò)模型。 該CNN 不僅實(shí)現(xiàn)了年齡的自動(dòng)化預(yù)測(cè),而且可應(yīng)用于鑒別個(gè)體年齡是否年滿18.0 周歲。2020 年,VILA 等[33]為探索更為準(zhǔn)確的牙齡自動(dòng)化預(yù)測(cè)模型,建立了兩個(gè)不同的全自動(dòng)化CNN 模型,既不需要對(duì)牙齒進(jìn)行分期或測(cè)量,也不需要圖像預(yù)處理及特征標(biāo)注。 第一個(gè)雙重注意力網(wǎng)絡(luò)(dual attention network, DANet)模型含有一個(gè)連續(xù)的CNN 路徑進(jìn)行牙齡推斷;第二個(gè)DASNet 模型在DANet 模型的基礎(chǔ)上增加了第二個(gè)CNN 路徑進(jìn)行性別預(yù)測(cè),并利用性別特征提高牙齡推斷的準(zhǔn)確性。 結(jié)果顯示,DASNet 模型在各個(gè)方面均優(yōu)于DANet 模型,并且該神經(jīng)網(wǎng)絡(luò)模型的研究結(jié)果比以往人工牙齡推斷結(jié)果誤差更低,還可用于自動(dòng)準(zhǔn)確預(yù)測(cè)某人的實(shí)際年齡,特別在牙齒仍在發(fā)育中的年輕受試者。
2017 年,DE TOBEL 等[34]研究了一種在曲面斷層片中進(jìn)行左下第三磨牙發(fā)育分期的自動(dòng)化評(píng)價(jià)技術(shù),并對(duì)其性能進(jìn)行了測(cè)試。 該研究結(jié)合Demirjian、Gleiser 和Hunt、Kullman 和Moorrees 對(duì)牙齒發(fā)育階段的劃分定義,制訂了新的分期方法,將牙齒發(fā)育過程分為0~9 共10 個(gè)階段。 對(duì)曲面斷層片中第三磨牙的發(fā)育狀況進(jìn)行人為分期,選擇深度卷積神經(jīng)網(wǎng)絡(luò)方法AlexNet 進(jìn)行轉(zhuǎn)移學(xué)習(xí)。 該研究顯示,自動(dòng)化分期和人工分期具有一致性,說明這種新方法對(duì)于消除觀察者內(nèi)部和觀察者之間的分歧而產(chǎn)生的年齡推斷誤差具有一定的積極作用。 在上述研究的基礎(chǔ)上,2020 年,MERDIETIO 等[35]通過不同的特征區(qū)域標(biāo)記方法和神經(jīng)網(wǎng)絡(luò)模型對(duì)既往建立的牙齡自動(dòng)化預(yù)測(cè)模型進(jìn)行了新的探索。 本次研究選擇新的神經(jīng)網(wǎng)絡(luò)DenseNet201,通過相同的樣本分配比例和圖像處理方法進(jìn)行自動(dòng)化分期模型的構(gòu)建。 比較本研究結(jié)果與DE TOBEL 等[34]前一個(gè)實(shí)驗(yàn)研究結(jié)果可知,DenseNet201 在牙齒發(fā)育分期的自動(dòng)化評(píng)估中表現(xiàn)出更優(yōu)越的預(yù)測(cè)性能。 2022 年,VILA-BLANCO等[36]提出了一種新的全自動(dòng)年齡和性別估計(jì)模型。該模型先通過改進(jìn)的CNN 進(jìn)行下頜牙齒檢測(cè),提取每顆牙齒的定向包圍框,再將定向包圍框內(nèi)產(chǎn)生的圖像特征輸入第二個(gè)CNN 模塊,該模塊用一組卷積層和一個(gè)全連接層生成每顆牙齒的年齡和性別概率分布。 該學(xué)者采用分層分割方法和應(yīng)用圖像增強(qiáng)技術(shù)來增加數(shù)據(jù)的大小和可變性,實(shí)驗(yàn)結(jié)果的平均絕對(duì)誤差為0.97 歲,低于以往的任何一種牙齡估計(jì)方法,性別分類的準(zhǔn)確性為91.8%,證實(shí)了牙齒在性別分類中的價(jià)值。 該模型中每顆被檢測(cè)到的牙齒都有一個(gè)單獨(dú)的概率分布,可用于檢測(cè)與特定牙齒發(fā)育有關(guān)的問題,如生長(zhǎng)提前或延遲。
法醫(yī)學(xué)骨齡、牙齡評(píng)估之所以能與AI 技術(shù)緊密結(jié)合,主要是因?yàn)楣趋?、牙齒影像資料可納入計(jì)算機(jī)視覺范疇,而ML、DL 等AI 技術(shù)對(duì)計(jì)算機(jī)視覺研究有著得天獨(dú)厚的優(yōu)勢(shì),并已在醫(yī)學(xué)圖像識(shí)別中取得了突破性進(jìn)展。 鑒于此,今后的法醫(yī)學(xué)活體年齡研究可以考慮在以下幾個(gè)方面形成突破:(1)升級(jí)檢測(cè)手段。 隨著醫(yī)學(xué)影像檢測(cè)技術(shù)的不斷升級(jí),更為復(fù)雜的影像深層特征有可能會(huì)被挖掘,并且隨著公眾健康意識(shí)的不斷增強(qiáng),尤其是涉及青少年兒童骨齡研究,MRI 掃描具有無射線輻射的天然優(yōu)勢(shì),與DR 攝片和CT 掃描相比,不失為一個(gè)大有裨益的檢測(cè)方法。(2)優(yōu)化網(wǎng)絡(luò)算法。基于AI 技術(shù)開展的法醫(yī)學(xué)活體年齡研究使用的算法從最開始的數(shù)據(jù)挖掘、SVM、隨機(jī)森林、主成分分析,到現(xiàn)在廣泛應(yīng)用的CNN、DL, 從開始需要人為提取影像圖片特征到后來通過網(wǎng)絡(luò)算法自動(dòng)學(xué)習(xí),網(wǎng)絡(luò)算法模型仍需不斷更新迭代。 (3)契合法律需求。 2021 年1 月1 日起施行的《中華人民共和國(guó)民法典》將限制性民事行為能力的法定年齡節(jié)點(diǎn)下調(diào)至8.0 周歲,2021 年3 月1 日起施行的《中華人民共和國(guó)刑法修正案(十一)》將刑事責(zé)任年齡下調(diào)至12.0 周歲,這兩大法律對(duì)法定責(zé)任年齡的修訂對(duì)法醫(yī)學(xué)工作者而言,既是機(jī)遇也是挑戰(zhàn)。 AI 與骨齡、牙齡鑒定相結(jié)合,進(jìn)一步提高鑒定意見的精確度和準(zhǔn)確性, 對(duì)于打擊犯罪和保護(hù)未成年人合法權(quán)益具有重要的現(xiàn)實(shí)意義。(4)完善鑒定標(biāo)準(zhǔn)。 《法庭科學(xué) 漢族青少年骨齡鑒定技術(shù)規(guī)程》(GA/T 1583—2019)已于2019 年10 月1 日實(shí)施,重點(diǎn)解決14.0、16.0、18.0 周歲青少年骨齡鑒定問題,今后有必要將青少年兒童牙齒發(fā)育指標(biāo)納入活體年齡研究中,可聯(lián)合運(yùn)用AI 技術(shù)進(jìn)一步完善我國(guó)低年齡組(如8.0、12.0 周歲)未成年人法醫(yī)學(xué)骨齡鑒定標(biāo)準(zhǔn)。