摘 要： 我國(guó)流行病學(xué)調(diào)查結(jié)果顯示，以慢阻肺和哮喘為代表的慢性呼吸系統(tǒng)疾病患病率高且呈現(xiàn)上升的趨勢(shì)，給公共衛(wèi)生健康帶來(lái)了嚴(yán)重威脅. 目前，計(jì)算機(jī)斷層掃描（CT）作為一種方便、無(wú)創(chuàng)的方法被廣泛應(yīng)用于肺功能的評(píng)估. 在基于CT 圖像的計(jì)算機(jī)輔助評(píng)估肺功能的方法中，人工設(shè)計(jì)的特征存在表達(dá)能力有限的問(wèn)題，且現(xiàn)有的深度學(xué)習(xí)方法從高噪稀疏的小樣本數(shù)據(jù)集中提取特征的效果較差. 為了提高肺功能檢查的效率，本文提出了基于CT 圖像的肺功能預(yù)測(cè)網(wǎng)絡(luò)（LFP-ResNet）. 首先，本文提出了多層次上下文特征融合（MCFF）方法，有效增強(qiáng)了對(duì)表征肺部紋理和形態(tài)的特征提??；其次，利用三維殘差網(wǎng)絡(luò)充分保證了CT 圖像的空間異質(zhì)性；最后，本文構(gòu)建了包含肺功能正常人群和患有慢性呼吸系統(tǒng)疾病患者的肺功能數(shù)據(jù)集，并在該數(shù)據(jù)集上對(duì)比了本工作提出的方法以及其他先進(jìn)的肺功能預(yù)測(cè)方法. 實(shí)驗(yàn)結(jié)果表明，本文提出的MCFF 策略在含噪聲的稀疏矩陣中提取特征時(shí)比其他特征提取方法更有效，且所構(gòu)建的LFP-ResNet 在肺功能預(yù)測(cè)任務(wù)中表現(xiàn)出更好的預(yù)測(cè)性能.

關(guān)鍵詞： 計(jì)算機(jī)斷層掃描； 深度學(xué)習(xí)； 多任務(wù)學(xué)習(xí)； 肺功能檢查； 慢性阻塞性肺疾病

中圖分類號(hào)： TP391 文獻(xiàn)標(biāo)志碼： A DOI： 10. 19907/j. 0490-6756. 2024. 042006

１ 引言

目前，慢性呼吸道疾病是全球發(fā)病率和死亡率的主要原因之一［1］. 最常見(jiàn)的慢性呼吸道疾病包括慢性阻塞性肺病即慢阻肺（Chronic ObstructivePulmonary Disease，COPD）、哮喘和職業(yè)性肺病，被認(rèn)為是造成全球非傳染性疾病負(fù)擔(dān)日益加重的最重要因素. 在我國(guó)，由于社會(huì)對(duì)慢阻肺病的認(rèn)知較低，公眾知曉率不足10%. 另外，基層醫(yī)務(wù)人員診斷治療不足、不規(guī)范，錯(cuò)失早期干預(yù)時(shí)機(jī)，慢阻肺病的防控現(xiàn)狀仍不容樂(lè)觀［2］. 盡管慢性呼吸道疾病無(wú)法治愈，但早期發(fā)現(xiàn)和治療有助于控制癥狀，對(duì)提高患者的生活質(zhì)量，以及預(yù)防與發(fā)病率、殘疾和死亡風(fēng)險(xiǎn)相關(guān)的不良后果，起著決定性作用.

肺功能測(cè)試（Pulmonary Function Tests， PFTs）是對(duì)呼吸系統(tǒng)進(jìn)行評(píng)估的手段，對(duì)診斷呼吸系統(tǒng)疾病至關(guān)重要. 肺活量測(cè)定法是PFTs 最常用且應(yīng)用最廣泛的無(wú)創(chuàng)方法，通常在重大手術(shù)前進(jìn)行［3， 4］，以評(píng)估手術(shù)風(fēng)險(xiǎn)，還可以提供重要的預(yù)后信息［5］和術(shù)后持續(xù)隨訪信息［6］. 肺活量測(cè)定法中最常規(guī)的參數(shù)是用力肺活量（Forced Vital Capacity， FVC）和一秒鐘用力呼氣容積（Forced Expiratory Volumein One Second， FEV1）. 強(qiáng)制肺活量測(cè)定流程如圖1 所示. 傳統(tǒng)的肺活量測(cè)定法要求患者快速呼氣直到肺部完全排空，然后盡可能充分地吸氣. 該過(guò)程持續(xù)10～20 min，并重復(fù)3～5 次以保證重現(xiàn)性. 此外，檢測(cè)結(jié)果的準(zhǔn)確性取決于患者的狀態(tài)與配合情況. 由于需要嚴(yán)格遵守檢測(cè)指示，學(xué)齡前兒童、患有氣流阻塞的患者以及無(wú)意識(shí)的患者難以完成肺活量測(cè)定. 因此，肺活量測(cè)定法難以準(zhǔn)確快速地評(píng)估呼吸系統(tǒng)狀態(tài).

為了提高肺功能檢查的效率，計(jì)算機(jī)斷層掃描（Computer Tomography， CT）作為一種方便、無(wú)創(chuàng)的醫(yī)學(xué)影像診斷手段被廣泛應(yīng)用于肺功能的評(píng)估. CT 可以為肺部疾病診斷提供如支氣管壁增厚、肺氣腫形態(tài)和氣道梗阻等信息，這些影像學(xué)特征直接表明氣流受限，并被證明用于輔助疾病診斷、手術(shù)決策等［7］. 許多研究表明CT 圖像與肺功能之間存在相關(guān)性［8］. Moloney 等［9］發(fā)現(xiàn)FEV1 與平均肺密度（r= 0. 762， p lt;0. 001）和肺氣腫體積（r =-0. 678， p lt; 0. 001）顯著相關(guān). 然而，密度測(cè)量法的最佳閾值受到CT 重建算法和不同掃描儀參數(shù)的影響. 為了消除這一影響，研究人員發(fā)現(xiàn)基于紋理的分析，例如圖像上不同強(qiáng)度之間的空間關(guān)系與肺功能的相關(guān)性比密度測(cè)量法更高［10］. 基于形態(tài)學(xué)［11］和生物力學(xué)特征［12］的方法也被證明與肺功能高度相關(guān). 與PFTs 相比，CT 能夠評(píng)估疾病的區(qū)域異質(zhì)性和病因，還可以提供詳細(xì)的形態(tài)學(xué)異常模式分析. 在已經(jīng)獲得患者胸部CT 的情況下，減少了進(jìn)一步肺功能檢測(cè)的必要性，且適用于一些無(wú)法進(jìn)行PFTs 的患者.

基于CT 圖像和肺功能的相關(guān)性，近年來(lái)，基于CT 圖像的智能肺功能評(píng)估方法被提出. 根據(jù)特征提取方法可分為2 類：傳統(tǒng)的基于手工特征的方法和基于深度神經(jīng)網(wǎng)絡(luò)（Deep Neural Network，DNN）的方法. 基于手工特征的方法提供了肺功能放射組學(xué)的分析，Gu 等［13］結(jié)合CT 密度和機(jī)器學(xué)習(xí)算法來(lái)預(yù)測(cè)肺功能，該方法預(yù)測(cè)肺功能指標(biāo)FEV1 和FEV1/FVC%的平均百分比誤差分別為33% 和17%. Gawlitza 等［14］評(píng)估了使用定量CT 參數(shù)預(yù)測(cè)肺功能指標(biāo)的可行性，預(yù)測(cè)FEV1 和FEV1/FVC% 的最佳結(jié)果分別為19% 和9%. 然而，手工設(shè)計(jì)的特征具有的表達(dá)能力有限，并且預(yù)測(cè)結(jié)果的準(zhǔn)確性與特征選擇高度相關(guān). 因此，Gonzalez等［15］使用預(yù)先標(biāo)注了CT 圖像上的4 個(gè)解剖標(biāo)志訓(xùn)練二維卷積神經(jīng)網(wǎng)絡(luò)（Two DimensionalConvolutional Neural Network， 2D-CNN）對(duì)慢阻肺患者進(jìn)行檢測(cè)和分級(jí). Hatt 等［16］提出了基于隨機(jī)采樣的輸入圖像的2D-CNN 對(duì)慢阻肺病患者的嚴(yán)重程度進(jìn)行分類. 然而，慢阻肺的病情嚴(yán)重程度只是肺功能的表現(xiàn)之一，直接預(yù)測(cè)肺功能指標(biāo)可以對(duì)患者呼吸狀態(tài)進(jìn)行評(píng)估，往往能為醫(yī)生提供更加細(xì)粒度的分析. 2D-CNN 導(dǎo)致體積CT 圖像中空間信息的丟失，一些研究［17，18］使用三維卷積神經(jīng)網(wǎng)絡(luò)（Three-dimensional Convolutional Neural Network，3D-CNN）作為肺結(jié)節(jié)檢測(cè)和其他任務(wù)的特征提取器，可以有效地保證病灶的空間異質(zhì)性.Park 等［19］基于Inception 結(jié)構(gòu)的膨脹三維卷積網(wǎng)絡(luò)（Inception-I3D）預(yù)測(cè)三維CT 圖像中的肺活量測(cè)定指標(biāo)并取得了較好的成果，但該數(shù)據(jù)集僅包含健康人群數(shù)據(jù)，在包含呼吸系統(tǒng)疾病病例的數(shù)據(jù)集中預(yù)測(cè)效果有所下降. 然而，這些研究中使用的數(shù)據(jù)集通常規(guī)模小、數(shù)據(jù)噪聲大并且信息稀疏，這對(duì)三維模型的訓(xùn)練構(gòu)成了挑戰(zhàn).

為解決上述問(wèn)題，本文提出了基于多任務(wù)的、以殘差網(wǎng)絡(luò)（Residual Network， ResNet）為網(wǎng)絡(luò)骨干的3D-CNN，旨在利用CNN 對(duì)圖像的特征表達(dá)能力以及人口統(tǒng)計(jì)學(xué)信息和COPD 危重程度與肺功能指標(biāo)的相關(guān)性從原始CT 圖像中預(yù)測(cè)肺功能.本研究所構(gòu)建的模型能夠自動(dòng)、高效且全面地從原始CT 圖像中提取特征. 并且由于醫(yī)學(xué)圖像序列中包含豐富的三維空間信息，該方法無(wú)需任何人工標(biāo)注，可以基于三維結(jié)構(gòu)對(duì)這些空間信息進(jìn)行編碼和提取. 此外，為了增強(qiáng)特征的提取，本文設(shè)計(jì)了4 種不同的圖像融合策略，在簡(jiǎn)化輸入數(shù)據(jù)的同時(shí)盡可能地保持圖像的固有特征，并通過(guò)實(shí)驗(yàn)驗(yàn)證了該策略的有效性. 最后，本研究對(duì)2009-2018 年期間在四川大學(xué)華西醫(yī)院進(jìn)行肺活量測(cè)定并拍攝了胸部CT 的人群進(jìn)行了收集和篩選，構(gòu)建了一個(gè)包含1450 例參與者的相關(guān)影像、人口學(xué)信息以及肺功能檢查結(jié)果的數(shù)據(jù)集，并在該數(shù)據(jù)集上對(duì)比了本工作提出的方法和其他最先進(jìn)的肺功能預(yù)測(cè)方法.

2 深度神經(jīng)網(wǎng)絡(luò)肺功能預(yù)測(cè)方法

本研究提出的基于CT 圖像的深度神經(jīng)網(wǎng)絡(luò)肺功能預(yù)測(cè)方法利用多級(jí)上下文特征融合方法從高噪稀疏的圖像中增強(qiáng)特征提取，結(jié)合3D-ResNet自動(dòng)地從處理后的CT 圖像中提取肺功能相關(guān)的空間特征，最后基于多任務(wù)的全連接模塊對(duì)肺功能指標(biāo)進(jìn)行預(yù)測(cè).

2. 1 多級(jí)上下文特征融合方法

從高噪聲且稀疏的圖像矩陣中提取特征是深度學(xué)習(xí)的難點(diǎn). 由于圖形處理單元（Graphics ProcessingUnit， GPU）的限制，將整個(gè)高分辨率CT圖像作為3D-ResNet 的輸入可行性較低. 此外，在傳統(tǒng)的基于手工特征方法的研究中，低衰減區(qū)域（Low-Attention Area，LAA）的范圍，常作為肺功能放射組學(xué)特征對(duì)肺功能進(jìn)行評(píng)估，其定義為在CT 圖像中CT 值小于某一閾值的區(qū)域，該閾值通常取-910 HU、-950 HU 等. 但部分研究表明，閾值的選取對(duì)于評(píng)估不同CT 圖像中的肺功能效果差異較大，暫時(shí)沒(méi)有最優(yōu)的閾值選擇. 并且肺部區(qū)域的CT 值通常在-700～-600 HU 之間，利用LAA 評(píng)估肺功能無(wú)法包含肺實(shí)質(zhì)區(qū)域部分的特征. 且臨床上使用的PFTs 能夠識(shí)別未受LAA 顯著影響的病例，因此基于LAA 的肺功能預(yù)測(cè)方法無(wú)法精確描述CT 圖像與肺功能相關(guān)的所有特征.受到將CT 中LAA 范圍作為肺功能預(yù)測(cè)因子的啟發(fā)，為了解決上述問(wèn)題，本研究提出了多級(jí)上下文特征融合方法（Multi-level Contextual Feature Fusion，MCFF）方法，使用圖像切片的子集進(jìn)行訓(xùn)練和處理，盡可能地保持固有特征的同時(shí)，簡(jiǎn)化輸入數(shù)據(jù)，如圖2 所示. MCFF 方法根據(jù)構(gòu)建模式的不同，可分為CT 圖像強(qiáng)度沿橫軸的均值、最大值、最小值和混合值這4 種模式，每種模式在肺功能預(yù)測(cè)中都保留了不同的特點(diǎn). 總的來(lái)說(shuō)，MCFF 方法的目的是消除圖像中的不相關(guān)信息，增強(qiáng)相關(guān)信息的可檢測(cè)性，以提高特征提取和回歸預(yù)測(cè)的可靠性.

MCFF 方法的生成過(guò)程執(zhí)行以下3 個(gè)主要步驟，算法1 以Min 策略為例對(duì)MCFF 算法步驟進(jìn)行總結(jié). 由于胸部CT 圖像中還包括除肺以外的組織，為了排除肺外組織的干擾，首先對(duì)原始CT 圖像進(jìn)行肺實(shí)質(zhì)分割［20］. 對(duì)于每張CT 切片用閾值法進(jìn)行二值化處理，移除二值化圖像中所有小于30 mm2 或者離心率大于0. 99 的區(qū)域. 由于肺實(shí)質(zhì)始終處于圖像中心，計(jì)算切片中的每個(gè)連通區(qū)域到圖像中心最小距離（MinDist）以及面積，并保留面積大于6000 mm2 并且MinDist 小于62 mm 的連通區(qū)域. 為確保掩碼（Mask）中包含肺外壁上的組織，對(duì)上述連通區(qū)域進(jìn)行腐蝕和凸包計(jì)算，得到最終Mask. 并將[-1200，600 ]作為閾值對(duì)Mask 進(jìn)行歸一化處理，并將Mask 以外的區(qū)域填充為170.

由于肺實(shí)質(zhì)分割后的圖像尺寸大小各不相同，統(tǒng)計(jì)數(shù)據(jù)集中所有分割后的CT 圖像的長(zhǎng)、寬以及切片數(shù)量這3 個(gè)維度的最大值，記為nxm，nym，nzm. 然后將（ nxm - nx ） /2，（ nym - ny ） /2，（ nzm -nz ） /2 作為矩陣填充的寬度，對(duì)矩陣邊界進(jìn)行填充（Padding），并將170 作為固定填充值，每例CT 圖像被填充為nxm × nym × nzm，再將每張切片下采樣到112 × 112 像素.

其次，將處理后的CT 切面軸向劃分為K （ K lt; nzm ） 個(gè)大小相同的區(qū)域. 計(jì)算每個(gè)區(qū)域內(nèi)相同位置的像素點(diǎn)的最小值、最大值和平均值，最終得到K 張通道融合的切片. 各通道在肺功能預(yù)測(cè)中都保留了不同的特點(diǎn)，其中Min 方法通過(guò)計(jì)算分區(qū)中各切片對(duì)應(yīng)位置的最小值來(lái)提取各分區(qū)區(qū)域的低衰減區(qū)域的特征，以評(píng)估肺氣腫和其他氣道阻塞異常，其表示方式如下.

原始三維CT 圖像經(jīng)過(guò)肺實(shí)質(zhì)分割之后，肺實(shí)質(zhì)區(qū)域中CT 值較大的區(qū)域通常表明肺部纖維化變化和結(jié)節(jié)區(qū)域，Max 方法通過(guò)計(jì)算各分區(qū)中的最大值，提取各分區(qū)區(qū)域中的肺部異常區(qū)域，其表示方式如下.

Mean 方法則是通過(guò)對(duì)分區(qū)中各切片對(duì)應(yīng)位置的像素值進(jìn)行平均，以提取各分區(qū)區(qū)域的總體特征，其表示方式如下.

其中，M 為肺實(shí)質(zhì)分割后的CT 圖像矩陣；x 和y 為各切片矩陣中的坐標(biāo)，k = 1，2，…，K 為區(qū)域編號(hào)，n = nzm /K 為每個(gè)分區(qū)的切片數(shù)量. 然后，將同一CT 圖像的平均值、最大值和最小值切片融合拼接成3 × K × 112 × 112 的三通道形式，稱為Mix方法.

2. 2 LFP-ResNet

ResNet 由He 等［21］于2015 年提出，目前已成為應(yīng)用最廣泛的特征提取網(wǎng)絡(luò). ResNet 通過(guò)將網(wǎng)絡(luò)中的淺層信息恒等映射到深層網(wǎng)絡(luò)中，使得網(wǎng)絡(luò)的內(nèi)部結(jié)構(gòu)同樣具有恒等映射的能力，在解決CNN 深度退化問(wèn)題上具有優(yōu)越性能. ResNet 殘差塊的基本結(jié)構(gòu)如圖3 所示，通過(guò)調(diào)整殘差塊中的通道數(shù)量以及堆疊的殘差塊數(shù)量，來(lái)得到不同表達(dá)能力的網(wǎng)絡(luò)，網(wǎng)絡(luò)中任意層的特征表達(dá)為

本文提出的LFP-ResNet 的整體網(wǎng)絡(luò)框架如圖4 所示. 在醫(yī)學(xué)圖像分析任務(wù)中，以三維CT 圖像為例，由于2D-CNN 將單張CT 切片作為輸入，訓(xùn)練過(guò)程應(yīng)用于各張切片，因此無(wú)法捕捉到存在于切片之間的信息，一部分空間信息將會(huì)丟失. 相較于二維結(jié)構(gòu)，三維CNN 可以從立體三維CT 圖像中提取空間特征，例如肺部異常區(qū)域的體積、圖像上不同強(qiáng)度之間的空間關(guān)系等，可以彌補(bǔ)二維結(jié)構(gòu)的不足. 因此，LFP-ResNet 以3D-ResNet 作為網(wǎng)絡(luò)骨干提取三維CT 圖像中的肺功能相關(guān)特征. 首先，利用遷移學(xué)習(xí)（Transfer Learning）可以將已習(xí)得的強(qiáng)大技能遷移到相關(guān)的問(wèn)題上的優(yōu)勢(shì)，使用Kinetics 視頻數(shù)據(jù)集［22］對(duì)3D-ResNet 進(jìn)行預(yù)訓(xùn)練，并將收斂的模型參數(shù)作為肺功能預(yù)測(cè)網(wǎng)絡(luò)的初始參數(shù). 將經(jīng)過(guò)MCFF 方法處理后的三維數(shù)據(jù)作為輸入，通過(guò)3D-ResNet 網(wǎng)絡(luò)進(jìn)行特征提取，得到與肺功能相關(guān)的影像特征. 根據(jù)患者的性別、年齡、身高體重、種族等人口統(tǒng)計(jì)學(xué)信息與FEV1% 預(yù)測(cè)值和FVC%預(yù)測(cè)值的相關(guān)性，本文將3D-ResNet 提取到的影像特征和人口統(tǒng)計(jì)學(xué)信息的文本特征進(jìn)行融合作為多任務(wù)模塊的輸入. 最后，基于肺功能指標(biāo)與COPD 嚴(yán)重程度分級(jí)的顯著相關(guān)性，以肺功能指標(biāo)預(yù)測(cè)任務(wù)作為主要任務(wù)，COPD 嚴(yán)重程度分級(jí)任務(wù)作為輔助任務(wù)設(shè)計(jì)全連接模塊，得到最終的肺功能指標(biāo)預(yù)測(cè)結(jié)果.

2. 3 基于多任務(wù)學(xué)習(xí)的損失函數(shù)

多任務(wù)學(xué)習(xí)（Multi-Task Learning， MTL）通過(guò)在相關(guān)任務(wù)之間共享表征來(lái)提高對(duì)特定任務(wù)的概括能力［23］. 在臨床中，F(xiàn)EV1 占預(yù)測(cè)值百分比和FEV1/FVC 比值是對(duì)慢阻肺病的嚴(yán)重程度進(jìn)行分級(jí)的金標(biāo)準(zhǔn). 因此，在肺功能預(yù)測(cè)的場(chǎng)景下，本研究將COPD 嚴(yán)重程度分級(jí)任務(wù)作為輔助任務(wù)，與肺功能指標(biāo)預(yù)測(cè)任務(wù)結(jié)合起來(lái)，以使用輔助任務(wù)的訓(xùn)練信號(hào)中所包含特定領(lǐng)域信息來(lái)提高肺功能指標(biāo)預(yù)測(cè)的性能. 本實(shí)驗(yàn)為2 種任務(wù)分別設(shè)置了獨(dú)立的損失函數(shù)，針對(duì)回歸任務(wù)，將Smooth L1 損失函數(shù)作為肺功能指標(biāo)預(yù)測(cè)的損失函數(shù). 相較于更常用的回歸任務(wù)損失函數(shù)L1 和L2，Smooth L1函數(shù)對(duì)離群點(diǎn)更加魯棒，使得訓(xùn)練更穩(wěn)定，其計(jì)算表達(dá)式如下.

其中，x 表示真實(shí)值與模型預(yù)測(cè)值的數(shù)值差異. 對(duì)于分類任務(wù)，將帶有Logistic 函數(shù)的加權(quán)交叉熵（Cross Entropy Loss，CEL）函數(shù)作為COPD 危重程度分級(jí)任務(wù)的損失函數(shù)，帶有Logistic 函數(shù)的交叉熵?fù)p失函數(shù)有利于提升數(shù)值計(jì)算穩(wěn)定性. 在實(shí)際臨床應(yīng)用中，由于COPD 危重分級(jí)各類別樣本數(shù)量不均，以健康人群為主要樣本人群，而COPD最危重人群樣本數(shù)量較少，因此本文采用加權(quán)交叉熵?fù)p失函數(shù)，以各COPD 分級(jí)類別數(shù)量比例的倒數(shù)作為處理類別不平衡問(wèn)題的權(quán)值Wn ={ w1，w2，…，wL }，其計(jì)算方式如下.

其中，p 表示樣本真實(shí)值；q 表示模型預(yù)測(cè)值；S （ x ）表示Logistic 函數(shù). 整個(gè)網(wǎng)絡(luò)在訓(xùn)練過(guò)程中的混合損失函數(shù)可以表示為

Ltotal = λ1 LsmoothL1 + λ2 LCOPD （7）

其中，λ 1 和λ2 是控制每個(gè)損失權(quán)重的超參數(shù).

3 實(shí)驗(yàn)與分析

3. 1 數(shù)據(jù)集收集

本研究回顧性地收集了2009-2018 年在四川大學(xué)華西醫(yī)院進(jìn)行肺活量測(cè)定并且拍攝了胸部CT 圖像的1480 位患者的1837 例胸部CT 檢查，構(gòu)建了一個(gè)新的數(shù)據(jù)集. 數(shù)據(jù)集中包含患者的人口統(tǒng)計(jì)信息，如身高、體重以及患者相對(duì)應(yīng)的肺功能檢查指標(biāo)，包括FEV1、FEV1 預(yù)測(cè)值、FVC、FVC預(yù)測(cè)值、FEV1/FVC% 、一氧化碳擴(kuò)散能力（DLCO%）以及6 min 步行距離. 為了確保數(shù)據(jù)質(zhì)量，本研究只納入了薄層CT 圖像，即掃描層厚最低在1 mm 以下. 相較于厚層CT 圖像，薄層CT 的圖像分辨率更高，因此異常區(qū)域成像更加清晰. 由于數(shù)據(jù)記錄錯(cuò)誤，一些病例被排除，包括但不限于FEV1gt;30 L 以及FEV1/FVC% gt;100% 的數(shù)據(jù)項(xiàng). 最后，387 例病例被排除，1450 例病例保留在數(shù)據(jù)集中. 所有CT 圖像和肺活量測(cè)定指標(biāo)記錄均為匿名，以保護(hù)患者隱私. 所有病例的基本信息和肺活量測(cè)定值的統(tǒng)計(jì)信息見(jiàn)表1. 根據(jù)全球阻塞性肺疾病倡議標(biāo)準(zhǔn)（ GOLD2017）［24］，病例可以根據(jù)肺活量測(cè)定指標(biāo)中的FEV1/FVC%和FEV1% 預(yù)測(cè)值對(duì)COPD 嚴(yán)重程度進(jìn)行劃分，分別為未患COPD（1195 例），GOLD I（131 例），GOLD II（111例）， GOLD II（I 13例）， GOLD IV（0例）.

3. 2 實(shí)現(xiàn)細(xì)節(jié)

本文所有實(shí)驗(yàn)都在裝有4 塊NVIDIA TITANRTX（24 GB）的服務(wù)器上進(jìn)行，該服務(wù)器裝有Ubuntu 18. 04 操作系統(tǒng)和CUDA 11. 4 并行優(yōu)化加速的底層庫(kù). 所有的實(shí)驗(yàn)代碼均基于Python36 的Pytorch-v1. 0. 0 進(jìn)行編碼和構(gòu)建. 本研究將數(shù)據(jù)集分為十折，所有的實(shí)驗(yàn)都采用10 折交叉驗(yàn)證法進(jìn)行評(píng)估，即在每次迭代i 中，第i 折用于測(cè)試，而其余九折數(shù)據(jù)用于訓(xùn)練，確保訓(xùn)練集和測(cè)試集中的數(shù)據(jù)互不相同. 使用平均絕對(duì)誤差（Mean AbsoluteError， MAE）和平均相對(duì)誤差（Mean RelativeError， MRE）評(píng)估預(yù)測(cè)模型的性能. 由于肺功能指標(biāo)預(yù)測(cè)任務(wù)的損失函數(shù)尺度大于分類任務(wù)，因此設(shè)置超參數(shù)λ1 為0. 5，λ2 為2，使得λ1 和λ2 的乘積為1. 采用梯度下降法（Stochastic Gradient Descent，SGD）作為訓(xùn)練優(yōu)化器，動(dòng)量參數(shù)被設(shè)置為0. 9. 對(duì)于模型訓(xùn)練，設(shè)置訓(xùn)練回合為200 個(gè)epoch，設(shè)置初始學(xué)習(xí)率為0. 006，并且當(dāng)訓(xùn)練損失不再變化時(shí)，學(xué)習(xí)率減小10 倍. 將權(quán)重衰減設(shè)置為0. 0001 來(lái)改善過(guò)擬合問(wèn)題，防止損失函數(shù)陷入局部極小值. 另外，訓(xùn)練的批次大小設(shè)置為16. 為使數(shù)據(jù)集盡可能多樣化，增強(qiáng)訓(xùn)練模型的泛化能力，訓(xùn)練集采用中心圖像剪裁，測(cè)試采用隨機(jī)圖像剪裁. 此外，在訓(xùn)練前對(duì)輸入數(shù)據(jù)進(jìn)行旋轉(zhuǎn)和平移等數(shù)據(jù)增強(qiáng)操作.

3. 3 實(shí)驗(yàn)結(jié)果分析

3. 3. 1 驗(yàn)證多級(jí)上下文特征融合方法的有效性

本文首先對(duì)不同的特征融合方法在肺功能指標(biāo)預(yù)測(cè)任務(wù)上的性能進(jìn)行了評(píng)估. 對(duì)于肺功能指標(biāo)預(yù)測(cè)任務(wù)，本研究得到的結(jié)果匯總在表2 中，表中結(jié)果為十折交叉驗(yàn)證測(cè)試集結(jié)果的平均值和標(biāo)準(zhǔn)差. 實(shí)驗(yàn)結(jié)果表明，不同的MCFF 方法在預(yù)測(cè)肺功能能力方面存在差異. 如表2 所示，Min 策略在預(yù)測(cè)FEV1、FVC 和FEV1/FVC% 上具有顯著的預(yù)測(cè)能力，平均融合（Mean）策略和Mix 策略對(duì)FEV1% 預(yù)測(cè)值和FVC% 預(yù)測(cè)值的預(yù)測(cè)效果較好. 在先前的研究中，CT 圖像中的LAA 的范圍被證明與肺功能能力有關(guān)［25，26］. 在表2 中，Min 策略在FEV1、FVC 和FEV1/FVC% 的預(yù)測(cè)中達(dá)到MAE 的最小值. 結(jié)果表明，低衰減區(qū)域，即HU 值較小的區(qū)域在肺功能預(yù)測(cè)中具有較強(qiáng)的相關(guān)性.因此，使用低衰減區(qū)域可以很好地量化肺功能，在本研究的實(shí)驗(yàn)結(jié)果中得到了證明. 此外，F(xiàn)EV1%預(yù)測(cè)值和FVC%預(yù)測(cè)值是根據(jù)人口統(tǒng)計(jì)學(xué)信息計(jì)算得出，由于Mean 策略和Mix 策略中包含了CT圖像中更豐富的信息，因此在FEV1% 預(yù)測(cè)值和FVC%預(yù)測(cè)值這2 個(gè)指標(biāo)的預(yù)測(cè)上優(yōu)于其他策略.

為了驗(yàn)證MCFF 策略對(duì)于CT 圖像特征提取的有效性，本文對(duì)軸向分割后的每個(gè)區(qū)域隨機(jī)采樣1 張切片，共采樣K 張切片，稱為Random 方法.Random 實(shí)驗(yàn)的模型測(cè)試部分采用最小融合（Min）策略，因?yàn)樵跍y(cè)試過(guò)程中如果存在隨機(jī)抽樣，模型測(cè)試結(jié)果就會(huì)變得不確定. 在Zoom 方法中，根據(jù)文獻(xiàn)［16］中使用插值法將分割后的CT 圖像直接縮放到K × 112 × 112，稱為Zoom 方法. 對(duì)預(yù)處理后的CT 圖像不做任何操作，稱為Origin 方法. 如表2 所示，經(jīng)過(guò)MCFF 方法預(yù)處理的輸入數(shù)據(jù)在所有肺功能指標(biāo)預(yù)測(cè)中表現(xiàn)更為突出. 結(jié)果表明，經(jīng)過(guò)特征融合的圖像比未處理的CT 圖像存有更多與肺功能相關(guān)的像素信息，且降低了輸入數(shù)據(jù)的隨機(jī)性. 立體CT 圖像在軸向上被分割成若干個(gè)大小相等的區(qū)域，每個(gè)區(qū)域分別融合，保留了不同肺部區(qū)域肺功能的特征信息. 此外，未采用MCFF 策略的CT 圖像僅包含若干個(gè)連續(xù)圖像，而采用MCFF 策略的輸入包含了整個(gè)肺部狀況的相關(guān)信息，更全面地反映了肺功能. 為了進(jìn)一步說(shuō)明MCFF 方法的有效性，在預(yù)測(cè)FEV1 時(shí)比較了不同的圖像分區(qū)數(shù)K：16、32 和48. 分別采用Min、Max 和Mean 融合策略. 結(jié)果如表3 所示，隨著輸入圖像的分區(qū)數(shù)量減少，預(yù)測(cè)性能增加. 結(jié)果表明，隨著輸入通道數(shù)量的增加，矩陣中的特征變得稀疏，從而降低了三維結(jié)構(gòu)模型對(duì)高噪稀疏矩陣的特征提取能力.

3. 3. 2 對(duì)比不同維度殘差網(wǎng)絡(luò)的特征提取能力

因不同CT 圖像的切片數(shù)量、切片厚度以及切片間隔不同，很難在z 軸，即輸入數(shù)據(jù)的深度上實(shí)現(xiàn)數(shù)據(jù)統(tǒng)一，因此目前大多醫(yī)學(xué)影像分析實(shí)驗(yàn)以2DCNN作為網(wǎng)絡(luò)骨干. 但這些方法會(huì)導(dǎo)致CT 圖像間的空間信息丟失. 與二維結(jié)構(gòu)相比，三維網(wǎng)絡(luò)更擅長(zhǎng)編碼三維空間信息，并具有較高的識(shí)別能力.為了進(jìn)一步驗(yàn)證LFP-ResNet 對(duì)三維空間信息的編碼能力，引入了2D-ResNet 和2. 5D-ResNet 進(jìn)行對(duì)比. 在2D-ResNet 中，將經(jīng)過(guò)Min 策略處理后的圖像水平拼接起來(lái)形成單張蒙太奇（Montage）作為網(wǎng)絡(luò)輸入. 在2. 5D-ResNet 中，將卷積核的輸入通道數(shù)設(shè)置為Min 策略處理后的圖像通道數(shù). 從表4 可知，基于2D-ResNet 的肺功能指標(biāo)預(yù)測(cè)結(jié)果均低于LFP-ResNet. 由于二維模型輸入的局限性，基于2D-ResNet 的方法更傾向于篩選與肺功能相關(guān)的密度和紋理特征，往往不夠充分，而帶有三維卷積濾波器的3D-CNN 可以從立體CT 圖像中自動(dòng)提取復(fù)雜肺內(nèi)環(huán)境和病變的鑒別特征. 此外，2. 5D 方法比2D 方法表現(xiàn)更好，但仍低于3D 方法.

3. 3. 3 驗(yàn)證多任務(wù)學(xué)習(xí)的有效性

本任務(wù)還調(diào)查了包括多模態(tài)數(shù)據(jù)和多任務(wù)學(xué)習(xí)在內(nèi)的組件對(duì)網(wǎng)絡(luò)的影響效果. 表5 為未添加臨床信息數(shù)據(jù)和COPD 危重程度分級(jí)任務(wù)的網(wǎng)絡(luò)模型在肺功能預(yù)測(cè)任務(wù)上的效果. 因FEV1% 預(yù)測(cè)值和FVC%預(yù)測(cè)值是通過(guò)與健康個(gè)體的參考值進(jìn)行比較來(lái)解釋的，這些參考值是由早期研究的多元回歸方程得出，根據(jù)患者的性別、年齡、身高、體重和種族等人口統(tǒng)計(jì)學(xué)信息計(jì)算得出［27］. 目前的計(jì)算式多以歐美人群的年齡和身高為預(yù)測(cè)因素進(jìn)行多元回歸分析，暫時(shí)沒(méi)有以中國(guó)人群為基礎(chǔ)的肺活量參考方程式. 本研究將患者的性別、年齡等信息作為預(yù)測(cè)因素與3D-CNN 提取的特征一起通過(guò)全連接層對(duì)肺功能進(jìn)行預(yù)測(cè). 結(jié)果表明，臨床信息和輔助任務(wù)的加入有效提高了模型對(duì)肺功能指標(biāo)的預(yù)測(cè)能力.

3. 3. 4 與其他最先進(jìn)的肺功能預(yù)測(cè)模型的比較

到目前為止，一些研究人員也進(jìn)行了基于CT 的肺功能指標(biāo)預(yù)測(cè)實(shí)驗(yàn). 本文復(fù)現(xiàn)了目前在肺功能指標(biāo)預(yù)測(cè)上效果最好的3 種方法. Gu 等［13］采用偏最小二乘（partial least squares， PLS）回歸構(gòu)建預(yù)測(cè)模型，將CT 圖像的肺容積（Lung Volume，LVOL）和LAA 作為PLS 回歸模型的輸入. Gawlitza等［14］提取了4 個(gè)定量參數(shù)，包括LVOL、平均肺密度、半值全寬和LAA，并使用5 個(gè)模型來(lái)預(yù)測(cè)肺功能，包括神經(jīng)網(wǎng)絡(luò)、KNN 回歸. 我們從5 個(gè)模型中選取預(yù)測(cè)結(jié)果最好的模型進(jìn)行結(jié)果展示. Park等［19］采用Inception 作為膨脹卷積的網(wǎng)絡(luò)骨干分別對(duì)5 個(gè)肺功能指標(biāo)進(jìn)行預(yù)測(cè). 如表6 所示，在預(yù)測(cè)肺活量測(cè)定指標(biāo)時(shí)，LFP-ResNet 的性能總體優(yōu)于上述3 個(gè)復(fù)現(xiàn)模型，表明基于MCFF 方法的3DResNet增強(qiáng)了特征提取的有效性. 與本研究相似，3 種方法在預(yù)測(cè)FEV1/FVC% 的性能比FEV1%預(yù)測(cè)值更好. 與本文方法相比，前兩項(xiàng)研究中的數(shù)據(jù)集僅包括COPD 患者，而本研究的數(shù)據(jù)集包括未患COPD 的患者，表明本文的模型可以預(yù)測(cè)COPD 患者和其他肺部疾病以及肺功能正常人群的肺功能. 此外，本研究對(duì)FVC、FVC%預(yù)測(cè)值也進(jìn)行了預(yù)測(cè)，對(duì)肺功能進(jìn)行了更全面的評(píng)估. 在第3 項(xiàng)研究中，Inception-I3D 模型在預(yù)測(cè)FEV1% 預(yù)測(cè)值和FVC%預(yù)測(cè)值與本文提出的方法的預(yù)測(cè)結(jié)果接近，其原因是FEV1% 預(yù)測(cè)值和FVC% 預(yù)測(cè)值是根據(jù)健康人群的人口學(xué)信息統(tǒng)計(jì)得出，因此該模型對(duì)健康人群的肺功能指標(biāo)預(yù)測(cè)效果較好.盡管Inception-I3D 在預(yù)測(cè)健康人群的肺功能效果較為突出，然而在臨床實(shí)踐中，進(jìn)行肺活量測(cè)定的人群通常表現(xiàn)出各種呼吸系統(tǒng)疾病，因此該模型在預(yù)測(cè)呼吸疾病的患者肺功能時(shí)性能有所下降，難以應(yīng)用在實(shí)際場(chǎng)景中. 此外，Park 等［19］通過(guò)訓(xùn)練多個(gè)獨(dú)立的Inception-I3D 來(lái)預(yù)測(cè)各肺活量測(cè)定指標(biāo)的結(jié)果，在學(xué)習(xí)過(guò)程中丟失了肺功能指標(biāo)之間的相關(guān)性，且預(yù)測(cè)效率較低.

4 結(jié)論

肺功能評(píng)估對(duì)于識(shí)別哮喘和COPD 等疾病至關(guān)重要，然而在臨床中，肺活量測(cè)定法費(fèi)時(shí)費(fèi)力且不適用于所有患者. 此外，為了解決傳統(tǒng)手工設(shè)計(jì)的特征以及二維神經(jīng)網(wǎng)絡(luò)提取空間特征的局限性. 本研究提出了基于多級(jí)上下文融合策略的LFP- ResNet，建立了CT 圖像和肺功能之間的直接關(guān)系. 網(wǎng)絡(luò)以ResNet 作為基礎(chǔ)結(jié)構(gòu)，通過(guò)添加上下文融合的特征提取方法增強(qiáng)特征的提取，同時(shí)引入3D 殘差塊，從三維原始CT 圖像中充分提取空間特征，提升模型的精度. 同時(shí)，本文引入臨床數(shù)據(jù)和COPD 危重程度分級(jí)輔助任務(wù)，以相關(guān)任務(wù)的訓(xùn)練信號(hào)中所包含的特定領(lǐng)域信息來(lái)提高模型的泛化性能. 實(shí)驗(yàn)結(jié)果表明，本文方法對(duì)于改進(jìn)基于深度學(xué)習(xí)的肺功能預(yù)測(cè)的模型性能，降低預(yù)測(cè)誤差有一定的效果，能為以后智能輔助評(píng)估肺功能的進(jìn)一步研究提供思路.

參考文獻(xiàn)：

［1］ Viegi G，Maio S，F(xiàn)asola S，et al. Global burden ofchronic respiratory diseases［J］. Journal of AerosolMedicine and Pulmonary Drug Delivery， 2020，33： 171.

［2］ Ge L Y，Liu B，F(xiàn)ang F，et al. Survey on the awarenessof chronic obstructive pulmonary disease andscreening willingness ［J］. Chinese Journal for Clinicians，2023， 51： 6.［葛玲玉， 劉兵， 方方， 等. 慢性阻塞性肺疾病認(rèn)知情況及篩查意愿調(diào)查研究［J］. 中國(guó)臨床醫(yī)生雜志， 2023， 51： 6.］

［3］ Almquist D，Khanal N，Smith L，et al. Preoperativepulmonary function tests（ PFTs） and outcomes fromresected early stage non-small cell lung cancer（NSCLC）［ J］. Anticancer Research， 2018， 38： 2903.

［4］ Yang J L. Effect of preoperative FEV1% andDLCO% on pleural drainage after single-port thoracoscopicLobectomy in lung cancer patients［D］. Jilin：Jilin University， 2020.［楊金禮. 肺癌患者術(shù)前FEV1% 及DLCO%對(duì)單孔胸腔鏡肺葉切除術(shù)后胸腔引流影響的研究［D］. 吉林： 吉林大學(xué)， 2020.］

［5］ Jung J H，Kim G E，Min I K，et al. Prediction ofpostinfectious bronchiolitis obliterans prognosis inchildren［ J］. Pediatric Pulmonology， 2021，56： 1069.

［6］ Westerdahl E，Jonsson M，Emtner M. Pulmonary function and health-related quality of life 1-year followup after cardiac surgery［ J］. Journal of CardiothoracicSurgery， 2016， 11： 1.

［7］ Yadav P， Menon N， Ravi V， et al. Lung-GANs：Unsupervised representation learning for lung diseaseclassification using chest CT and X-ray images［J］.IEEE Transactions on Engineering Management，2021， 70： 2774.

［8］ Gao Y，Tang J. Progress in clinical research on the diagnosisof chronic obstructive pulmonary disease bymulti-slice spiral CT ［J］. China Medical Engineering，2014， 22： 203.［高屹， 唐娟. 多層螺旋CT 診斷慢性阻塞性肺疾病臨床研究進(jìn)展［J］. 中國(guó)醫(yī)學(xué)工程， 2014， 22： 203.］

［9］ Moloney F，McWilliams S，Crush L，et al. CT densitometryas a predictor of pulmonary function in lungcancer patients［J］. The Open Respiratory MedicineJournal， 2012， 6： 139.

［10］ Sorensen L，Nielsen M，Lo P，et al. Texture-basedanalysis of COPD： A data-driven approach［J］. IEEETransactions on Medical Imaging， 2011， 31： 70.

［11］ Nardelli P，Diaz A A，Washko G R，et al. Improvingthe accuracy of airway wall measurements using deeplearning ［C］//American Thoracic Society 2019 InternationalConference. New York： American ThoracicSociety， 2019.

［12］ Chaudhary M F A， Pan Y， Wang D， et al.Registration-invariant biomechanical features for diseasestaging of COPD in SPIROMICS［C］//Proceedingsof the 2nd International Workshop on ThoracicImage Analysis： TIA 2020， Held in Conjunctionwith MICCAI 2020. Lima， Peru： Springer InternationalPublishing， 2020.

［13］ Gu S，Leader J，Zheng B，et al. Direct assessment oflung function in COPD using CT densitometric measures［ J］. Physiological Measurement， 2014， 35： 833.

［14］ Gawlitza J，Sturm T，Spohrer K，et al. Predicting pulmonaryfunction testing from quantified computed tomographyusing machine learning algorithms in patientswith COPD［J］. Diagnostics， 2019， 9： 33.

［15］ Gonzalez G， Ash S Y， Vegas-Sanchez-Ferrero G，etal. Disease staging and prognosis in smokers usingdeep learning in chest computed tomography［J］.American Journal of Respiratory and Critical CareMedicine， 2018， 197： 193.

［16］ Hatt C，Galban C，Labaki W，et al. Convolutionalneural network based COPD and emphysema classificationsare predictive of lung cancer diagnosis［C］//Proceedings of the 3rd International Workshop on Im ?age Analysis for Moving Organ，Breast，and ThoracicImages. Cham： Springer International Publishing，2018.

［17］ Xu X，Wang C，Guo J，et al. DeepLN：A frameworkfor automatic lung nodule detection using multiresolutionCT screening images ［J］. Knowledge-Based Systems， 2020， 189： 105128.

［18］ Guo J，Wang C，Xu X，et al. DeepLN： An artificialintelligence-based automated system for lung cancerscreening ［J］. Annals of Translational Medicine，2020， 8： 1126.

［19］ Park H，Yun J，Lee S M，et al. Deep learning-basedapproach to predict pulmonary function at chestCT［ J］. Radiology， 2023， 307： 221488.

［20］ Liao F，Liang M，Li Z，et al. Evaluate the malignancyof pulmonary nodules using the 3-d deep leaky noisyornetwork［J］. IEEE Transactions on Neural Networksand Learning Systems， 2019， 30： 3484.

［21］ He K，Zhang X，Ren S，et al. Deep residual learningfor image recognition［C］//Proceeding of the IEEEConference on Computer Vision and Pattern Recognition.Los Alamitos： IEEE Computer Society， 2016.

［22］ Kay W，Carreira J，Simonyan K，et al. The kineticshuman action video dataset ［EB/OL］.（2017-05-19）［2023-04-04］. https：//arxiv. org/abs/1705. 06950.

［23］ Caruana R. Multitask learning ［M］. New York：Springer US， 1998.

［24］ Vogelmeier C F，Criner G J，Martinez F J，et al.Global strategy for the diagnosis，management， andprevention of chronic obstructive lung disease 2017report. GOLD executive summary ［J］. AmericanJournal of Respiratory and Critical care Medicine，2017，195： 557.

［25］ Lafata K J，Zhou Z，Liu J G，et al. An exploratory radiomicsapproach to quantifying pulmonary functionin CT images［ J］. Scientific Reports， 2019， 9： 11509.

［26］ Occhipinti M，Paoletti M，Bartholmai B J， et al. Spirometricassessment of emphysema presence and severityas measured by quantitative CT and CT-basedradiomics in COPD［J］. Respiratory Research， 2019，20： 1.

［27］ Falaschetti E，Laiho J，Primatesta P，et al. Predictionequations for normal and low lung function from theHealth Survey for England ［J］. European RespiratoryJournal， 2004， 23： 456.

（責(zé)任編輯： 伍少梅）

基金項(xiàng)目： 國(guó)家自然科學(xué)基金（62106163）； 四川省自然科學(xué)基金面上項(xiàng)目（2023YFG0283）； 中國(guó)人工智能學(xué)會(huì)-華為MindSpore 學(xué)術(shù)獎(jiǎng)勵(lì)基金（21H1235）