鄒青清，王夢虹，陸紫簫，趙英華，馮前進

1南方醫(yī)科大學生物醫(yī)學工程學院//廣東省醫(yī)學圖像處理重點實驗室，廣東 廣州 510515；2南方醫(yī)科大學第三附屬醫(yī)院（廣東省骨科醫(yī)院）放射科，廣東 廣州510630

中軸性脊柱關(guān)節(jié)?。╝xSpA）是一種炎癥性慢性疾病，其發(fā)病率為0.3%～1.4%，可導(dǎo)致慢性背痛和殘疾［1,2］。根據(jù)國際脊椎關(guān)節(jié)炎學會（ASAS）分類標準（2009），人類白細胞抗原（HLA）-B27陽性或在MRI上可觀察到骶髂關(guān)節(jié)的異常影像學改變，如軟骨下骨髓水腫、骨侵蝕、骨硬化和僵硬是確診axSpA的必要條件［1,3,4］。然而，HLA-B27陰性的發(fā)生率在axSpA人群中可能高達42%～57%［5］，且HLA-B27陰性axSpA的MRI表現(xiàn)比HLA-B27陽性患者具有非典型的對稱性病變、較少的放射學損傷以及邊緣聯(lián)合韌帶，導(dǎo)致HLA-B27 陰性axSpA容易被延遲診斷［6］。此外，放射科醫(yī)生對骶髂關(guān)節(jié)MRI的閱讀和解釋與個人經(jīng)驗有關(guān)，這可能進一步延誤對HLA-B27陰性axSpA患者的最佳治療時間［7］。如果患者錯過最佳的早期干預(yù)，持續(xù)的疾病活動可能會導(dǎo)致不可逆轉(zhuǎn)的結(jié)構(gòu)異常、功能受損、嚴重殘疾、心血管風險增加和精神障礙等［8-10］。因此，迫切需要開發(fā)有效工具來自動解釋HLA-B27陰性患者的MRI數(shù)據(jù)并協(xié)助識別疑似axSpA。

近年來，放射組學作為一種很有前途的圖像異質(zhì)性研究定量方法，允許從感興趣區(qū)域提取高維且有價值的圖像特征信息［11］。放射組學目前已經(jīng)在肺結(jié)節(jié)［12］、消化道癌［13］和乳腺癌［14］等疾病研究中得到廣泛應(yīng)用，這也引起了人們對axSpA 分類的研究興趣。例如，Tenorio等［15］基于MRI圖像進行了放射組學分析，將基于紋理的定量生物標志物與中軸型和外周亞型的骶髂關(guān)節(jié)炎聯(lián)系起來，取得了一定效果。Ye等［16］使用放射組學來研究中軸性脊柱炎和非中軸性脊柱炎的影像學生物標志物，證明了臨床放射組學列線圖可以提高鑒別axSpA的性能，從而有助于臨床決策過程。但標準放射組學研究包含數(shù)據(jù)預(yù)處理、ROI勾畫、特征提取、特征降維和模型構(gòu)建等多個步驟，過程比較繁瑣；而且放射組學對特征提取參數(shù)較敏感，且無法根據(jù)標簽自動學習和更新特征，因此其預(yù)測能力往往有限，仍具有較大的改進空間。

隨著深度學習在醫(yī)學圖像分析領(lǐng)域取得的巨大成功和快速發(fā)展，基于卷積神經(jīng)網(wǎng)絡(luò)的分類方法也被應(yīng)用于中軸性脊柱炎的分類［17-19］。Bordner等［20］基于MRI使用Mask-RCNN進行骶髂關(guān)節(jié)的檢測和骨髓水腫的分類，與專家相比有良好的相關(guān)性；Bressem等［21］應(yīng)用3D ResNet101網(wǎng)絡(luò)從T1WI和STIR圖像中提取特征并進行連接，用于對中軸性脊柱炎的炎癥變化和結(jié)構(gòu)變化檢測，也獲得了較高的準確率。但是，目前還沒有采用深度學習方法對HLA-B27陰性axSpA和非axSpA進行鑒別診斷的相關(guān)研究報道。

聯(lián)合采用多序列圖像有助于提高深度學習任務(wù)性能，也與臨床醫(yī)生診斷習慣一致。目前深度學習技術(shù)可以在原始數(shù)據(jù)級、特征級和決策級上進行多序列融合［22,23］。例如：Ge等［24］提出了TripleNet融合基于VGG16網(wǎng)絡(luò)提取的兩種不同MRI序列的特征，用于皮膚鏡圖像和臨床圖像中的黑色素瘤分類。Vielzeuf 等［25］則提出了一種新的特征融合方法，針對每種MRI序列構(gòu)建一個獨立的深度卷積網(wǎng)絡(luò)進行特征學習，同時使用可學習參數(shù)加權(quán)的方法融合多序列特征。但這些方法對于充分利用和融合多序列信息，仍存在如下兩個主要挑戰(zhàn)：（1）獨立的特征提取過程意味著網(wǎng)絡(luò)仍然只能基于單序列輸入進行學習，因此提取特征的表征能力有限；（2）現(xiàn)有多序列特征融合一般通過拼接層完成，這種簡單的連接無法充分解析不同序列特征之間的異質(zhì)性，這可能導(dǎo)致融合后的特征內(nèi)部存在較大語義差距，從而降低整體表現(xiàn)。為了解決這兩個問題，本項研究提出了一種多序列融合注意力網(wǎng)絡(luò)MSFANet。該網(wǎng)絡(luò)由共享特征學習模塊和類感知特征學習模塊兩部分組成。共享特征學習模塊將輸入的多序列MRI轉(zhuǎn)換為圖像空間特征。類感知特征學習模塊由兩個獨立分支和一個融合分支組成，其中獨立分支用于分別提取特定序列的鑒別特征，融合分支采用多序列融合注意力模塊MSFA學習鑒別不同序列特征之間的相關(guān)性，并自適應(yīng)地進行特征融合。此外，混合損失函數(shù)利用可學習的損失權(quán)重系數(shù)平衡不同分支對分類任務(wù)的性能。

本研究提出的結(jié)合交叉注意力和混合損失函數(shù)的多序列融合框架有助于對HLA-B27陰性axSpA和非axSpA的鑒別診斷。本研究的模型有潛力幫助臨床放射醫(yī)生更早、更準確地檢測到HLA-B27陰性axSpA，減少臨床中的誤診或漏診，從而輔助提升axSpA患者的治療、預(yù)后和疾病管理。

1 資料和方法

1.1 實驗數(shù)據(jù)

該研究得到了南方醫(yī)科大學第三附屬醫(yī)院區(qū)域倫理審查委員會的批準（IRB：2020-倫理審查-002）。所有訪問的患者數(shù)據(jù)均提供了書面知情同意書，明確說明所有收集的信息，包括MRI和臨床數(shù)據(jù)，將用于研究者發(fā)表。

數(shù)據(jù)收集：本研究為回顧性研究。分別收集了南方醫(yī)科大學第三附屬醫(yī)院（TAH）和南海醫(yī)院（NHH）招募的375例和49例HLA-B27陰性的axSpA（符合2009年版本的ASAS分類標準）和非axSpA患者的雙側(cè)骶髂關(guān)節(jié)MRI數(shù)據(jù)，其中TAH包括164例axSpA患者和211例非axSpA患者，NHH包括27例axSpA患者和22例非axSpA患者（表1）。數(shù)據(jù)排除標準如下：缺乏兩個以上的臨床特征；缺乏T1WI序列或FS-MRI序列；MRI質(zhì)量差，嚴重阻礙了雙側(cè)骶髂關(guān)節(jié)的觀察。

表1 Non-axSpA的疾病亞型Tab.1 Detailed disease subtypes in the non-axSpApopulation[n(%)]

1.2 數(shù)據(jù)獲取及預(yù)處理

所有患者的MRI檢查均在1.5T和3.0T MR的磁共振掃描儀下進行采集。兩位具有3年和2年經(jīng)驗的肌肉骨骼放射科醫(yī)生使用ITK-SNAP軟件對MRI進行了標注，標注區(qū)域覆蓋了雙側(cè)骶髂關(guān)節(jié)的整個區(qū)域（表2）。然后1名有31年診斷經(jīng)驗的資深醫(yī)生回顧了有爭議的標注案例，并確定最終的ROI。T1WI和FS-MRI 圖像如圖1A所示。

圖1 T1WI和FS-MRI圖像示例以及T1WI和FS-MRI圖像ROI示例Fig.1 Representative T1WI and FS-MRI images(A)and the ROIs(B).

表2 磁共振采集參數(shù)Tab.2 Acquisition parameters of MRI

圖像預(yù)處理由數(shù)據(jù)重采樣、圖像歸一化和ROI提取組成。首先將所有病例樣本重采樣到統(tǒng)一圖像分辨率，然后將圖像灰度值統(tǒng)一歸一化到[0,1]范圍，最后利用放射科醫(yī)生勾畫的骶髂關(guān)節(jié)的ROI坐標，裁剪出以ROI為中心，尺寸為24×320×224 的三維圖像，將這個三維圖像作為網(wǎng)絡(luò)的輸入。圖1B展示了T1WI和FS-MRI圖像的ROI。

1.3 深度學習模型建立

本研究提出了一種名為MSFANet的3D多序列融合網(wǎng)絡(luò)，旨在通過注意力機制建模序列間的語義關(guān)聯(lián)來增強特征表示，從而促進對HLA-B27陰性axSpA與非axSpA 的分類性能。MSFANet 以3D 的T1WI 和FSMRI兩種序列圖像作為輸入，由淺層共享特征學習模塊和類感知特征學習模塊兩部分組成（圖2）。對于MSFANet的訓(xùn)練，本文提出了一種混合損失函數(shù)，對3個分支進行監(jiān)督。

1.3.1 淺層共享特征學習模塊 該模塊以3D T1WI和FS-MRI作為輸入，由兩個殘差塊組成，其中每個殘差塊包含兩個卷積核尺寸為3×3×3的卷積層、批處理歸一化層和ReLU激活函數(shù)。兩個殘差塊的參數(shù)由T1WI和FS-MRI共享，可學習并提取兩種序列圖像之間共有的中級語義信息（圖2）。

1.3.2 類感知特征學習模塊 該模塊（圖2）通過3個不同的分支：T1WI分支、FS-MRI分支和Fuse分支進一步學習序列特征的高級語義信息并通過MSFA模塊進行多序列特征融合。其中，T1WI分支和FS-MRI分支各包含2個殘差塊，F(xiàn)use分支包含1個殘差塊和2個MSFA模塊。5個殘差塊結(jié)構(gòu)相同但參數(shù)并不共享。這樣的設(shè)計可以在減少計算開銷的同時學習到更多三維圖像多序列信息，提高分類的效率和準確度。

1.3.3 MSFA T1WI 和FS-MRI 是兩種密切相關(guān)的序列，它們分別從結(jié)構(gòu)和病變兩個不同的方面反映了axSpA的特征，因此放射科醫(yī)生通常需要結(jié)合兩種序列來完成axSpA診斷?；诖吮狙芯吭O(shè)計了MSFA（圖3）對多序列特征之間的相關(guān)性進行建模。首先，MSFA通過1×1×1 的卷積核將兩個輸入序列特征Z1,Z2∈RC×D×H×W(C、D、H和W分別代表特征的通道數(shù)、深度、高度和寬度)投射到查詢Q∈RN×d、鍵值K∈RN×d和值V∈RN×C中，其中N代表單個序列中的token數(shù)目(N=D×H×W)，d為Q和K的特征尺寸，表示為：

圖3 多序列特征融合Fig.3 Architecture of the proposed MSFA.

為了更好地融合上下文信息、構(gòu)建兩個序列Z1和Z2的相關(guān)關(guān)系，本研究將Z1,Z2作為MSFA的輸入，對Z1的每個子特征進行查詢，以獲得包含每個token和其所對應(yīng)的Z2的N個token之間1×N個相關(guān)性的注意力親和矩陣。具體地，本研究在Q1和K2的轉(zhuǎn)置之間進行矩陣乘法，并應(yīng)用softmax層來計算空間注意圖S，該圖經(jīng)過歸一化后與Z2的關(guān)鍵特征V2中的相應(yīng)子特征進行點積相乘得到A2。它們的點積將更多的注意力分配給具有高相關(guān)得分的區(qū)域。然后在A2和Z1之間進行加權(quán)求和，最終得到融合后的特征Zf：

值得注意的是，MSFA模塊的輸入和輸出具有相同的大小，這使得MSFA模塊的輸出可以與其他分支使用相同大小的卷積塊，并允許MSFA模塊的輸出和Fuse分支中的殘差塊構(gòu)建一個殘差連接以加速收斂，同時避免因網(wǎng)絡(luò)過深導(dǎo)致梯度消失或者爆炸帶來的訓(xùn)練困難問題。

1.3.4 損失函數(shù) T1WI、FS-MRI和Fuse三個分支用獨立的網(wǎng)絡(luò)處理不同的序列特征，并用附加的注意力機制整合這些序列特征。Kawahara 等［26］提出的多序列多任務(wù)的損失函數(shù)有助于網(wǎng)絡(luò)學習到更準確的參數(shù)，從而提升模型的診斷性能。受此啟發(fā)，本研究提出了一個深度監(jiān)督損失的方法，它對每一個支路的預(yù)測結(jié)果進行監(jiān)督，旨在獲得更魯棒的診斷結(jié)果。提出的深度監(jiān)督損失定義如下：

其中，Lf是根據(jù)Fuse分支輸出計算得到的分類損失，L1、L2分別是T1WI分支和FS-MRI分支的分類損失。βf、β1和β2表示權(quán)重系數(shù)，通過網(wǎng)絡(luò)學習而獲得。另一方面，公式(4)后兩項也可以看作是多序列正則化項，有助于提高網(wǎng)絡(luò)的泛化能力。Lf、L1和L2均采用交叉熵損失函數(shù)L：

其中d為不同分支輸出的預(yù)測分數(shù)，dgt為真實的病人標簽。

1.4 模型訓(xùn)練

本研究將來自TAH的375例數(shù)據(jù)用于訓(xùn)練和內(nèi)部驗證，并把來自NHH的49例數(shù)據(jù)用于獨立外部驗證。本研究使用Adam優(yōu)化器對網(wǎng)絡(luò)進行優(yōu)化，初始學習速率、批大小和權(quán)值衰減分別設(shè)置為1×10-4、6 和1×10-4。并且采用四折交叉驗證方法對所有的模型進行了評估，其中每次訓(xùn)練迭代300個epoch。所有實驗在Pytorch環(huán)境中采用NVIDIA1050Ti 8GB GPU 硬件實現(xiàn)。

1.5 Grad-CAM可視化

本研究使用了梯度加權(quán)類激活圖映射（Grad-CAM）進行了可視化分析，突出顯示與模型預(yù)測相關(guān)的圖像區(qū)域，以提高網(wǎng)絡(luò)的可解釋性［27,28］。具體地，本研究從每一個序列的單獨分支中選擇最后一個卷積層，計算全連接層相對于該卷積層的梯度，得到權(quán)重向量，將權(quán)重向量和卷積層的輸出特征圖進行加權(quán)求和，得到加權(quán)后的特征圖。再進行類別標簽上采樣，得到和輸入圖像相同大小的激活圖。對于給定的3D圖像，本研究按層輸出激活圖。其中fk(x,y,z)代表最后一個卷積層中第k個通道上第z層特征圖(x,y,z)的激活值，激活值全局平均池化的結(jié)果是。對于類別c，輸入到softmax里的類別得分表示為為Fk對于類別c的重要性(權(quán)重)。因此我們得到：

1.6 評估指標

在本研究中，采用準確性（Accuracy），敏感性（Sensitivity），特異性（Specificity），F(xiàn)1評分（F1-score）和受試者工作特征曲線下面積（AUC）評估所有模型的分類性能。指標的公式定義如下：

其中，TP，TN，F(xiàn)P，F(xiàn)N分別為真陽性（正確分類的正樣本）、真陰性（正確分類的負樣本）、假陽性（被錯誤標記為正樣本的負樣本）和假陰性（被錯誤標記為負樣本的正樣本）的數(shù)量。與其它4個指標相比，AUC為受試者工作特性曲線（ROC）與坐標軸圍成的面積，其中縱坐標和橫坐標分別為TPR和FPR，表示為由不同臨界值決定的真陽性率和假陽性率，計算公式如下：

1.7 統(tǒng)計學方法

采用SPSS22.0軟件進行統(tǒng)計學分析。所有的實驗都進行了4折交叉驗證，以4次實驗結(jié)果的均數(shù)±標準差作為最終的結(jié)果。通過配對t檢驗，檢測不同模型的差異性。所有統(tǒng)計檢驗均為雙側(cè)檢驗，當P≤0.05 時被認為差異有統(tǒng)計學意義。

2 結(jié)果

2.1 與最先進的方法進行比較

表3比較了MSFANet在內(nèi)部驗證集上與當前最先進的多序列分類方法的性能。從表中可以觀察到，MSFANet的AUC、靈敏度、F1分數(shù)、召回率排名最高，特異性排名第二高。與其它兩種多階段融合方法CentralNet和Multi-stream相比，MSFANet取得了最高的AUC、準確率、靈敏度和F1 指數(shù)，分別為0.840，77.93%，83.7%和71.24%，比兩種多階段融合方法分別高出0.041 和0.040，2.93%和1.62%，0.45%和2.22%，2.67%和2.67%。另外，該表還給出了兩個基于雙分支結(jié)構(gòu)的基線網(wǎng)絡(luò)，ShuffleNet和EfficientNet，的分類結(jié)果。這些網(wǎng)絡(luò)只在決策級融合序列特征，無法學習不同分支之間的相互關(guān)系。以ShuffleNet為例，它使用同一病人的T1WI和FS-MRI圖像作為輸入，特征提取器在訓(xùn)練過程中共享權(quán)重參數(shù)，為了融合多序列信息，將兩種序列的特征直接拼接。與之相比，本研究提出的算法MSFANet在序列間的交互使得其在性能上平均提升超過3%。統(tǒng)計學檢驗結(jié)果顯示，MSFANet顯著優(yōu)越于其它8種方法（P＜0.05）。圖4A對比展示了不同模型性能的ROC曲線。為了檢驗?zāi)Ｐ偷目芍貜?fù)性，本研究還引入了獨立外部驗證集的數(shù)據(jù)（表4）。本研究發(fā)現(xiàn)，MSFANet在絕大部分指標上的預(yù)測性能相較于其它模型均有顯著提高。具體來說，AUC上升了3%～7%，準確率提升了1%～5%，F(xiàn)1-score增加了2%～10%，且P＜0.05。

圖4 模型間的ROC曲線對比Fig.4 ROC curves for inter-model comparison.A: Comparison of the results of the proposed algorithm and other multi-sequence fusion algorithm.B: Comparison of the results using BCE loss.C: Comparison of the results using hybrid loss.D:Comparison of the results of different sequence algorithms.

表3 在內(nèi)部驗證集中不同模型的對比結(jié)果Tab.3 Classification results of the proposed algorithm and multi-sequence fusion algorithm in the internal validation set

表4 在獨立外部驗證集中不同模型的對比結(jié)果Tab.4 Classification results of the proposed algorithm and multi-sequence fusion algorithm in the external validation set

2.2 消融實驗

2.2.1 MSFA的有效性 本研究首先比較了使用MSFA模塊進行多序列特征融合的MSFANet 和沒有使用MSFA模塊的基線網(wǎng)絡(luò)（Baseline）的分類性能。表5中的結(jié)果表明，當均采用Hybrid loss 作為損失函數(shù)時，MSFANet的分類性能顯著優(yōu)越于Baseline，其中AUC、準確度、和敏感度分別提高0.0721，2.93%，和1.41%（P＜0.001）。當均采用BCE loss時，雖然MSFANet相比Baseline的靈敏度略降低了0.31%，但AUC，準確度和特異度分別提高了0.0691，3.2%和1.99%（圖4B）。

表5 使用兩種損失函數(shù)的不同模型的對比結(jié)果Tab.5 Classification results of all the models using the two loss functions

2.2.2 Hybrid loss的有效性 本研究比較了采用交叉熵函數(shù)和提出的混合損失函數(shù)對模型性能的影響。相比只使用單一損失函數(shù)，采用混合損失函數(shù)的MSFANet在AUC、準確度和靈敏度上分別提高了0.021、1.86%、0.43%（表5）；同時，使用混合損失函數(shù)的Baseline比采用單一損失函數(shù)時的AUC、準確率和特異度分別提高了0.019、2.13%、6.75%（圖4C）。

2.3 與單序列分類方法比較

與只采用單序列T1WI 和FS-MRI作為輸入的模型（BaselineT1和BaselineFS）相比，采用直接拼接融合模型（BaselineTF）的準確率分別提高了5.58%和2.66%，而采用MSFA融合機制模型（MSFANet）的準確率分別提高了10.64%和7.72%（表6，P＜0.05，圖4D）。

表6 使用不同序列的不同模型的對比結(jié)果Tab.6 Classification results of different sequence algorithms with different models

2.4 可視化分析

圖5顯示了基于T1WI和FS-MRI兩個序列圖像生成的激活圖，其中第1列和第3列是原始圖像，第2列和第4列是對應(yīng)的注意力圖。激活圖中從紅色、黃色到藍色區(qū)域分別表示重要性不斷降低。

圖5 分類模型的梯度加權(quán)類激活圖示例Fig.5 Examples of gradient-weighted class activation mapping(Grad-CAM)for the classification model in a 40-yearold male patient with HLA-B27 negative axSpA(A)and a 35-year-old male with HLA-B27 negative non-axSpA(B).

3 討論

HLA-B27陰性axSpA的早期診斷對提高病人的疾病管理和生活質(zhì)量具有重要的臨床應(yīng)用價值和意義。MRI是一種廣泛用于axSpA早期診斷的成像方式。然而，對于低年資放射科醫(yī)生來說，正確識別且解釋骶髂關(guān)節(jié)的結(jié)構(gòu)和病理異常，從而準確診斷axSpA尚具有挑戰(zhàn)性。本研究模仿臨床診斷習慣開發(fā)了MSFANet，通過融合T1WI和FS-MRI兩種序列圖像，來區(qū)分HLAB27陰性群體中的axSpA和非axSpA病人。傳統(tǒng)的多序列融合算法平等對待每一個序列數(shù)據(jù)，沒有充分利用對分類有意義的多序列信息，造成算法瓶頸［34,35］。最近的一些研究在決策階段進行序列特征融合，但這種方法無法針對中級特征挖掘更多有用的信息［24,25］。針對以上問題，本研究設(shè)計了基于序列間交互機制的多序列網(wǎng)絡(luò)，通過捕捉T1WI和FS-MRI兩個序列之間的全局相關(guān)性，以充分挖掘和利用來自不同序列的信息，提高對HLA-B27陰性axSpA的診斷性能。

本研究對MSFANet 的有效性進行了充分驗證。首先，本研究將MSFANet與其他最先進（SOTA）的融合算法和分類算法進行了比較。MSFANet通過利用序列間的信息交互，取得了比其他SOTA算法更好的分類性能，其中在內(nèi)部驗證集上的AUC、準確度、靈敏度和特異度分別達到0.840，77.93%，83.70%和70.29%，在獨立外部驗證集分別達到0.783，74.47%，82.43%和70.40%。然后，本研究通過消融實驗驗證了所提出的MSFANet中每個創(chuàng)新模塊對分類的重要性；結(jié)果顯示，同時使用交互注意力模塊和混合損失函數(shù)時，模型的所有評價指標都得到了提升。此外，為了驗證融合多序列數(shù)據(jù)對提高診斷性能的有效性，本研究對比了相同框架下，采用單序列T1WI和FS-MRI以及融合雙序列圖像的模型性能。實驗結(jié)果顯示，雙序列協(xié)同模型比單序列模型具有更出色的表現(xiàn)，證實了T1WI 和FS-MRI 在HLA-B27陰性axSpA診斷中的信息互補作用，而且也證明了所提出的MSFA模塊對雙序列特征進行細化和融合的有效性。

在現(xiàn)有研究的基礎(chǔ)上，本文算法具有以下優(yōu)勢：共享特征模塊和類感知特征學習的組合可以在保持高性能預(yù)測的前提下減小內(nèi)存和計算需求；本研究提出的交叉注意力特征融合方法和混合損失函數(shù)，能夠有效提升模型性能，其中MSFA模塊比決策端直接融合方法的精度和魯棒性有明顯提升；通過深度學習可視化技術(shù)對模型的感興趣區(qū)進行可視化，提高了模型的臨床可解釋性；獨立外部驗證檢驗了模型的可重復(fù)性；實驗包括了在不同機器上使用不同參數(shù)采集的MRI圖像，符合真實的臨床場景，測試集結(jié)果表明本研究的模型對HLAB27陰性的axSpA診斷具有良好的臨床泛化性。然而我們的研究仍然存在不足。首先，本研究是回顧性分析，不可避免地存在選擇偏倚，因此需要前瞻性研究。第二，本研究選擇了全局標簽訓(xùn)練模型，并沒有提供基于骶髂關(guān)節(jié)的象限分析，這將允許對不同的關(guān)節(jié)區(qū)域進行更準確的評估。

綜上所述，本文提出了一種新的多序列融合框架，先通過共享特征學習模塊提取淺層通用特征，再用獨立的網(wǎng)絡(luò)分支分別處理每種序列特征，最后使用額外的中央網(wǎng)絡(luò)融合單序列特征。該框架可以有效地捕獲多序列MRI信息，提高對HLA-B27陰性axSpA的診斷準確性。本研究設(shè)計了一種具有跨模態(tài)注意力機制的多序列融合模塊MSFA,從多序列MRI中充分挖掘高質(zhì)量的特征表示，并探索特征之間的潛在合作關(guān)系，從而增強融合特征的表達能力。本研究引入了混合損失函數(shù)，通過學習各支路的損失權(quán)重系數(shù)，平衡各個分支對分類任務(wù)的貢獻，提高模型對任務(wù)的推斷準確性。