高陽

（河北北方學(xué)院附屬第一醫(yī)院，河北張家口 075000）

近年來隨著計(jì)算機(jī)技術(shù)的發(fā)展，深度學(xué)習(xí)算法（Deep Learning，DL）被廣泛應(yīng)用于圖像識(shí)別、自然語言處理等領(lǐng)域[1-2]。目前，計(jì)算機(jī)輔助診斷系統(tǒng)(Computer Aided Diagnostic，CAD)成為了重要的臨床輔助診療手段。而人工智能(Artificial Intelligence，AI)技術(shù)也已滲透到健康管理、輔助治療與康復(fù)等醫(yī)療細(xì)分領(lǐng)域中。根據(jù)現(xiàn)有的醫(yī)學(xué)數(shù)據(jù)可知，肺癌仍是目前最為常見且致死率極高的惡性腫瘤之一[3-4]。由于肺癌早期的癥狀并不明顯，而中晚期的治療效果不佳，所以提前對肺部結(jié)節(jié)進(jìn)行監(jiān)測并完成早期診斷，對于提升肺癌患者的存活率具有重要的意義。現(xiàn)階段，肺部CT 影像、相關(guān)檢驗(yàn)數(shù)值是判別良性與惡性結(jié)節(jié)的主要參照。因此，運(yùn)用深度學(xué)習(xí)算法來提取圖像特征，了解結(jié)節(jié)的位置、形態(tài)及暈征，可以為醫(yī)生的臨床診斷篩查提供重要的輔助參考。

但由于CT 圖像通常存在邊緣模糊及偽影嚴(yán)重等問題，導(dǎo)致其特征提取較為困難，所以需要借助復(fù)雜結(jié)構(gòu)的深度學(xué)習(xí)網(wǎng)絡(luò)來解決[5-10]。然而，隨著DL網(wǎng)絡(luò)深度的增加，受制于計(jì)算機(jī)運(yùn)算能力的不足以及訓(xùn)練樣本的缺失，DL 算法的性能難以發(fā)揮。增強(qiáng)學(xué)習(xí)(Reinforcement Learning，RL)是機(jī)器學(xué)習(xí)領(lǐng)域中的另一個(gè)研究熱點(diǎn)，相較于DL 其更側(cè)重于事物感知及思想表達(dá)，更強(qiáng)調(diào)對于完成目標(biāo)策略的學(xué)習(xí)，這也為改善疾病的預(yù)測診斷模型提供了新的思路?；谏鲜龇治觯闹袑L 和DL 算法的思想相融合，設(shè)計(jì)了一個(gè)增強(qiáng)深度學(xué)習(xí)的網(wǎng)絡(luò)，從而為CAD 技術(shù)的發(fā)展提供了新的思路。

1 模型原理設(shè)計(jì)

1.1 增強(qiáng)學(xué)習(xí)算法

隨著類似于文中疾病預(yù)測診斷的復(fù)雜場景出現(xiàn)，需要將具有感知能力的DL 與具備決策能力的RL 相結(jié)合，利用DL 實(shí)現(xiàn)大規(guī)模輸入數(shù)據(jù)的抽象化，再借助RL 不斷優(yōu)化問題的解決路徑。增強(qiáng)深度學(xué)習(xí)算法(DRL)[11-15]的基本原理如圖1 所示。

圖1 增強(qiáng)深度學(xué)習(xí)算法原理

DL 算法通過多層非線性網(wǎng)絡(luò)，將低階特征進(jìn)行組合與提取，以獲得高階特征，而RL 算法則借助智能體(Agent)，累積環(huán)境中的懲戒值，從而得到達(dá)成目標(biāo)的最優(yōu)解。該文所采用的DRL 是一種端到端的感知控制模型，其動(dòng)作過程主要包括三個(gè)步驟：

1）在模型動(dòng)作的每個(gè)時(shí)刻，Agent 均會(huì)與環(huán)境進(jìn)行交互并得到對環(huán)境的一個(gè)觀察信息數(shù)據(jù)，再將該數(shù)據(jù)交由DL 進(jìn)行感知，總結(jié)出該觀察的特征描述；

2）基于現(xiàn)實(shí)上下文的預(yù)期值來評價(jià)動(dòng)作過程的價(jià)值，并將最優(yōu)值映射為當(dāng)前過程的最優(yōu)策略；

3）得到上述動(dòng)作的環(huán)境反饋，然后重復(fù)步驟1）-步驟2），以獲得實(shí)現(xiàn)目標(biāo)的最優(yōu)策略。

根據(jù)上文描述，可以采用馬爾可夫決策過程（Markov Decision Process，MDP）[16]對RL 進(jìn)行建模。將圖1 中的環(huán)境S、動(dòng)作A、獎(jiǎng)賞ρ和狀態(tài)轉(zhuǎn)移概率f定義為四元組(S,A,ρ,f)。對于智能體Agent 在st∈S的狀態(tài)下，獎(jiǎng)賞函數(shù)可用R表示為：

此時(shí)，能夠獲得在st狀態(tài)下Agent 執(zhí)行at(at∈A)所得到的立即獎(jiǎng)賞：

根據(jù)四元組的定義，f可以表示為：

根據(jù)式（3），可以得到Agent 在st狀態(tài)下因?yàn)閳?zhí)行at轉(zhuǎn)移到st+1的概率為：

將S→A上的動(dòng)作映射記為策略π；Qπ(s,a)為模型的動(dòng)作值函數(shù)，其表示在s時(shí)，執(zhí)行a，遵循策略π直至某一情節(jié)結(jié)束，則Qπ(s,a)可以表征為：

其中，E[.]表示求期望，Rt為獎(jiǎng)賞的累計(jì)和。記π*為S→A上的最佳策略，π*和π共享動(dòng)作值，即：

式（6）遵循貝爾曼最優(yōu)方程，可以通過迭代該方程來求解Q值，迭代方法如下：

其中，r和γ是偏置與調(diào)節(jié)系數(shù)。

1.2 增強(qiáng)深度網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)

根據(jù)上文對于增強(qiáng)學(xué)習(xí)基礎(chǔ)理論的敘述，此次將深度卷積網(wǎng)絡(luò)(Deep Convolutional Neural Network，DCNN)與RL 算法相結(jié)合，得到了深度卷積Q網(wǎng)絡(luò)(DCQN)。該網(wǎng)絡(luò)的基本結(jié)構(gòu)，如圖2 所示。從圖中可以看出，DCQN 網(wǎng)絡(luò)在引入DCNN 網(wǎng)絡(luò)后，由全連接層向RL 算法輸出Q值。為了防止DCNN 網(wǎng)絡(luò)及RL 算法結(jié)合后出現(xiàn)迭代不穩(wěn)定的現(xiàn)象，文中還引入了回放記憶單元。DCQN 網(wǎng)絡(luò)的訓(xùn)練流程如圖3所示。

圖2 DCQN網(wǎng)絡(luò)結(jié)構(gòu)

圖3 DCQN網(wǎng)絡(luò)訓(xùn)練流程

訓(xùn)練過程中的轉(zhuǎn)移樣本記為et，其也可以由四元組表示為：

與環(huán)境交互后，Agent 將所有的轉(zhuǎn)移樣本逐一存儲(chǔ)在回放記憶單元中。記θ為DCNN 網(wǎng)絡(luò)的參數(shù)，每次迭代時(shí)，均從回放記憶單元中隨機(jī)抽取批量樣本，并使用梯度下降法(Gradient Descent,GD)對DCNN 網(wǎng)絡(luò)進(jìn)行更新。引入該機(jī)制后，可以有效避免樣本關(guān)聯(lián)，從而保證迭代過程的穩(wěn)定。

在所設(shè)計(jì)的DCQN 網(wǎng)絡(luò)中，值函數(shù)優(yōu)化的目標(biāo)函數(shù)Yi表示如下：

式中，Q(s′,a′|θ

i)是目標(biāo)值網(wǎng)絡(luò)的輸出。在迭代過程中，使用當(dāng)前Q值和目標(biāo)Q值的均方誤差作為網(wǎng)絡(luò)迭代使用的誤差函數(shù)：

在迭代過程中，需要使用式（10）所示的梯度進(jìn)行誤差傳播，則有：

2 方法實(shí)現(xiàn)

2.1 實(shí)驗(yàn)方案設(shè)計(jì)

為了保證算法評估時(shí)的公平性，該次仿真采用了統(tǒng)一的計(jì)算機(jī)軟硬件平臺(tái)。該計(jì)算平臺(tái)的相關(guān)參數(shù)如表1 所示。

表1 算法仿真平臺(tái)參數(shù)

文中使用的檢驗(yàn)數(shù)據(jù)為肺部CT 圖像，其由肺部圖像數(shù)據(jù)庫聯(lián)盟(LIDC)提供，所有圖像均有肺部結(jié)節(jié)。根據(jù)先前的臨床診斷數(shù)據(jù)，可將其分為良性結(jié)節(jié)與惡性結(jié)節(jié)，此次還統(tǒng)一進(jìn)行了人工數(shù)據(jù)標(biāo)注。該數(shù)據(jù)集的數(shù)值信息，如表2 所示。

表2 數(shù)據(jù)集參數(shù)

在評價(jià)模型的性能時(shí)，文中采用了精確率(Precision)、召回率(Recall)與ZSI 相似指數(shù)這三個(gè)指標(biāo)，其定義如下：

其中，各個(gè)符號(hào)的釋義如表3 所示。

表3 數(shù)據(jù)集結(jié)構(gòu)組成

該次所采用的DCQN網(wǎng)絡(luò)結(jié)構(gòu)信息，如表4所示。

表4 DCQN網(wǎng)絡(luò)結(jié)構(gòu)信息

DCQN 網(wǎng)絡(luò)主要基于卷積運(yùn)算對臨床診斷圖像進(jìn)行特征提取，再利用池化運(yùn)算降低網(wǎng)絡(luò)中的參數(shù)。所設(shè)計(jì)的DCQN 包括13 個(gè)卷積層和5 個(gè)池化層（4 個(gè)最大值池化、一個(gè)平均池化），模型的輸出層則采用Sigmoid 函數(shù)。模型在訓(xùn)練時(shí)，采用動(dòng)態(tài)學(xué)習(xí)率調(diào)整機(jī)制。此外，數(shù)據(jù)集中75%為訓(xùn)練樣本，剩余25%則為測試樣本。

2.2 仿真結(jié)果

該算法實(shí)現(xiàn)了從肺部CT 圖像中提取肺部輪廓，然后再判別肺結(jié)節(jié)性質(zhì)的功能。部分樣本的肺部輪廓分割與肺結(jié)節(jié)性質(zhì)識(shí)別示意，分別如圖4 和圖5 所示。作為對比，此次還采用同結(jié)構(gòu)的DCNN網(wǎng)絡(luò)作為對照組。其中圖4(a)、(c)與圖5(a)、(c)為DCNN 網(wǎng)絡(luò)的運(yùn)行效果；圖(4)(b)、(d)及圖5(b)、(d)則為DCQN 網(wǎng)絡(luò)的運(yùn)行效果。此外，圖4(a)、(b)，圖5(a)、(b)為原始的CT 圖像；圖4(c)、(d)，圖5(c)、(d)是算法運(yùn)行后的圖像。

圖4 肺部輪廓識(shí)別效果

圖5 肺結(jié)節(jié)性質(zhì)識(shí)別效果

不同算法在圖像分割及肺結(jié)節(jié)病理識(shí)別預(yù)測時(shí)的相關(guān)計(jì)算結(jié)果，如表5 所示。

表5 肺部病例識(shí)別與預(yù)測結(jié)果

從圖4 中可以看出，該算法在進(jìn)行輪廓提取時(shí)，可以基于臨床檢驗(yàn)數(shù)據(jù)，利用器官間特征與位置間的關(guān)系，進(jìn)行特征提取及編碼，從而實(shí)現(xiàn)輪廓的自動(dòng)化提取。而由表5 可知，DCNN 網(wǎng)絡(luò)較增強(qiáng)學(xué)習(xí)算法，在圖像輪廓提取上具有更高的精度。而與DCNN網(wǎng)絡(luò)相比，DCQN 在包含正例、反例、壞點(diǎn)等情況下的綜合識(shí)別精度提升了9.13%。這說明通過將兩個(gè)算法相結(jié)合，可以進(jìn)一步提升DCNN 網(wǎng)絡(luò)對圖像提取的精度。

從圖5 可以看出，在識(shí)別肺部結(jié)節(jié)時(shí)，算法可以有效克服外部干擾，并對不規(guī)則形狀、高模糊度及灰度分布不均勻的肺部結(jié)節(jié)完成準(zhǔn)確識(shí)別。同時(shí)表5也給出了算法在肺結(jié)節(jié)病例預(yù)測上的結(jié)果，由表可知，DCNN 網(wǎng)絡(luò)的識(shí)別精度、召回率、ZSI 均優(yōu)于增強(qiáng)學(xué)習(xí)算法，而將兩個(gè)算法結(jié)合后，DCQN 算法的三個(gè)指標(biāo)相比DCNN 網(wǎng)絡(luò)分別提升了0.052、0.039 和0.043。綜合上述結(jié)果可以看出，DCQN 算法具有較高的精度及較廣的適用范圍。

3 結(jié)束語

文中基于深度學(xué)習(xí)和增強(qiáng)學(xué)習(xí)的優(yōu)點(diǎn)，結(jié)合醫(yī)學(xué)圖像、數(shù)值檢驗(yàn)的應(yīng)用場景特點(diǎn)設(shè)計(jì)了一個(gè)DCQN 網(wǎng)絡(luò)。該網(wǎng)絡(luò)在醫(yī)學(xué)圖像分割、肺結(jié)節(jié)預(yù)測的相關(guān)指標(biāo)上較現(xiàn)有方法均有了顯著改善。因此，隨著計(jì)算機(jī)輔助診療技術(shù)的進(jìn)一步發(fā)展，所提算法將會(huì)有更廣闊的應(yīng)用前景。