饒曉潔 張 通 ,2 孟獻(xiàn)兵 陳俊龍 , 2

藥物相互作用(Drug-drug interaction,DDI)針對(duì)的是兩種或兩種以上藥物進(jìn)行混合時(shí),某些藥物的性能受到其他藥物的影響,而發(fā)生協(xié)同或拮抗作用[1-2].DDI 引發(fā)的藥物副作用可能會(huì)降低藥物療效,誘發(fā)不良反應(yīng),甚至影響到患者的身體健康.由于傳統(tǒng)基于實(shí)驗(yàn)的方法進(jìn)行DDI 預(yù)測(cè)存在成本高、檢測(cè)周期長(zhǎng)等問(wèn)題[3-4],近年來(lái),基于計(jì)算機(jī)輔助的計(jì)算方法日益得到廣泛應(yīng)用[2,5].通過(guò)傳統(tǒng)的機(jī)器學(xué)習(xí)和深度學(xué)習(xí)等計(jì)算機(jī)輔助計(jì)算方法從已有藥物相互作用數(shù)據(jù)中學(xué)習(xí)建立模型并實(shí)現(xiàn)DDI 預(yù)測(cè),可以大大提高DDI 預(yù)測(cè)任務(wù)的效率[3].因此,研究基于計(jì)算機(jī)輔助的DDI 預(yù)測(cè)方法具有重要的理論和應(yīng)用價(jià)值.

DDI 預(yù)測(cè)任務(wù)主要包括對(duì)藥物分子式進(jìn)行量化并提取其特征,以及選擇合適的模型預(yù)測(cè)DDI[6-7].不同于一般的結(jié)構(gòu)化數(shù)據(jù),藥物分子具有確定的分子結(jié)構(gòu)及其生物化學(xué)性質(zhì).因此,解決DDI 預(yù)測(cè)問(wèn)題的關(guān)鍵是學(xué)習(xí)藥物分子結(jié)構(gòu)及其特征信息,并建立預(yù)測(cè)模型.目前,已有大量DDI 預(yù)測(cè)任務(wù)相關(guān)研究成果,其中涉及的方法可以概括為基于傳統(tǒng)機(jī)器學(xué)習(xí)的方法和基于深度學(xué)習(xí)的方法[1,8-9].

在現(xiàn)有DDI 預(yù)測(cè)方法中,利用藥物的生化特征信息,包括藥物靶點(diǎn)、酶、藥物轉(zhuǎn)運(yùn)體及蛋白質(zhì)等相關(guān)信息構(gòu)建模型并預(yù)測(cè)DDI,是一種有效的研究思路[2,10-11].這類(lèi)方法通過(guò)充分利用藥物相關(guān)聯(lián)的生化特征信息可以提高DDI 預(yù)測(cè)的精度,不過(guò)也存在一些局限性[3],比如此類(lèi)生化特征信息的獲取成本較高[6].如何在沒(méi)有這些生化特征信息的前提下提高DDI 預(yù)測(cè)的精度,是值得深入研究的問(wèn)題.此外,由于DDI 預(yù)測(cè)任務(wù)涉及多個(gè)藥物分子,且不同藥物分子內(nèi)部又具有不同的原子信息,因此有必要深入挖掘藥物分子內(nèi)不同原子和不同藥物分子之間的相關(guān)關(guān)系,并研究通過(guò)融合原子和分子等不同層次的特征信息,提高DDI 預(yù)測(cè)準(zhǔn)確率.

針對(duì)上述問(wèn)題,本文提出一種基于多層次注意力機(jī)制和消息傳遞神經(jīng)網(wǎng)絡(luò)的藥物相互作用預(yù)測(cè)方法.為了充分挖掘藥物的分子結(jié)構(gòu)信息,本文從藥物分子內(nèi)不同原子和不同藥物分子之間兩個(gè)層面研究DDI 預(yù)測(cè)方法.通過(guò)基于注意力機(jī)制的消息傳遞神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)藥物分子內(nèi)包含不同原子和化學(xué)鍵的圖結(jié)構(gòu)特征,并結(jié)合基于多頭注意力機(jī)制的神經(jīng)網(wǎng)絡(luò)提取不同藥物分子間相關(guān)關(guān)系的特征信息,實(shí)現(xiàn)從藥物分子內(nèi)和分子間兩個(gè)不同層次進(jìn)行藥物分子特征提取,從而完成DDI 預(yù)測(cè)任務(wù).

本文主要貢獻(xiàn)是同時(shí)從原子和分子層面設(shè)計(jì)基于注意力機(jī)制的特征學(xué)習(xí)策略,提出基于多層次注意力機(jī)制和消息傳遞神經(jīng)網(wǎng)絡(luò)的DDI 預(yù)測(cè)方法.主要?jiǎng)?chuàng)新點(diǎn)包括兩個(gè)方面: 一方面,通過(guò)考慮不同原子及其相關(guān)聯(lián)化學(xué)鍵的不同相互作用信息,設(shè)計(jì)基于分子質(zhì)心的位置編碼策略,提出基于注意力機(jī)制和消息傳遞神經(jīng)網(wǎng)絡(luò)的原子特征網(wǎng)絡(luò);另一方面,通過(guò)考慮分子之間的不同相互作用關(guān)系,提出基于注意力機(jī)制和密集連接結(jié)構(gòu)的分子特征網(wǎng)絡(luò).具體來(lái)說(shuō),相比直接在分子層面學(xué)習(xí)不同藥物分子相互作用關(guān)系的方法[10,12],本文方法選擇同時(shí)從原子和分子層面學(xué)習(xí)預(yù)測(cè)DDI.考慮到不同藥物分子的相互作用關(guān)系本質(zhì)上取決于其內(nèi)部原子和化學(xué)鍵的相互作用,這里首先學(xué)習(xí)藥物分子內(nèi)不同原子、化學(xué)鍵間的相互作用關(guān)系,并通過(guò)設(shè)計(jì)基于分子質(zhì)心的位置編碼策略,輔助學(xué)習(xí)藥物分子的圖結(jié)構(gòu)特征表示.這種方法有助于模型學(xué)習(xí)得到豐富的藥物分子表示,從而更有利于挖掘出不同藥物分子的潛在相互作用關(guān)系.雖然已有研究工作也同時(shí)從原子和分子層面研究DDI 預(yù)測(cè)方法,不過(guò)這些方法在原子層面只考慮了原子節(jié)點(diǎn)特征,并沒(méi)有充分利用不同原子相關(guān)聯(lián)的化學(xué)鍵特征[13],無(wú)法在原子和分子層面同時(shí)提取不同原子及其相關(guān)聯(lián)化學(xué)鍵的不同注意力信息,因此其預(yù)測(cè)能力也有限.大量對(duì)比實(shí)驗(yàn)和消融實(shí)驗(yàn)驗(yàn)證了本文方法的有效性,以及相比現(xiàn)有方法的優(yōu)越性.

1 相關(guān)工作

基于計(jì)算機(jī)輔助計(jì)算的DDI 預(yù)測(cè)方法可以概括為基于傳統(tǒng)機(jī)器學(xué)習(xí)的方法和基于深度學(xué)習(xí)的方法.基于傳統(tǒng)機(jī)器學(xué)習(xí)的方法主要分為3 類(lèi),即基于傳統(tǒng)分類(lèi)器的方法和基于回歸的方法和基于矩陣分解的方法[8,14-15].在基于傳統(tǒng)分類(lèi)器的方法和基于回歸的方法中,通常會(huì)使用相似性度量方法(基于內(nèi)積或基于余弦值的相似度度量)度量?jī)煞N藥物之間的相似度,并通過(guò)不同的分類(lèi)或回歸算法,預(yù)測(cè)得出不同藥物相互作用的概率[8,14].在基于矩陣分解的方法中,DDI 預(yù)測(cè)任務(wù)可以建模為矩陣補(bǔ)全任務(wù): 將一個(gè)含有缺失值的矩陣恢復(fù)為一個(gè)完全的矩陣,目的是對(duì)未觀察到的相互作用進(jìn)行預(yù)測(cè)[15].基于傳統(tǒng)機(jī)器學(xué)習(xí)的方法雖然能有效解決DDI 預(yù)測(cè)任務(wù),但因其提取深層特征的能力有限,也存在一定的局限性,比如在不平衡數(shù)據(jù)以及大規(guī)模數(shù)據(jù)集上存在表現(xiàn)能力不足的問(wèn)題[5].此外,這類(lèi)方法往往直接利用藥物分子的特征信息,而忽略藥物分子內(nèi)部的原子特征信息,這在一定程度上也會(huì)影響DDI預(yù)測(cè)的效果.

不同于基于傳統(tǒng)機(jī)器學(xué)習(xí)的方法,基于深度學(xué)習(xí)的DDI 預(yù)測(cè)方法能夠提取更深層次的特征,在實(shí)際應(yīng)用中,往往可以更好地預(yù)測(cè)出潛在的DDI.如,Ryu 等[1]提出了一種基于深度學(xué)習(xí)的DDI 預(yù)測(cè)模型,通過(guò)學(xué)習(xí)不同藥物的結(jié)構(gòu)相似度信息,實(shí)現(xiàn)DDI 預(yù)測(cè).Deng 等[10]通過(guò)計(jì)算藥物結(jié)構(gòu)、基因本體和目標(biāo)基因這三種相似度信息,結(jié)合深度神經(jīng)網(wǎng)絡(luò),實(shí)現(xiàn)藥物分子特征提取,并用于DDI 預(yù)測(cè).Lee 等[6]利用每種藥物不同的相似度信息訓(xùn)練模型,使用自動(dòng)編碼器和深度前饋網(wǎng)絡(luò)實(shí)現(xiàn)DDI 預(yù)測(cè).這些方法借助深度學(xué)習(xí)深層特征提取能力[1,6,10,12],雖然也能解決DDI 預(yù)測(cè)問(wèn)題,但忽略了藥物基于圖結(jié)構(gòu)的數(shù)據(jù)本質(zhì),實(shí)際應(yīng)用中效果往往有限.

近年來(lái),基于圖結(jié)構(gòu)的深度學(xué)習(xí)方法相繼提出并成功應(yīng)用于DDI 預(yù)測(cè)[5,9].這類(lèi)方法通過(guò)將不同藥物分子作為節(jié)點(diǎn)、相互作用關(guān)系作為邊,構(gòu)建藥物分子的圖網(wǎng)絡(luò),從而實(shí)現(xiàn)DDI 預(yù)測(cè)[7,16].如,Liu等[9]使用多模態(tài)深度自編碼器,將每個(gè)藥物數(shù)據(jù)源視為一個(gè)藥物特征網(wǎng)絡(luò),在每個(gè)網(wǎng)絡(luò)中利用圖結(jié)構(gòu)的鄰接矩陣做圖嵌入,從多個(gè)藥物特征網(wǎng)絡(luò)中學(xué)習(xí)藥物的統(tǒng)一表示,并在此基礎(chǔ)上構(gòu)建模型,實(shí)現(xiàn)DDI 預(yù)測(cè).Lin 等[16]設(shè)計(jì)出一種基于知識(shí)圖譜的圖卷積神經(jīng)網(wǎng)絡(luò),通過(guò)學(xué)習(xí)基于不同藥物分子的知識(shí)圖譜,獲取藥物潛在的相互作用關(guān)系.Karim 等[7]提出一種DDI 預(yù)測(cè)模型,通過(guò)知識(shí)圖譜學(xué)習(xí)藥物的重要特征,并通過(guò)集成卷積神經(jīng)網(wǎng)絡(luò)和長(zhǎng)短期記憶遞歸神經(jīng)網(wǎng)絡(luò)進(jìn)行學(xué)習(xí),得到不同藥物的相互作用關(guān)系.這類(lèi)方法雖然考慮了藥物分子的圖結(jié)構(gòu)信息,但也存在一定的局限性.例如,上述方法從藥物分子層面進(jìn)行特征提取,而忽略了藥物分子內(nèi)原子層面的特征學(xué)習(xí).此外,這些方法并沒(méi)有考慮通過(guò)區(qū)分不同藥物分子或藥物原子的重要性來(lái)預(yù)測(cè)DDI.針對(duì)上述問(wèn)題,本文提出了基于藥物分子內(nèi)和藥物分子間的多層次注意力機(jī)制和特征提取方法.

2 本文方法

本文研究的DDI 預(yù)測(cè)任務(wù)是預(yù)測(cè)給定藥物分子集合中任意2 個(gè)藥物分子的相互作用關(guān)系.這里采用簡(jiǎn)化分子線性輸入規(guī)范(Simplified molecular input line entry specification,SMILES)表示每個(gè)藥物分子,并將DDI 任務(wù)建模為通過(guò)提取SMILES文本序列表示的藥物分子特征預(yù)測(cè)得出兩種藥物是否存在相互作用的鏈接預(yù)測(cè)問(wèn)題.理論上來(lái)說(shuō),不同藥物是否存在相互作用關(guān)系取決于藥物的分子圖結(jié)構(gòu)信息及其相關(guān)生化性質(zhì).因此,對(duì)于基于SMILES文本序列的DDI 預(yù)測(cè)方法來(lái)說(shuō),從序列中準(zhǔn)確提取藥物分子圖結(jié)構(gòu)信息對(duì)提高DDI 預(yù)測(cè)方法的精度具有十分重要的作用.為此,本文基于Transformer的注意力機(jī)制[17]和消息傳遞神經(jīng)網(wǎng)絡(luò)[18],設(shè)計(jì)基于多層次注意力機(jī)制和消息傳遞神經(jīng)網(wǎng)絡(luò)的DDI 預(yù)測(cè)方法,旨在實(shí)現(xiàn)分子圖結(jié)構(gòu)特征提取及DDI 預(yù)測(cè).

本文方法整體框架如圖1 所示.首先,從SMILES文本序列中提取藥物分子的圖結(jié)構(gòu)信息,包括原子和化學(xué)鍵相關(guān)聯(lián)的特征[19];然后,在原子特征層面,利用消息傳遞神經(jīng)網(wǎng)絡(luò),并通過(guò)融合Transformer的注意力機(jī)制以及本文提出的基于分子質(zhì)心的位置編碼方法,實(shí)現(xiàn)藥物分子內(nèi)不同原子和化學(xué)鍵特征的學(xué)習(xí)更新;最后,在分子特征層面,進(jìn)一步利用注意力機(jī)制,并通過(guò)監(jiān)督學(xué)習(xí)和對(duì)比學(xué)習(xí),挖掘出不同藥物分子的潛在相互作用關(guān)系,從而實(shí)現(xiàn)任意兩個(gè)藥物分子i和j的相互作用預(yù)測(cè).

圖1 模型框架圖Fig.1 Framework of the proposed model

2.1 基于注意力機(jī)制的消息傳遞原子特征網(wǎng)絡(luò)

藥物分子內(nèi)部由不同原子及原子之間相關(guān)聯(lián)的化學(xué)鍵組成.對(duì)于具有圖結(jié)構(gòu)的藥物分子來(lái)說(shuō),SMILES 這種一維線性的序列表示無(wú)法直接反映不同原子和化學(xué)鍵在藥物分子圖結(jié)構(gòu)中的相對(duì)位置信息.為解決這個(gè)問(wèn)題,并提取藥物分子內(nèi)不同原子和化學(xué)鍵的特征信息,本文建立基于注意力機(jī)制的消息傳遞原子特征網(wǎng)絡(luò),學(xué)習(xí)得到基于圖結(jié)構(gòu)的藥物分子特征表示.

原子特征網(wǎng)絡(luò)如圖2 所示.首先,使用藥物原子和化學(xué)鍵信息進(jìn)行節(jié)點(diǎn)和邊的特征嵌入,同時(shí)設(shè)計(jì)基于分子質(zhì)心的位置編碼方法編碼具有圖結(jié)構(gòu)的原子和化學(xué)鍵特征信息;然后,利用結(jié)合圖結(jié)構(gòu)交互式注意力機(jī)制的消息傳遞神經(jīng)網(wǎng)絡(luò),學(xué)習(xí)不同節(jié)點(diǎn)和邊的特征信息;最后,通過(guò)不斷更新迭代模型,得到藥物分子的特征表示.下面具體從兩個(gè)方面進(jìn)行介紹.

圖2 基于注意力機(jī)制的消息傳遞原子特征網(wǎng)絡(luò)Fig.2 Framework of the message passing atomic feature network base on attention mechanism

2.1.1 基于分子質(zhì)心的位置編碼

由于藥物分子是不同原子和化學(xué)鍵組成的圖結(jié)構(gòu)數(shù)據(jù),因此在Transformer 注意力機(jī)制中處理時(shí)序數(shù)據(jù)的位置編碼方法不一定適合藥物分子數(shù)據(jù).此外,由于表示藥物分子的SMILES 是一維線性化的序列,因此僅僅利用藥物分子SMILES 序列中字符的輸入先后順序作為位置編碼的依據(jù)[18]是不合理的.為了有效提取藥物分子中不同原子的位置信息,本文提出一種基于分子質(zhì)心的位置編碼方法,通過(guò)計(jì)算原子與分子質(zhì)心的距離來(lái)表示原子之間的相對(duì)位置,得到基于該距離的排序結(jié)果并用于設(shè)計(jì)位置編碼.

給定具有n個(gè)原子的藥物分子,該分子可表示為有向圖G=(X,E),其中X,E是通過(guò)RDKit[19]化學(xué)信息庫(kù)分別得到的原子和化學(xué)鍵的初始特征.X由藥物分子內(nèi)n個(gè)原子組成,表示原子節(jié)點(diǎn)i的特征嵌入信息,包括通過(guò)RDKit 獲取得到原子的雜化方式、形式電荷、連接數(shù)等信息.E代表原子之間相關(guān)聯(lián)的化學(xué)鍵,包括化學(xué)鍵的類(lèi)型、是否為芳香鍵、是否成環(huán)等特征信息.euv ∈E ∈表示從原子節(jié)點(diǎn)i到節(jié)點(diǎn)j的邊特征嵌入信息.fn,fe分別表示節(jié)點(diǎn)和邊的特征維度.拓?fù)溥B接矩陣ADJ ∈Rn×n由兩個(gè)原子之間的最短路徑組成.基于分子質(zhì)心的位置編碼方法,具體如下:

首先,通過(guò)計(jì)算分子中n個(gè)原子二維坐標(biāo)vi(i=1,2,3,···,n) 的均值v,得到分子質(zhì)心的坐標(biāo)s0;其次,計(jì)算每個(gè)原子和分子質(zhì)心之間的歐氏距離di,再按照n個(gè)原子與分子質(zhì)心s0之間的距離值di由近到遠(yuǎn)進(jìn)行排序,得到距離分子質(zhì)心由近到遠(yuǎn)的原子索引;最后,將該原子索引順序作為n個(gè)原子的位置編碼,經(jīng)過(guò)詞嵌入得到n個(gè)原子的位置編碼posi.基于分子質(zhì)心位置編碼的原子特征h(xi) 和邊特征h(euv) 表示方法分別為

這種位置編碼方法通過(guò)利用分子圖結(jié)構(gòu)的空間信息描述不同原子的相對(duì)位置關(guān)系,在一定程度上可以改善分子SMILES 序列表示方法僅以SMILES 序列中字符輸入先后順序作為位置編碼的不足,為原子的特征表示學(xué)習(xí)提供更多的信息.

2.1.2 基于注意力機(jī)制的消息傳遞神經(jīng)網(wǎng)絡(luò)

針對(duì)傳統(tǒng)消息傳遞神經(jīng)網(wǎng)絡(luò)不能有效區(qū)分不同節(jié)點(diǎn)和邊的不同作用信息的問(wèn)題[13],本文借鑒基于圖交互式的消息傳遞神經(jīng)網(wǎng)絡(luò)的思想[18],將藥物分子中不同原子及其相關(guān)聯(lián)的化學(xué)鍵(邊)表示為區(qū)分入邊和出邊的有向圖,利用基于Transformer 注意力機(jī)制的消息傳遞神經(jīng)網(wǎng)絡(luò),結(jié)合本文提出的基于分子質(zhì)心的位置編碼策略,計(jì)算藥物分子中不同原子和化學(xué)鍵之間相互作用的注意力分?jǐn)?shù),并進(jìn)行基于圖結(jié)構(gòu)的消息傳遞,不斷學(xué)習(xí)更新節(jié)點(diǎn)和邊的特征,從而得到藥物分子的特征表示.通過(guò)將藥物分子表示為有向無(wú)環(huán)圖,節(jié)點(diǎn)和邊的信息只會(huì)沿著確定的方向傳遞,不會(huì)出現(xiàn)因無(wú)向圖中的環(huán)路造成節(jié)點(diǎn)和邊信息的循環(huán)更新問(wèn)題,從而提高節(jié)點(diǎn)和邊信息的學(xué)習(xí)更新效率.此外,由式(1)和式(2)可知,通過(guò)區(qū)分入邊和出邊,不同節(jié)點(diǎn)及其相關(guān)聯(lián)的邊將具有不同的信息.此時(shí),通過(guò)基于注意力機(jī)制的圖結(jié)構(gòu)信息傳遞和更新學(xué)習(xí),更容易學(xué)習(xí)得到不同原子及其相關(guān)聯(lián)邊的不同作用信息,從而提取到更有效的藥物分子特征表示.

在基本消息傳遞神經(jīng)網(wǎng)絡(luò)中,通常利用鄰接矩陣進(jìn)行消息的聚合及更新[20].該方式存在只考慮節(jié)點(diǎn)特征而忽略邊信息的缺點(diǎn).同時(shí),在進(jìn)行消息傳遞時(shí)無(wú)法自適應(yīng)調(diào)節(jié)節(jié)點(diǎn)之間信息傳遞權(quán)重.為了解決上述問(wèn)題,本文引入了注意力機(jī)制.其中,計(jì)算Q,K,V的方式為

為了進(jìn)一步挖掘圖結(jié)構(gòu)信息,本文將每個(gè)分子視為一個(gè)有向圖,并將邊分為入邊和出邊兩個(gè)類(lèi)型,利用式(3)求得的Q,K,V矩陣計(jì)算相應(yīng)的消息傳遞分?jǐn)?shù)矩陣Mi和Mo,即

其中,Mi,Mo ∈Rn×n,einsum 為愛(ài)因斯坦求和約定,Qi,Ki,Qo,Ko分別表示入邊、出邊相應(yīng)的矩陣.最終的消息傳遞分?jǐn)?shù)矩陣M為

其中,M∈Rn×n,s oftmax 將數(shù)值向量歸一化為概率分布,d iag{Mo}表示只保留矩陣Mo的對(duì)角線元素.

考慮到在消息傳遞過(guò)程中,不同傳遞深度的消息攜帶的信息不同,為了模擬隨著消息傳遞層數(shù)加深而導(dǎo)致的信息量減少的現(xiàn)象,本文引入消息衰減機(jī)制[18],并假設(shè)距離越遠(yuǎn)的兩個(gè)原子之間交互分?jǐn)?shù)衰減得越快.帶有衰減機(jī)制的消息傳遞矩陣M計(jì)算式為

其中,γ為表示衰減程度的參數(shù),ADJ(u,v) 表示原子u和v之間的最短路徑.

經(jīng)過(guò)單層消息傳遞后,得到的節(jié)點(diǎn)和邊特征的更新式為

其中,matmul 表示矩陣乘法,⊙表示兩個(gè)矩陣對(duì)應(yīng)元素相乘.最后,本文使用平均池化的方式生成原子特征網(wǎng)絡(luò)輸出的分子表示,即

其中,Fa是所有分子特征組成的矩陣,Fai是第i個(gè)分子的特征表示,Ki表示第i個(gè)分子的最大原子數(shù)量,h(Xm)k表示經(jīng)過(guò)上述網(wǎng)絡(luò)更新后的第m個(gè)分子中第k個(gè)原子的特征.

2.2 基于多頭注意力機(jī)制的分子特征網(wǎng)絡(luò)

原子特征網(wǎng)絡(luò)只考慮了單個(gè)分子內(nèi)部的結(jié)構(gòu)信息.如果直接基于原子特征網(wǎng)絡(luò)輸出的Fa進(jìn)行DDI預(yù)測(cè),將會(huì)丟失不同藥物分子之間的交互信息,從而影響最終的DDI 預(yù)測(cè)結(jié)果精度.為了解決這個(gè)問(wèn)題,本文將原子特征網(wǎng)絡(luò)輸出的分子表示作為分子特征網(wǎng)絡(luò)的輸入,通過(guò)設(shè)計(jì)多頭注意力模塊學(xué)習(xí)不同藥物分子間的交互信息,并利用學(xué)習(xí)得到的藥物分子關(guān)系更新每個(gè)藥物分子的向量表示,最終基于不同藥物分子的特征學(xué)習(xí)得到DDI 預(yù)測(cè)的結(jié)果.

通過(guò)對(duì)原子特征網(wǎng)絡(luò)輸出的藥物分子特征表示Fa進(jìn)行線性變換,得到Q′,K′,V′矩陣,并計(jì)算多頭注意力,即

為防止網(wǎng)絡(luò)層數(shù)過(guò)深導(dǎo)致的梯度消失,且實(shí)現(xiàn)不同層次特征的融合,本文在多層感知機(jī)(Multi layer perceptron,MLP)網(wǎng)絡(luò)中線性層之間使用密集連接結(jié)構(gòu),計(jì)算最終的輸出: 藥物分子特征表示Fm.具體為

其中,x0是多頭注意力層的輸出,xl表示每個(gè)密集連接層的計(jì)算式,l ayerl表示第l個(gè)線性層,DenseMLPN表示一個(gè)具有N層密集連接的MLP 網(wǎng)絡(luò).

其中,E=Fm.

給定藥物分子對(duì)i和j,通過(guò)式(13)計(jì)算得到Sij,再將其經(jīng)過(guò)一個(gè)MLP 和sigmoid 函數(shù),得到最終的鏈接預(yù)測(cè)結(jié)果pij.

本文模型的復(fù)雜度主要包括原子特征網(wǎng)絡(luò)和分子特征網(wǎng)絡(luò)以及對(duì)比學(xué)習(xí)這3 部分的計(jì)算.在原子特征和分子特征網(wǎng)絡(luò)中主要計(jì)算量是式(8) 和(12),其相應(yīng)的計(jì)算復(fù)雜度都是 O (NBf+Hd),其中,N指數(shù)據(jù)集中的藥物分子數(shù)量,B是藥物分子中的化學(xué)鍵數(shù)量,H表示能發(fā)生相互作用的藥物對(duì)數(shù)量,f和d分別表示輸入的特征維數(shù)和藥物嵌入的特征維數(shù).對(duì)比學(xué)習(xí)部分的計(jì)算復(fù)雜度是 O (Nk),其中k是正樣本數(shù)量.因此,模型復(fù)雜度為O(N(Bf+k)+Hd).

2.3 模型的訓(xùn)練優(yōu)化

為了提高模型的泛化性能,本文在傳統(tǒng)二元交叉熵?fù)p失函數(shù)(Binary cross entropy,BCE)Llabel的基礎(chǔ)上,引入2 種無(wú)監(jiān)督損失函數(shù),包括基于自蒸餾的正則化約束Lun和基于對(duì)比學(xué)習(xí)的無(wú)監(jiān)督損失Lc.模型整體的損失函數(shù)L為

其中,α和β是對(duì)應(yīng)損失的權(quán)重系數(shù).

Llabel使用二元交叉熵?fù)p失函數(shù)衡量模型的誤差損失,即

其中,Tr表示訓(xùn)練集的樣本對(duì)集合,yij表示樣本對(duì) (i,j) 的真實(shí)標(biāo)簽,rij和pij分別表示原子特征網(wǎng)絡(luò)和分子特征網(wǎng)絡(luò)輸出的預(yù)測(cè)結(jié)果.

對(duì)于基于自蒸餾的正則化約束[21],利用分子特征網(wǎng)絡(luò)的輸出對(duì)原子特征網(wǎng)絡(luò)輸出進(jìn)行蒸餾學(xué)習(xí),進(jìn)一步提高原子特征網(wǎng)絡(luò)輸出特征的質(zhì)量.這里通過(guò)KL 散度(Kullback-Leibler divergence,KL)表示Lun,即

其中,K L(pij ‖rij) 表示兩個(gè)概率分布之間的 K L 散度,用來(lái)衡量?jī)蓚€(gè)分布之間的分布差異.DTr表示除訓(xùn)練集之外的樣本對(duì)集合.

基于對(duì)比學(xué)習(xí)的無(wú)監(jiān)督損失函數(shù)設(shè)計(jì)思想如下.對(duì)于每個(gè)藥物分子,選取其在分子特征網(wǎng)絡(luò)的輸出特征作為錨點(diǎn),并將其一階鄰居和非一階鄰居在原子特征網(wǎng)絡(luò)的輸出特征分別作為正樣本和負(fù)樣本.通過(guò)對(duì)比損失學(xué)習(xí),使得錨點(diǎn)與其正樣本相接近,與其負(fù)樣本區(qū)分開(kāi)來(lái).具體為

其中,C(i) 和(i) 分別表示節(jié)點(diǎn)i的一階鄰居集合和非一階鄰居集合.?,φ分別定義了原子特征網(wǎng)絡(luò)和分子特征網(wǎng)絡(luò)的參數(shù),定義了互信息估計(jì)器.

由于無(wú)法直接優(yōu)化互信息,本文使用JS 散度(Jensen-shannon divergence,JSD)優(yōu)化互信息的下界[22].通過(guò)最小化對(duì)比損失函數(shù)Lc,使得互信息最大化,對(duì)比損失函數(shù)的計(jì)算式為

模型訓(xùn)練過(guò)程的偽代碼如算法1 所示.

算法1.端到端的藥物相互作用預(yù)測(cè)模型

3 實(shí)驗(yàn)結(jié)果及分析

為了驗(yàn)證本文方法的有效性和優(yōu)越性,我們選擇兩個(gè)常用的DDI 數(shù)據(jù)集,即ZhangDDI[11]和ChCh-Miner[23],進(jìn)行對(duì)比和消融實(shí)驗(yàn)分析.Zhang-DDI 包含548 種藥物和48 548 組藥物相互作用關(guān)系數(shù)據(jù),ChCh-Miner 包含1 514 種藥物和48 514組藥物相互作用關(guān)系數(shù)據(jù).評(píng)價(jià)指標(biāo)包括ROC(Receiver operating charaeteristic curve)下面積(Area under ROC,AUROC)、PRC (Precision-recall curve)下面積(Area under PRC,AUPRC)和F1 分?jǐn)?shù)(F1-score,F1).

3.1 對(duì)比方法介紹及實(shí)驗(yàn)設(shè)置

本文選擇13 種具有代表性的DDI 預(yù)測(cè)方法作為對(duì)比方法,分為基于傳統(tǒng)機(jī)器學(xué)習(xí)的DDI 預(yù)測(cè)方法和基于圖結(jié)構(gòu)的深度學(xué)習(xí)DDI 預(yù)測(cè)方法.

基于傳統(tǒng)機(jī)器學(xué)習(xí)的DDI 預(yù)測(cè)方法包括以下6 種方法: 基于子結(jié)構(gòu)相似性的DDI 預(yù)測(cè)方法NN(Nearest neighbor)[24];基于標(biāo)簽傳播的DDI 預(yù)測(cè)方法,這里包括3 個(gè)基于不同相似性的方法(LPSub (Label propagation substructure)、LP-SE(Label propagation side effect)、LP-OSE (Label propagation off-label side effect))[25];基于混合集成模型的DDI 預(yù)測(cè)方法MF-Ens (Multi-feature ensemble)[11];基于結(jié)構(gòu)相似性輪廓的DDI 預(yù)測(cè)方法SSP-MLP (Structural similarity profile and multilayer perceptron)[1].

基于圖結(jié)構(gòu)的深度學(xué)習(xí)DDI 預(yù)測(cè)方法又分為兩類(lèi),即基于分子特征網(wǎng)絡(luò)的DDI 預(yù)測(cè)方法、基于原子特征和分子特征網(wǎng)絡(luò)的DDI 預(yù)測(cè)方法.第一類(lèi)方法包括以下4 種方法: 基于圖卷積網(wǎng)絡(luò)的DDI 預(yù)測(cè)方法GCN (Graph convolutional network)[26]、基于圖同構(gòu)網(wǎng)絡(luò)的DDI 預(yù)測(cè)方法GIN (Graph isomorphism network)[27]、基于圖自動(dòng)編碼器的DDI預(yù)測(cè)方法Att-auto (Attentive graph autoencoder)[12]、基于圖注意力網(wǎng)絡(luò)的DDI 預(yù)測(cè)方法GAT (Graph attention network)[28].第二類(lèi)方法包括以下3 種方法: 基于層次圖表示學(xué)習(xí)的DDI 預(yù)測(cè)方法SEALCI (Semi-supervised hierarchical graph classification)[29]、基于分子指紋和圖卷積網(wǎng)絡(luò)的DDI 預(yù)測(cè)方法NFP-GCN (Molecular fingerprint graph convolutional network)[30]、基于鍵感知消息傳遞神經(jīng)網(wǎng)絡(luò)和圖卷積網(wǎng)絡(luò)的DDI 預(yù)測(cè)方法MIRACLE (Multiview graph contrastive representation learning)[13].

對(duì)于ZhangDDI 和ChCh-Miner 數(shù)據(jù)集,本文參照文獻(xiàn)[13]的數(shù)據(jù)劃分方式,所有數(shù)據(jù)樣本按照4:1 的比例分為訓(xùn)練集和測(cè)試集,并在訓(xùn)練集中隨機(jī)選擇1/4 的樣本作為驗(yàn)證集.當(dāng)連續(xù)訓(xùn)練10 輪且模型在驗(yàn)證集上的最佳精度沒(méi)有改變時(shí),模型停止訓(xùn)練.所有實(shí)驗(yàn)結(jié)果都是通過(guò)5 次獨(dú)立實(shí)驗(yàn)進(jìn)行統(tǒng)計(jì)分析得到.在原子特征網(wǎng)絡(luò)中,原子特征維度設(shè)置為115,化學(xué)鍵特征維度設(shè)置為13.在分子特征網(wǎng)絡(luò)中,注意力頭數(shù)設(shè)置為3.目標(biāo)函數(shù)中的系數(shù)α和β分別設(shè)置為1 和0.8,實(shí)驗(yàn)基于Pytorch 1.6.0.

3.2 對(duì)比實(shí)驗(yàn)分析

在ZhangDDI 和ChCh-Miner 兩個(gè)數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果分別如表1 和表2 所示.由表1 可知,相比于12 種對(duì)比算法,本文在所有指標(biāo)上都取得最好結(jié)果.與基于鍵感知消息傳遞神經(jīng)網(wǎng)絡(luò)和圖卷積網(wǎng)絡(luò)的DDI 預(yù)測(cè)方法[13]相比,本文方法雖然在AUPRC 指標(biāo)上取得次優(yōu)結(jié)果,但是在AUROC 和F1 指標(biāo)上表現(xiàn)更好、更魯棒.由表2 的實(shí)驗(yàn)結(jié)果可知,當(dāng)藥物種類(lèi)數(shù)顯著增加時(shí),本文方法超過(guò)了所有對(duì)比方法,且優(yōu)勢(shì)更加明顯.

表1 ZhangDDI 數(shù)據(jù)集上的對(duì)比實(shí)驗(yàn)結(jié)果Table 1 Comparison experimental results on ZhangDDI dataset

表2 ChCh-Miner 數(shù)據(jù)集上的對(duì)比實(shí)驗(yàn)結(jié)果Table 2 Comparison experimental results on ChCh-Miner dataset

1 )與6 種基于傳統(tǒng)機(jī)器學(xué)習(xí)DDI 預(yù)測(cè)方法相比,本文方法在ZhangDDI 數(shù)據(jù)集上取得的3 項(xiàng)指標(biāo)結(jié)果至少提高4%,5%,8%.這是由于基于相似性的DDI 預(yù)測(cè)方法是通過(guò)傳統(tǒng)機(jī)器學(xué)習(xí)計(jì)算多種藥物特征的相似度從而預(yù)測(cè)出DDI 結(jié)果,而藥物分子往往具有復(fù)雜的結(jié)構(gòu)特性,不能簡(jiǎn)單地由一種或幾種特征刻畫(huà),且傳統(tǒng)機(jī)器學(xué)習(xí)提取深層特征的能力有限,因此這類(lèi)方法效果并不好.不同于此類(lèi)方法,本文方法沒(méi)有選擇具體的藥物分子特征,而是通過(guò)深度學(xué)習(xí)方法同時(shí)從藥物原子和分子層面學(xué)習(xí)藥物分子的深層特征.

2 )與4 種基于分子特征網(wǎng)絡(luò)的DDI 預(yù)測(cè)方法相比,本文方法在ZhangDDI 數(shù)據(jù)集上取得的3 項(xiàng)指標(biāo)結(jié)果至少提高6%,7%,12%,而在ChCh-Miner 數(shù)據(jù)集上,相應(yīng)結(jié)果至少提高13%,12%,20%.基于分子特征網(wǎng)絡(luò)的DDI 預(yù)測(cè)方法直接從藥物分子層面學(xué)習(xí)不同藥物分子的相互作用關(guān)系,忽略了分子內(nèi)部的結(jié)構(gòu)特性,算法性能受制于藥物分子特征表示的好壞.而本文方法首先從原子層面學(xué)習(xí)得到每個(gè)藥物分子的特征,然后結(jié)合監(jiān)督學(xué)習(xí)和對(duì)比學(xué)習(xí),不斷優(yōu)化得到的藥物分子特征,并基于這些分子特征學(xué)習(xí)得到不同藥物分子的相互作用關(guān)系,在理論上更具優(yōu)勢(shì).實(shí)驗(yàn)結(jié)果也證明了本文方法的優(yōu)越性.

3 )與3 種基于原子特征和分子特征網(wǎng)絡(luò)的DDI預(yù)測(cè)方法相比,本文方法除1 個(gè)指標(biāo)取得次優(yōu)結(jié)果外,都能取得最好的結(jié)果.雖然這些方法都能從原子和分子層面提取藥物分子特征,但它們都缺乏明確的機(jī)制學(xué)習(xí)原子和化學(xué)鍵之間、分子之間的不同注意力信息.例如,基于鍵感知消息傳遞神經(jīng)網(wǎng)絡(luò)和圖卷積網(wǎng)絡(luò)的DDI 預(yù)測(cè)方法 MIRACLE[13],雖然在AUPRC 指標(biāo)上具有良好的競(jìng)爭(zhēng)力,但其整體性能不如本文方法.這是因?yàn)镸IRACLE 只考慮不同原子間的消息傳遞,并沒(méi)有考慮邊的特征信息.而本文方法可同時(shí)考慮不同原子及其相關(guān)邊之間的消息傳遞,且可學(xué)習(xí)不同原子間的注意力信息.本文方法可以在原子和分子層面同時(shí)進(jìn)行具有不同作用的注意力學(xué)習(xí),因此,本文方法在綜合性能表現(xiàn)上更優(yōu)越.

3.3 消融實(shí)驗(yàn)分析

3.3.1 多層注意力機(jī)制的消融實(shí)驗(yàn)

為驗(yàn)證本文提出的多層次注意力網(wǎng)絡(luò)的有效性,我們?cè)趦蓚€(gè)數(shù)據(jù)集上針對(duì)基于注意力機(jī)制的原子特征網(wǎng)絡(luò)和分子特征網(wǎng)絡(luò)分別進(jìn)行消融實(shí)驗(yàn).

關(guān)于原子特征網(wǎng)絡(luò)和分子特征網(wǎng)絡(luò)的消融實(shí)驗(yàn)結(jié)果分別見(jiàn)表3 和表4.實(shí)驗(yàn)結(jié)果表明,無(wú)論是原子特征網(wǎng)絡(luò),還是分子特征網(wǎng)絡(luò),刪除其注意力機(jī)制后,模型性能都會(huì)顯著下降.如果缺乏基于注意力機(jī)制的原子特征網(wǎng)絡(luò),那么在最終的分子表示中將會(huì)丟失分子內(nèi)部原子和邊的特征信息,而這會(huì)直接影響藥物分子的特征質(zhì)量;同樣,如果沒(méi)有基于注意力機(jī)制的分子特征網(wǎng)絡(luò),那么將會(huì)丟失分子間的相互作用信息,導(dǎo)致模型只會(huì)根據(jù)兩個(gè)獨(dú)立的分子特征來(lái)進(jìn)行DDI 預(yù)測(cè).根據(jù)上述分析,本文提出的基于多層次注意力機(jī)制的原子特征和分子特征網(wǎng)絡(luò)確實(shí)有助于提高藥物分子的特征質(zhì)量和模型性能.

為進(jìn)一步驗(yàn)證本文提出注意力機(jī)制的有效性,我們將分子特征網(wǎng)絡(luò)經(jīng)過(guò)注意力機(jī)制計(jì)算得到的分子之間相互作用的注意力分?jǐn)?shù)進(jìn)行可視化.作為示例說(shuō)明,這里展示在ZhangDDI 數(shù)據(jù)集上抽取的一個(gè)分子(記為A)和另外542 個(gè)分子之間的注意力分?jǐn)?shù),其中與A 發(fā)生相互作用和不發(fā)生相互作用的分子各占一半數(shù)量.圖3 是分子A 與其他542 個(gè)分子之間的注意力分?jǐn)?shù)經(jīng)過(guò)歸一化后的可視化結(jié)果,其中,圖3(a)是與A 發(fā)生相互作用的藥物分子的注意力分?jǐn)?shù)可視化,圖3(b)是不與A 發(fā)生相互作用的藥物分子的注意力分?jǐn)?shù)可視化.經(jīng)過(guò)計(jì)算可得,與A 發(fā)生相互作用的藥物分子的注意力分?jǐn)?shù)之和占注意力分?jǐn)?shù)總和的56.87%,平均注意力分?jǐn)?shù)是0.21;而不與A 發(fā)生相互作用的藥物分子的注意力分?jǐn)?shù)之和則占注意力分?jǐn)?shù)總和的43.13%,平均注意力分?jǐn)?shù)是0.16.即當(dāng)藥物分子之間存在相互作用時(shí),其注意力分?jǐn)?shù)大于沒(méi)有相互作用時(shí)的注意力分?jǐn)?shù).這在一定程度上說(shuō)明通過(guò)本文提出的多層次注意力機(jī)制計(jì)算得到兩個(gè)藥物分子之間的注意力分?jǐn)?shù)越大,則兩個(gè)藥物分子發(fā)生相互作用的可能性也越大.

圖3 藥物分子之間注意力分?jǐn)?shù)的可視化Fig.3 Visualization of attention scores between drug molecules

3.3.2 位置編碼的消融實(shí)驗(yàn)

為了驗(yàn)證本文提出的基于分子質(zhì)心的位置編碼方法的有效性,本節(jié)將研究在有無(wú)位置編碼和傳統(tǒng)位置編碼條件下模型性能的差別.表5 是在兩個(gè)數(shù)據(jù)集上,本文方法在有無(wú)基于分子質(zhì)心的位置編碼和傳統(tǒng)位置編碼條件下的實(shí)驗(yàn)結(jié)果.可以看到,本文提出的位置編碼方法可以顯著提高模型的性能,且使得模型具有更穩(wěn)定的性能表現(xiàn).

表5 位置編碼對(duì)模型性能影響的對(duì)比結(jié)果Table 5 Comparison results of the impact of positional encoding on model performance

如果刪去本文提出的位置編碼,在原子特征網(wǎng)絡(luò)學(xué)習(xí)過(guò)程中,將有可能丟失原子節(jié)點(diǎn)在藥物分子圖結(jié)構(gòu)中的相對(duì)位置信息;而采用傳統(tǒng)位置編碼,將使模型僅依賴(lài)于各原子節(jié)點(diǎn)在SMILES 序列表示中出現(xiàn)的先后順序,進(jìn)行原子特征學(xué)習(xí).正如前面提到,SMILES 序列是分子的一維線性化表示,因此僅依賴(lài)SMILES 序列中原子的先后次序進(jìn)行原子特征學(xué)習(xí),無(wú)法充分學(xué)到分子的圖結(jié)構(gòu)特征信息.

此外,本文提出的位置編碼也有助于提高模型的收斂速度.圖4 是本文方法在有無(wú)位置編碼條件下模型性能的收斂曲線,可以清楚地看到,本文提出的位置編碼可以顯著提高模型的收斂速度.

圖4 位置編碼對(duì)模型收斂性能的影響Fig.4 The effect of positional encoding on model convergence performance

與無(wú)位置編碼的模型相比,本文方法可以在更少的迭代輪數(shù)條件下取得更快更好的模型性能.綜合表5 和圖4 可知,實(shí)驗(yàn)結(jié)果從側(cè)面進(jìn)一步證明:基于分子質(zhì)心的位置編碼可以顯著提高藥物分子中不同原子的編碼效率,進(jìn)而提高模型的收斂速度;同時(shí),通過(guò)分子質(zhì)心引入藥物分子的空間結(jié)構(gòu)信息,有助于模型提取更豐富的藥物分子結(jié)構(gòu)特征,從而進(jìn)一步提升模型的DDI 預(yù)測(cè)精度.

綜合上述實(shí)驗(yàn)結(jié)果可知,本文提出的多層次注意力機(jī)制和基于分子質(zhì)心的位置編碼方法都是有效且不可或缺,有助于提高藥物分子中不同原子的編碼效率和不同藥物分子相互作用預(yù)測(cè)的精度.

3.3.3 損失函數(shù)的消融實(shí)驗(yàn)

為驗(yàn)證本文引入的自蒸餾約束項(xiàng)和對(duì)比學(xué)習(xí)損失項(xiàng)的有效性,我們?cè)趦蓚€(gè)數(shù)據(jù)集上分別針對(duì)2 項(xiàng)損失函數(shù)進(jìn)行消融實(shí)驗(yàn),并進(jìn)一步將對(duì)比學(xué)習(xí)損失項(xiàng)替換為基于互信息的噪聲對(duì)比估計(jì)模型(Mutual information noise contrastive estimation,infoNCE)[22],檢驗(yàn)不同對(duì)比損失函數(shù)對(duì)模型性能的影響.此外,我們還改變正負(fù)樣本采樣方式,檢驗(yàn)采樣方式對(duì)本文對(duì)比學(xué)習(xí)損失函數(shù)的影響.對(duì)于每個(gè)藥物分子,選取其在分子特征網(wǎng)絡(luò)的輸出特征作為錨點(diǎn).我們這里選擇2 種正負(fù)樣本的采樣方式,其中一種是將錨點(diǎn)的一階鄰居和非一階鄰居在原子特征網(wǎng)絡(luò)的輸出特征分別作為正樣本和負(fù)樣本,即本文實(shí)驗(yàn)采用的方法;另外一種是將錨點(diǎn)的二階鄰居在原子特征網(wǎng)絡(luò)的輸出特征作為正樣本,其他節(jié)點(diǎn)作為負(fù)樣本,進(jìn)行對(duì)比學(xué)習(xí).

表6 是不同損失函數(shù)對(duì)模型性能影響的對(duì)比實(shí)驗(yàn)結(jié)果.可以看到,無(wú)論對(duì)于ZhangDDI 還是ChCh-Miner 數(shù)據(jù)集,在沒(méi)有基于自蒸餾的正則化約束項(xiàng)或基于對(duì)比學(xué)習(xí)的損失項(xiàng)時(shí),模型性能都有一定程度的降低,即這2 項(xiàng)損失函數(shù)對(duì)提高模型的性能都不可或缺.對(duì)于2 種正負(fù)樣本采樣方式來(lái)說(shuō),實(shí)驗(yàn)結(jié)果表明本文選取的采樣方式更好.這個(gè)結(jié)果也表明正負(fù)樣本采樣方式對(duì)模型性能具有一定的影響.對(duì)于不同對(duì)比學(xué)習(xí)損失函數(shù)來(lái)說(shuō),在ChCh-Miner數(shù)據(jù)集上,本文方法與infoNCE 相比,取得次優(yōu)結(jié)果;但是在ZhangDDI 數(shù)據(jù)集上,本文方法取得最優(yōu)結(jié)果,且相對(duì)更穩(wěn)定.這是因?yàn)閕nfoNCE 通過(guò)自歸一化重要性采樣來(lái)優(yōu)化互信息的下界,需要相對(duì)較多的負(fù)樣本;而本文采用的JSD 方法則對(duì)負(fù)樣本數(shù)相對(duì)不敏感,性能也相對(duì)更穩(wěn)定.由此可見(jiàn),不同對(duì)比學(xué)習(xí)損失函數(shù)對(duì)模型性能具有一定的影響,本文采用的對(duì)比學(xué)習(xí)損失函數(shù)具有一定優(yōu)勢(shì).

表6 損失函數(shù)對(duì)模型性能影響的對(duì)比結(jié)果Table 6 Comparison results of the impact of loss function on model performance

3.4 參數(shù)敏感性分析

考慮到損失函數(shù)會(huì)直接影響模型的性能,本節(jié)選擇對(duì)損失函數(shù)中的參數(shù)α和β進(jìn)行敏感性分析.在上述實(shí)驗(yàn)中,α和β分別取值1 和0.8.為分析2個(gè)參數(shù)的敏感性,α取值范圍為 {0.2,0.4,0.6,0.8,1},β取值范圍為 {0.2,0.4,0.6,0.8,1}.當(dāng)分析α的敏感性時(shí),β固定,取值為0.8;當(dāng)分析β的敏感性時(shí),α固定,取值為1.圖5 和圖6 分別是2 個(gè)參數(shù)在兩個(gè)數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果.可以看到,在兩個(gè)數(shù)據(jù)集上,不同參數(shù)α和β的取值對(duì)于本文方法在指標(biāo)AUROC 和AUPRC 上的結(jié)果影響相對(duì)較小,而在F1 指標(biāo)上的結(jié)果影響相對(duì)較大.綜合α和β對(duì)模型性能的敏感性分析可知,在α和β分別取值1 和0.8 時(shí),本文方法可以取得最好的實(shí)驗(yàn)結(jié)果.

圖5 在ZhangDDI 數(shù)據(jù)集上不同 α 和 β 取值對(duì)模型性能的影響Fig.5 The effects of different α and β on model performance on ZhangDDI dataset

4 總結(jié)與展望

針對(duì)藥物相互作用預(yù)測(cè)的應(yīng)用研究需求和不同藥物分子及其內(nèi)部不同原子對(duì)DDI 預(yù)測(cè)結(jié)果具有不同作用等問(wèn)題,本文提出一種基于多層次注意力機(jī)制和消息傳遞神經(jīng)網(wǎng)絡(luò)的藥物相互作用預(yù)測(cè)方法.通過(guò)設(shè)計(jì)基于注意力機(jī)制的原子特征網(wǎng)絡(luò)和分子特征網(wǎng)絡(luò),從兩個(gè)不同層次分別學(xué)習(xí)分子內(nèi)不同原子和化學(xué)鍵以及不同分子間的特征信息,并結(jié)合本文提出的基于分子質(zhì)心的位置編碼,提高藥物分子編碼的效率,從而提高DDI 預(yù)測(cè)結(jié)果的準(zhǔn)確性.通過(guò)大量對(duì)比實(shí)驗(yàn)和消融實(shí)驗(yàn)驗(yàn)證了本文方法的有效性和優(yōu)越性.

本文提出的方法雖然可以從原子和分子層面提取藥物分子特征信息,但是利用的僅僅只是包含藥物分子信息的SMILES 序列,并沒(méi)有充分利用其他的藥物相關(guān)信息.下一步的研究工作可以考慮如何充分利用藥物分子結(jié)構(gòu)式之外的信息,如同時(shí)利用藥物分子結(jié)構(gòu)式和包含藥物相互作用關(guān)系的文本等多種信息,進(jìn)一步提高模型預(yù)測(cè)潛在藥物相互作用關(guān)系的能力.