徐龍春，張敏風(fēng)，張崗，鄒越，趙文波，何樂(lè)民，周慧晶，顏淑敏，張光玉

1.山東第一醫(yī)科大學(xué)（山東省醫(yī)學(xué)科學(xué)院）第二附屬醫(yī)院醫(yī)學(xué)影像科，山東泰安271000；2.山東第一醫(yī)科大學(xué)（山東省醫(yī)學(xué)科學(xué)院）第二附屬醫(yī)院耳鼻咽喉科，山東泰安271000；3.山東第一醫(yī)科大學(xué)（山東省醫(yī)學(xué)科學(xué)院）放射學(xué)院，山東泰安271016

前 言

理解認(rèn)知、思維和創(chuàng)新意識(shí)產(chǎn)生的機(jī)理是腦科學(xué)研究的重要內(nèi)容。腦科學(xué)對(duì)各種腦功能機(jī)理的解析對(duì)有效診斷和治療腦疾病有重要的臨床意義。類(lèi)腦研究是在腦科學(xué)研究的基礎(chǔ)上，側(cè)重借鑒腦科學(xué)研究成果，模擬人腦功能，開(kāi)發(fā)人工智能器件。腦科學(xué)和類(lèi)腦研究是當(dāng)前國(guó)際重要科技前沿［1］。

針對(duì)腦科學(xué)和類(lèi)腦研究，各國(guó)制定了相應(yīng)的計(jì)劃。歐洲在2005年提出“藍(lán)腦計(jì)劃”，其目的是從實(shí)驗(yàn)數(shù)據(jù)逆向打造哺乳動(dòng)物的大腦。2013年美國(guó)正式啟動(dòng)人腦計(jì)劃，目的是通過(guò)使用新型的腦研究技術(shù)來(lái)揭示人腦的工作原理以及人腦重大疾病發(fā)生機(jī)制［2］。隨后，歐盟也在“藍(lán)腦計(jì)劃”的基礎(chǔ)上正式確定人腦計(jì)劃［3］，歐盟人腦計(jì)劃主要是通過(guò)超級(jí)計(jì)算機(jī)來(lái)模擬人類(lèi)大腦，并通過(guò)對(duì)人腦工作機(jī)制的研究為類(lèi)腦人工智能的發(fā)展提供一些啟示。日本在2014年也宣布實(shí)施人腦計(jì)劃的研究［4］，日本的人腦計(jì)劃側(cè)重于通過(guò)繪制腦聯(lián)結(jié)圖譜，并結(jié)合基因操作，構(gòu)建腦疾病的狨猴模型。中國(guó)的人腦計(jì)劃已經(jīng)啟動(dòng)，2018年北京和上海分別成立了腦科學(xué)和類(lèi)腦研究中心。中國(guó)腦計(jì)劃是通過(guò)理解大腦的認(rèn)知基礎(chǔ)來(lái)促進(jìn)腦疾病診斷、治療和類(lèi)腦智能技術(shù)的發(fā)展［5］。

為了更好地進(jìn)行腦科學(xué)和類(lèi)腦研究，歐洲構(gòu)建了虛擬大腦，虛擬大腦是基于所獲得的受試者腦結(jié)構(gòu)磁共振成像和彌散張量成像數(shù)據(jù)，構(gòu)建個(gè)體化腦網(wǎng)絡(luò)模型，并通過(guò)功能磁共振成像（Functional Magnetic Resonance Imaging,fMRI）數(shù)據(jù)、腦電圖和腦磁圖數(shù)據(jù)調(diào)節(jié)模型參數(shù)，使模型的輸出信號(hào)同真實(shí)的腦信號(hào)盡可能接近。虛擬大腦能夠用于觀察腦區(qū)的神經(jīng)活動(dòng)狀態(tài)［6-8］，揭示人腦工作的機(jī)理［9-10］，還能夠進(jìn)行腦疾病的個(gè)體化研究和虛擬治療干預(yù)［11-13］。此外，歐洲還開(kāi)發(fā)了虛擬大腦軟件平臺(tái)來(lái)實(shí)現(xiàn)虛擬大腦的各項(xiàng)功能。但虛擬大腦軟件平臺(tái)的運(yùn)行需要很多軟件作支撐，操作復(fù)雜，預(yù)測(cè)的神經(jīng)活動(dòng)信號(hào)與實(shí)際信號(hào)相差較大，并沒(méi)有很好地發(fā)揮其在腦科學(xué)和類(lèi)腦研究中的作用。因此，研究操作簡(jiǎn)單，且能夠用于腦科學(xué)和類(lèi)腦研究的軟件開(kāi)發(fā)平臺(tái)對(duì)腦計(jì)劃的實(shí)施具有重要的意義。本研究為實(shí)現(xiàn)這一目的而進(jìn)行虛擬數(shù)字腦軟件平臺(tái)研究和開(kāi)發(fā)。

1 材料與方法

1.1 材料

使用泰山醫(yī)學(xué)院附屬醫(yī)院影像科提供的NIFTI格式磁共振醫(yī)學(xué)圖像作為本研究中所開(kāi)發(fā)的軟件平臺(tái)測(cè)試圖像。

1.2 方法

1.2.1 軟件的總體框架虛擬數(shù)字腦是一個(gè)由真實(shí)數(shù)據(jù)驅(qū)動(dòng)的人腦神經(jīng)網(wǎng)絡(luò)虛擬仿真模型，是一個(gè)由許多節(jié)點(diǎn)組成的人腦因果連接網(wǎng)，連接網(wǎng)中節(jié)點(diǎn)間因果連接方向表示節(jié)點(diǎn)間神經(jīng)信號(hào)傳遞或流動(dòng)方向。連接網(wǎng)中的每一個(gè)節(jié)點(diǎn)代表一個(gè)布魯?shù)侣δ苣X區(qū)，可以根據(jù)人腦神經(jīng)活動(dòng)規(guī)律，利用數(shù)學(xué)建模方法模擬連接網(wǎng)中各節(jié)點(diǎn)的神經(jīng)信號(hào)活動(dòng)強(qiáng)度。

實(shí)現(xiàn)虛擬數(shù)字腦功能的軟件包總體框架如圖1所示，包括數(shù)據(jù)預(yù)處理、構(gòu)建因果連接網(wǎng)、獲得回歸系數(shù)、虛擬數(shù)字腦、輸入刺激信號(hào)、單對(duì)象腦區(qū)激活結(jié)果、單組對(duì)象腦區(qū)激活結(jié)果、兩組對(duì)象激活結(jié)果比較、腦區(qū)間最短因果連接路徑、三維重建和可視化、多平面重建和可視化。

圖1 虛擬數(shù)字腦軟件包總體框架Fig.1 Diagram of virtual digital brain software package

數(shù)據(jù)預(yù)處理主要包括時(shí)間校正、頭動(dòng)校正、結(jié)構(gòu)像配準(zhǔn)、空間標(biāo)準(zhǔn)化［將結(jié)構(gòu)像和功能像配準(zhǔn)到MNI（Montreal Neurological Institute）空間］、空間平滑、結(jié)構(gòu)像分割。這些預(yù)處理可以通過(guò)SPM 軟件（https://www.fil.ion.ucl.ac.uk/spm/）來(lái)完成。這些預(yù)處理后的數(shù)據(jù)還需要利用虛擬數(shù)字腦軟件包進(jìn)行去線(xiàn)性漂移、協(xié)變量去除和時(shí)域?yàn)V波。協(xié)變量去除的目的是消除白質(zhì)信號(hào)、腦脊液信號(hào)和頭動(dòng)校正參數(shù)對(duì)后續(xù)處理的影響。

基于預(yù)處理后的數(shù)據(jù)，利用熵連接［14］（一種因果連接）方法構(gòu)建因果連接網(wǎng)，利用最小均方誤差算法獲得所構(gòu)建的因果連接網(wǎng)中，節(jié)點(diǎn)神經(jīng)活動(dòng)預(yù)測(cè)模型中的回歸系數(shù)。因果連接網(wǎng)和節(jié)點(diǎn)神經(jīng)活動(dòng)預(yù)測(cè)模型構(gòu)成了人腦神經(jīng)網(wǎng)絡(luò)的一個(gè)虛擬仿真模型，這個(gè)模型就是虛擬數(shù)字腦。

根據(jù)實(shí)際研究的需求，獲得刺激信號(hào)，按照設(shè)計(jì)的任務(wù)范例的要求，將刺激信號(hào)輸入到虛擬數(shù)字腦的某個(gè)或某些腦區(qū)，通過(guò)節(jié)點(diǎn)神經(jīng)活動(dòng)模型和迭代算法獲得各節(jié)點(diǎn)的神經(jīng)活動(dòng)信號(hào)強(qiáng)度，利用統(tǒng)計(jì)學(xué)方法得到腦區(qū)激活結(jié)果。這些結(jié)果包括單對(duì)象腦區(qū)激活結(jié)果、單組對(duì)象腦區(qū)激活結(jié)果、通過(guò)雙T 檢驗(yàn)獲得的兩組對(duì)象激活結(jié)果。在激活腦區(qū)組成的網(wǎng)絡(luò)中，可以通過(guò)有向圖中最短路徑的獲取方法，分析兩個(gè)激活腦區(qū)間的最短因果連接路徑，也就是神經(jīng)活動(dòng)信號(hào)在兩個(gè)腦區(qū)間的最短傳遞或流動(dòng)路徑。虛擬數(shù)字腦、腦區(qū)激活結(jié)果和最短因果連接路徑等需要進(jìn)行三維重建和可視化、多平面重建和可視化，目的是對(duì)各種處理結(jié)果進(jìn)行顯示。

1.2.2 軟件的編程實(shí)現(xiàn)虛擬數(shù)字腦軟件包是在VC++12.0 的開(kāi)發(fā)環(huán)境下，利用C/C++編程語(yǔ)言開(kāi)發(fā)的軟件平臺(tái)。軟件開(kāi)發(fā)步驟如下：

（1）首先利用MFC 應(yīng)用程序向?qū)?chuàng)建基于單文檔的應(yīng)用程序fMRISoft，如圖2a 所示，在菜單欄里面添加菜單項(xiàng)“Preprocessing”，在該菜單項(xiàng)中添加子項(xiàng)去線(xiàn)性漂移（Detrend）、去協(xié)變量（RegressOut Cov）和時(shí)域帶通濾波（BandPass filter）等。為該菜單中的每一個(gè)子項(xiàng)添加消息映射函數(shù)。

（2）利用MFC DLL 向?qū)?chuàng)建動(dòng)態(tài)鏈接庫(kù)“fMRIDLL”，在該動(dòng)態(tài)鏈接庫(kù)中添加3個(gè)成員函數(shù)分別實(shí)現(xiàn)去線(xiàn)性漂移、去協(xié)變量和時(shí)域帶通濾波的功能。在菜單項(xiàng)“Preprocessing”的子項(xiàng)所對(duì)應(yīng)的消息映射函數(shù)中分別調(diào)用這3個(gè)成員函數(shù)，完成相應(yīng)的數(shù)據(jù)預(yù)處理功能。

（3）在菜單欄里面添加菜單項(xiàng)“VDB”，如圖2b所示，在該菜單項(xiàng)中添加子項(xiàng)“Construction and Analysis”和“Visualization”。為該菜單中的每一個(gè)子項(xiàng)添加消息映射函數(shù)。

圖2 添加菜單項(xiàng)及其子項(xiàng)的示意圖Fig.2 Diagram of add menu items and their subitems

（4）在程序資源里面添加“Virtual digital brain”對(duì)話(huà)框，并在菜單子項(xiàng)“Construction and Analysis”的消息映射中添加創(chuàng)建和顯示該對(duì)話(huà)框的函數(shù)。在對(duì)話(huà)框里面添加控件和相應(yīng)的消息映射函數(shù)。

（5）在程序資源里面添加“VDB Visualization Dialog”對(duì)話(huà)框，并在菜單子項(xiàng)“Visualization”的消息映射中添加創(chuàng)建和顯示該對(duì)話(huà)框的函數(shù)。在對(duì)話(huà)框里面添加控件和相應(yīng)的消息映射函數(shù)。

（6）在動(dòng)態(tài)鏈接庫(kù)“fMRIDLL”中添加6個(gè)成員函數(shù)，分別實(shí)現(xiàn)計(jì)算腦區(qū)間因果連接、獲得回歸系數(shù)、獲得單對(duì)象腦區(qū)激活結(jié)果、獲得單組對(duì)象腦區(qū)激活結(jié)果、獲得兩組對(duì)象相比較的腦區(qū)激活結(jié)果、獲取激活網(wǎng)絡(luò)中腦區(qū)間最短因果連接路徑。并在“Virtual digital brain”對(duì)話(huà)框相應(yīng)控件的消息映射函數(shù)中分別調(diào)用這些成員函數(shù)，完成相關(guān)功能。

（7）利用MFC DLL 向?qū)?chuàng)建動(dòng)態(tài)鏈接庫(kù)“3DDLL”，在該動(dòng)態(tài)鏈接庫(kù)中添加成員函數(shù)實(shí)現(xiàn)三維重建和可視化、多平面重建和可視化的功能。在“Virtual digital brain”對(duì)話(huà)框相應(yīng)控件的消息映射函數(shù)中調(diào)用實(shí)現(xiàn)三維重建和可視化的成員函數(shù)，完成腦區(qū)激活結(jié)果的三維重建和可視化。在“VDB Visualization Dialog”對(duì)話(huà)框相應(yīng)控件的消息映射函數(shù)中調(diào)用實(shí)現(xiàn)多平面重建和可視化的成員函數(shù)，完成腦區(qū)激活結(jié)果的多平面重建和可視化。

2 結(jié)果

虛擬數(shù)字腦軟件包開(kāi)發(fā)完成后，對(duì)軟件包進(jìn)行,調(diào)試和測(cè)試，圖3是軟件包的運(yùn)行界面。數(shù)據(jù)預(yù)處理后，通過(guò)在對(duì)話(huà)框“Virtual digital brain”的控件中設(shè)置合適的參數(shù)，并點(diǎn)擊相應(yīng)的按鈕，可以完成構(gòu)建因果連接網(wǎng)、獲得回歸系數(shù)、顯示虛擬數(shù)字腦。將任務(wù)刺激信號(hào)輸入某些腦區(qū)，并點(diǎn)擊相應(yīng)的按鈕，能夠獲得單對(duì)象腦區(qū)激活結(jié)果、單組對(duì)象腦區(qū)激活結(jié)果、兩組對(duì)象激活結(jié)果比較、腦區(qū)間最短因果連接路徑，還能夠?qū)せ罱Y(jié)果進(jìn)行三維重建和可視化。在對(duì)話(huà)框“VDB Visualization Dialog”中通過(guò)選擇合適的選項(xiàng)，點(diǎn)擊按鈕，并拖動(dòng)滑動(dòng)條，就可以對(duì)腦區(qū)激活結(jié)果進(jìn)行多平面重建和可視化。

圖3 虛擬數(shù)字腦軟件包運(yùn)行界面Fig.3 Running interface of virtual digital brain software package

利用泰山醫(yī)學(xué)院附屬醫(yī)院影像科提供的NIFTI格式的磁共振醫(yī)學(xué)圖像對(duì)構(gòu)建的虛擬數(shù)字腦軟件平臺(tái)進(jìn)行測(cè)試。首先進(jìn)行數(shù)據(jù)預(yù)處理，然后獲得腦區(qū)間因果連接和節(jié)點(diǎn)神經(jīng)活動(dòng)信號(hào)預(yù)測(cè)模型中的回歸系數(shù)，最后構(gòu)建出虛擬數(shù)字腦。圖4是構(gòu)建的個(gè)體化虛擬數(shù)字腦，其中，不同顏色的球代表不同的布魯?shù)侣X區(qū)，右側(cè)區(qū)域彩色球下面的數(shù)字表示對(duì)應(yīng)的布魯?shù)侣X區(qū)的索引值（即在標(biāo)準(zhǔn)布魯?shù)侣δ苣０逯心X區(qū)的值）。腦區(qū)間金黃色有方向棒，表示腦區(qū)間的同步因果連接；腦區(qū)間淺藍(lán)色有方向棒，表示腦區(qū)間的異步因果連接。棒的粗細(xì)表示因果連接的強(qiáng)度，棒的方向表示腦區(qū)間因果連接的方向。

圖4 個(gè)體化虛擬數(shù)字腦的顯示Fig.4 Display of individualized virtual digital brain

設(shè)計(jì)功能磁共振任務(wù)范例，按照任務(wù)設(shè)計(jì)要求，將刺激信號(hào)輸入虛擬數(shù)字腦的某些腦區(qū)，可以觀察腦區(qū)激活情況。圖5是將任務(wù)刺激信號(hào)輸入到背外側(cè)前額葉皮層時(shí)，單對(duì)象腦區(qū)激活的三維重建和可視化結(jié)果。圖6是將任務(wù)刺激信號(hào)輸入到背外側(cè)前額葉皮層時(shí)，單對(duì)象腦區(qū)激活的多平面重建和可視化結(jié)果。彩色尺度條顏色變化對(duì)應(yīng)腦區(qū)激活強(qiáng)度變化，由紅色漸變到黃色表示激活強(qiáng)度逐漸增強(qiáng)。

圖7是將任務(wù)刺激信號(hào)輸入到背外側(cè)前額葉皮層時(shí)，單組對(duì)象腦區(qū)激活的三維重建和可視化結(jié)果。圖8是將任務(wù)刺激信號(hào)輸入到背外側(cè)前額葉皮層時(shí)，單組對(duì)象腦區(qū)激活的多平面重建和可視化結(jié)果。淺藍(lán)色和藍(lán)色對(duì)應(yīng)的腦區(qū)呈現(xiàn)了負(fù)激活，彩色尺度條顏色變化對(duì)應(yīng)腦區(qū)激活強(qiáng)度變化，由淺藍(lán)色漸變到黃色表示激活強(qiáng)度逐漸增強(qiáng)。

圖5 單對(duì)象腦區(qū)激活結(jié)果的三維重建和可視化Fig.5 Three-dimensional reconstruction and visualization of brain activations of single subject

圖6 單對(duì)象腦區(qū)激活結(jié)果的多平面重建和可視化Fig.6 Multiplanar reconstruction and visualization of brain activations of single subject

將任務(wù)刺激信號(hào)輸入到背外側(cè)前額葉皮層時(shí)，在單組對(duì)象由激活腦區(qū)組成的網(wǎng)絡(luò)中，激活腦區(qū)間存在最短因果連接路徑。圖9顯示的是在激活網(wǎng)中從左側(cè)背外側(cè)前額葉皮層（BA 9L）到左側(cè)背后扣帶皮層（BA 31L）的最短因果連接路徑。圖中，每一個(gè)球代表一個(gè)腦區(qū)，紅色球表示該腦區(qū)呈現(xiàn)了正激活，藍(lán)色球表示該腦區(qū)呈現(xiàn)了負(fù)激活；球的大小對(duì)應(yīng)激活強(qiáng)度的大小。腦區(qū)間金黃色有方向棒，表示腦區(qū)間的同步因果連接；腦區(qū)間淺藍(lán)色有方向棒，表示腦區(qū)間的異步因果連接。棒的粗細(xì)表示因果連接的強(qiáng)度，棒的方向表示腦區(qū)間因果連接的方向。

3 討論

圖7 單組對(duì)象腦區(qū)激活結(jié)果的三維重建和可視化Fig.7 Three-dimensional reconstruction and visualization of brain activations of single group

圖8 單組對(duì)象腦區(qū)激活結(jié)果的多平面重建和可視化Fig.8 Multiplanar reconstruction and visualization of brain activations of single group

本研究介紹了虛擬數(shù)字腦軟件包的研究和開(kāi)發(fā)，虛擬數(shù)字腦軟件包VDB1.4 已經(jīng)發(fā)布到國(guó)際神經(jīng)影像學(xué)工具網(wǎng)站（https://www. nitrc. org/projects/vdb），可以從該網(wǎng)址免費(fèi)下載和使用。特別需要說(shuō)明的是，為了能更好地展示軟件的功能，本研究的結(jié)果部分顯示的圖像是對(duì)軟件運(yùn)行結(jié)果進(jìn)行了剪切后的結(jié)果，不是原始顯示結(jié)果。軟件的詳細(xì)功能和使用說(shuō)明，可以參看從該軟件網(wǎng)站下載的文件夾中的文件（Virtual Digital Brain Manual.pdf）。利用該軟件包以及參與者的人腦結(jié)構(gòu)磁共振和靜息態(tài)功能磁共振成像數(shù)據(jù)能夠構(gòu)建個(gè)體化虛擬數(shù)字腦，還能夠構(gòu)建任務(wù)刺激信號(hào)和進(jìn)行功能磁共振任務(wù)設(shè)計(jì)（即設(shè)計(jì)功能磁共振任務(wù)范例）?？梢詫⑷蝿?wù)刺激信號(hào)施加到虛擬數(shù)字腦的任何腦區(qū)，從而觀察虛擬數(shù)字腦中各個(gè)腦區(qū)的激活情況，以及分析神經(jīng)活動(dòng)信號(hào)從一個(gè)腦區(qū)到另一個(gè)腦區(qū)的最短因果傳遞路徑。虛擬數(shù)字腦已應(yīng)用于長(zhǎng)期聽(tīng)力損失患者與認(rèn)知處理相關(guān)的腦區(qū)神經(jīng)活動(dòng)變化的研究以及腦區(qū)神經(jīng)活動(dòng)變化和相互影響的因果機(jī)理的分析［15］。

圖9 激活腦區(qū)間的最短因果連接路徑Fig.9 The shortest causal connectivity path among activated brain regions

利用虛擬數(shù)字腦軟件包對(duì)聽(tīng)力損失患者軀體感覺(jué)皮層與聽(tīng)覺(jué)皮層之間交叉模式功能重組進(jìn)行研究。初步的仿真結(jié)果表明，同正常聽(tīng)力受試者相比較，聽(tīng)力損失患者呈現(xiàn)了更強(qiáng)的軀體感覺(jué)信號(hào)激發(fā)的聽(tīng)覺(jué)皮層活動(dòng)。這個(gè)發(fā)現(xiàn)與先前的研究結(jié)果是一致的［16-18］。此外，還利用虛擬數(shù)字腦軟件包對(duì)視覺(jué)刺激信號(hào)對(duì)聽(tīng)力損失患者語(yǔ)言處理的影響進(jìn)行研究，發(fā)現(xiàn)視覺(jué)刺激信號(hào)通過(guò)視聽(tīng)抑制機(jī)制消弱了聽(tīng)力損失患者大腦皮層中與語(yǔ)言處理相關(guān)的腦區(qū)神經(jīng)活動(dòng)信號(hào)的強(qiáng)度，暗示視覺(jué)語(yǔ)言不利于聽(tīng)力損失患者電子耳蝸移移植后的聽(tīng)力恢復(fù)。這個(gè)發(fā)現(xiàn)與目前臨床上對(duì)聽(tīng)力損失患者康復(fù)治療理念是一致的［19］。

本研究開(kāi)發(fā)的虛擬數(shù)字腦軟件包與目前歐洲開(kāi)發(fā)的虛擬大腦軟件平臺(tái)［6-10］相比，操作簡(jiǎn)單，不需要任何軟件作支撐。但目前開(kāi)發(fā)的虛擬數(shù)字腦軟件包還存在許多問(wèn)題，還沒(méi)有利用真實(shí)的基于任務(wù)的人腦功能磁共振數(shù)據(jù)進(jìn)行驗(yàn)證，需要在實(shí)際應(yīng)用中不斷進(jìn)行改進(jìn)和完善。如何設(shè)計(jì)功能磁共振任務(wù)范例對(duì)構(gòu)建的虛擬數(shù)字腦的有效性進(jìn)行驗(yàn)證，并通過(guò)模擬人腦的神經(jīng)活動(dòng)來(lái)完善虛擬數(shù)字腦是今后需要研究的課題。

4 結(jié)論

針對(duì)目前歐洲虛擬大腦軟件平臺(tái)存在的問(wèn)題，借鑒腦科學(xué)研究的成果，本研究在VC++12.0 的開(kāi)發(fā)環(huán)境下，利用C/C++編程語(yǔ)言開(kāi)發(fā)了一款虛擬數(shù)字腦軟件包。該軟件包可用于腦科學(xué)研究，并能為類(lèi)腦人工智能的研究提供一些啟示。初步的實(shí)踐結(jié)果證明了該軟件平臺(tái)在腦科學(xué)研究中的有效性和實(shí)際應(yīng)用價(jià)值。