黃鐵軍,韓軍偉,何暉光,李永杰,唐華錦,吳思,楊玉超,余肇飛,張兆翔,趙地,韓向娣
1.北京大學(xué),北京 100091; 2.西北工業(yè)大學(xué),西安 710072; 3.中國(guó)科學(xué)院自動(dòng)化研究所,北京 100190; 4.電子科技大學(xué),成都 611731; 5.浙江大學(xué),杭州 310058; 6.中國(guó)科學(xué)院計(jì)算技術(shù)研究所,北京 100086; 7.《中國(guó)圖象圖形學(xué)報(bào)》編輯部, 北京 100190
腦科學(xué)研究是21世紀(jì)科學(xué)研究的前沿高地之一,我國(guó)“十四五”規(guī)劃明確指出要瞄準(zhǔn)腦科學(xué)、人工智能等前沿領(lǐng)域,實(shí)施一批具有前瞻性、戰(zhàn)略性的國(guó)家重大科技項(xiàng)目??萍疾拷诎l(fā)布科技創(chuàng)新2030“腦科學(xué)與類腦研究”重大項(xiàng)目申報(bào)指南,標(biāo)志著中國(guó)腦計(jì)劃項(xiàng)目正式啟動(dòng)。
視覺是生物最主要的感知通道,光電是機(jī)器感知世界的基本手段視覺信息最基本的表達(dá)形式是圖像和視頻,但嚴(yán)重丟失光的變化過程,不能發(fā)揮電子和數(shù)字技術(shù)潛力,高速相機(jī)可以提高速度,但存儲(chǔ)、傳輸和計(jì)算代價(jià)過高,這主要是因?yàn)橛?jì)算機(jī)視覺所采用的算法模型距離生物視覺系統(tǒng)的神經(jīng)機(jī)理相距甚遠(yuǎn)。近年來,生物視覺的神經(jīng)基礎(chǔ)研究取得了很大進(jìn)展,模擬生物視覺脈沖編碼機(jī)理的脈沖視覺模型打開了實(shí)現(xiàn)高速視覺的新途徑。
為報(bào)道類腦科學(xué)和視覺計(jì)算這一領(lǐng)域的最新進(jìn)展,希望開創(chuàng)視覺信息處理的新局面,《中國(guó)圖象圖形學(xué)報(bào)》邀請(qǐng)業(yè)內(nèi)專家共同策劃推出“類腦視覺”專欄,主要收錄該技術(shù)具有創(chuàng)新性、突破性的研究成果。以期為相關(guān)領(lǐng)域的研究人員提供參考。
經(jīng)過嚴(yán)格評(píng)審,“類腦視覺”專欄共收錄5篇綜述論文。
《生物視覺系統(tǒng)的神經(jīng)網(wǎng)絡(luò)編碼模型綜述》從視網(wǎng)膜等初級(jí)視覺皮層和高級(jí)視覺皮層(如視覺皮層第四區(qū)(visual area 4,V4)和下顳葉皮層(inferior temporal,IT))分別介紹基于神經(jīng)網(wǎng)絡(luò)的視覺系統(tǒng)編碼模型。主要內(nèi)容包括:1)有關(guān)視覺系統(tǒng)模型的概念與定義;2)初級(jí)視覺系統(tǒng)的神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)模型;3)任務(wù)驅(qū)動(dòng)的高級(jí)視覺皮層編碼模型;最后介紹最新有關(guān)無監(jiān)督學(xué)習(xí)的神經(jīng)編碼模型,并展望基于神經(jīng)網(wǎng)絡(luò)的視覺系統(tǒng)編碼模型的技術(shù)挑戰(zhàn)與可能發(fā)展方向。
《精細(xì)神經(jīng)網(wǎng)絡(luò)仿真方法研究進(jìn)展》對(duì)精細(xì)神經(jīng)網(wǎng)絡(luò)仿真方法進(jìn)行梳理,介紹了現(xiàn)有主流仿真平臺(tái)與核心仿真算法,以及可進(jìn)一步提升仿真效率的高效仿真方法。將具有代表性的高效仿真方法按照發(fā)展歷程以及核心思路分為網(wǎng)絡(luò)尺度并行方法、神經(jīng)元尺度并行方法以及基于GPU的并行仿真方法三類。對(duì)各類方法的核心思路進(jìn)行總結(jié),并對(duì)各類方法中代表性工作的細(xì)節(jié)進(jìn)行分析介紹。隨后對(duì)各類方法所具有的優(yōu)劣勢(shì)進(jìn)行分析對(duì)比,對(duì)一些經(jīng)典方法進(jìn)行總結(jié)。最后根據(jù)高效仿真方法的發(fā)展趨勢(shì),對(duì)未來研究工作進(jìn)行展望。
《fMRI的視覺神經(jīng)信息編解碼方法綜述》在總結(jié)基于功能磁共振成像(fMRI)的視覺神經(jīng)信息編解碼關(guān)鍵技術(shù)與研究進(jìn)展的基礎(chǔ)上,分析現(xiàn)有視覺神經(jīng)信息編解碼方法的局限。在視覺神經(jīng)信息編碼方面,詳細(xì)介紹了基于群體感受野估計(jì)方法的發(fā)展過程。在視覺神經(jīng)信息解碼方面,首先,按照任務(wù)類型將其劃分為語義分類、圖像辨識(shí)和圖像重建3個(gè)部分,并深入闡述了每個(gè)部分的代表性研究工作和所用的方法。特別地,在圖像重建部分著重介紹了基于深度生成模型(主要包括變分自編碼器和生成對(duì)抗網(wǎng)絡(luò))的簡(jiǎn)單圖像、人臉圖像和復(fù)雜自然圖像的重建技術(shù)。其次,統(tǒng)計(jì)整理了該領(lǐng)域常用的10個(gè)開源數(shù)據(jù)集,并對(duì)數(shù)據(jù)集的樣本規(guī)模、被試個(gè)數(shù)、刺激類型、研究用途及下載地址做了詳細(xì)歸納。最后,詳細(xì)介紹了視覺神經(jīng)信息編解碼模型常用的度量指標(biāo),分析了當(dāng)前視覺神經(jīng)信息編碼和解碼方法的不足,提出可行的改進(jìn)意見,并對(duì)未來發(fā)展方向進(jìn)行展望。
《面向圖像識(shí)別的多層脈沖神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法綜述》總結(jié)了脈沖神經(jīng)網(wǎng)絡(luò)研究領(lǐng)域中的相關(guān)學(xué)習(xí)算法,然后對(duì)其中主要的方法:直接監(jiān)督學(xué)習(xí)、無監(jiān)督學(xué)習(xí)的算法以及ANN2SNN的轉(zhuǎn)換算法進(jìn)行分析介紹,并對(duì)其中代表性的工作進(jìn)行對(duì)比分析,最后基于對(duì)當(dāng)前主流方法的總結(jié),對(duì)未來更高效、更仿生的脈沖神經(jīng)網(wǎng)絡(luò)參數(shù)學(xué)習(xí)方法進(jìn)行展望。
《面向類腦計(jì)算的脈沖神經(jīng)網(wǎng)絡(luò)研究》首先闡述脈沖神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu)和工作原理;在結(jié)構(gòu)優(yōu)化方面,從脈沖神經(jīng)網(wǎng)絡(luò)的編碼方式、脈沖神經(jīng)元改進(jìn)、拓?fù)浣Y(jié)構(gòu)、訓(xùn)練算法以及結(jié)合其他算法這5個(gè)方面進(jìn)行總結(jié);在訓(xùn)練算法方面,從基于反向傳播方法,基于脈沖時(shí)序依賴可塑性規(guī)則方法、人工神經(jīng)網(wǎng)絡(luò)轉(zhuǎn)脈沖神經(jīng)網(wǎng)絡(luò)和其他學(xué)習(xí)算法這4個(gè)方面進(jìn)行總結(jié);針對(duì)脈沖神經(jīng)網(wǎng)絡(luò)的不足與發(fā)展,從監(jiān)督學(xué)習(xí)和無監(jiān)督學(xué)習(xí)兩方面剖析;最后,將脈沖神經(jīng)網(wǎng)絡(luò)應(yīng)用到類腦計(jì)算和仿生任務(wù)中。對(duì)脈沖神經(jīng)網(wǎng)絡(luò)的基本原理、編碼方式、網(wǎng)絡(luò)結(jié)構(gòu)、訓(xùn)練算法進(jìn)行了系統(tǒng)地歸納,對(duì)脈沖神經(jīng)網(wǎng)絡(luò)的研究發(fā)展具有一定的積極意義。
我們期待廣大讀者和科技人員通過"類腦視覺"專欄,能夠更深入、更全面地了解該領(lǐng)域的最新方法和應(yīng)用,吸引更多學(xué)者從事相關(guān)研究并產(chǎn)生具有國(guó)際影響力的優(yōu)秀成果,為本領(lǐng)域的發(fā)展做出新的貢獻(xiàn)。
專刊編委會(huì):
黃鐵軍,北京大學(xué)教授,研究領(lǐng)域?yàn)橐曈X信息處理(圖像識(shí)別與視頻編碼)、類腦計(jì)算等。
韓軍偉 ,西北工業(yè)大學(xué)教授,研究領(lǐng)域?yàn)槿斯ぶ悄堋⒛J阶R(shí)別、計(jì)算機(jī)視覺、遙感影像處理、腦影像分析、類腦計(jì)算等。
何暉光, 中國(guó)科學(xué)院自動(dòng)化研究所研究員,研究領(lǐng)域?yàn)槿斯ぶ悄?,腦—機(jī)接口,醫(yī)學(xué)影像分析等。
李永杰,電子科技大學(xué)教授,研究領(lǐng)域?yàn)樯镆曈X系統(tǒng)的信息加工機(jī)理、計(jì)算模型與類腦計(jì)算機(jī)視覺等。
唐華錦,浙江大學(xué)教授,研究領(lǐng)域?yàn)轭惸X計(jì)算、人工智能、智能計(jì)算人、計(jì)算神經(jīng)科學(xué)等。
吳思,北京大學(xué)教授,研究領(lǐng)域?yàn)橛?jì)算神經(jīng)科學(xué)、類腦計(jì)算等。
楊玉超,北京大學(xué)教授,研究領(lǐng)域?yàn)轭惸X計(jì)算、智能硬件、憶阻器等。
余肇飛,北京大學(xué)研究員,研究領(lǐng)域?yàn)轭惸X計(jì)算,神經(jīng)網(wǎng)絡(luò)等。
張兆翔,中國(guó)科學(xué)院自動(dòng)化研究所研究員,研究領(lǐng)域?yàn)橐曈X認(rèn)知計(jì)算、類腦學(xué)習(xí)和面向開放環(huán)境的視覺感知與理解等。
趙地,中國(guó)科學(xué)院計(jì)算技術(shù),研究所副研究員,研究領(lǐng)域?yàn)轭惸X計(jì)算、深度學(xué)習(xí)的算法與芯片等。