超限學(xué)習(xí)機(jī)有三個(gè)方面的核心特征,分別是高精準(zhǔn)度、盡可能少的人工干預(yù),以及秒級(jí)、毫秒級(jí)甚至微秒級(jí)的實(shí)時(shí)學(xué)習(xí)。
——新加坡南洋理工大學(xué)終身正教授黃廣斌
“人工智能”一詞最初是在1956年被提出,距今已有60多年。過去,我本人很難理解中國(guó)人把計(jì)算機(jī)稱作電腦這件事。我當(dāng)時(shí)就想為什么要叫電腦這個(gè)詞呢?計(jì)算機(jī)又沒有思維,但在人工智能高速發(fā)展的今天看來,“電腦”一詞才是最形象的,所以中國(guó)人很有遠(yuǎn)見。
當(dāng)數(shù)據(jù)在產(chǎn)業(yè)中應(yīng)用產(chǎn)生價(jià)值,數(shù)據(jù)就會(huì)變得像石油一樣珍貴。人工智能時(shí)代的到來是不可逆轉(zhuǎn)的,在這個(gè)時(shí)候誰也不能離開人工智能,誰也不能把數(shù)據(jù)扔掉。高效的計(jì)算環(huán)境、高效的學(xué)習(xí)算法和豐富動(dòng)態(tài)的數(shù)據(jù)是機(jī)器學(xué)習(xí)時(shí)代的三個(gè)必要條件,其實(shí)在十年前我們就已經(jīng)具備了高效的計(jì)算環(huán)境和高效的學(xué)習(xí)算法,而最近五六年豐富動(dòng)態(tài)的數(shù)據(jù)才顯得尤其重要。
相比于“農(nóng)業(yè)革命”和“工業(yè)革命”,“智能革命”影響更大、更深遠(yuǎn),而現(xiàn)在智能革命猶如小荷才露尖尖角,好戲還在后面?,F(xiàn)今,人工智能的形態(tài)正在發(fā)生著變化,人工智能正逐步深入到各行各業(yè),從云端到生產(chǎn)線,從生產(chǎn)線到設(shè)備,從設(shè)備到傳感器等。其實(shí)超限學(xué)習(xí)機(jī)不是算法,而是一個(gè)體系,它包含了理論和網(wǎng)絡(luò)結(jié)構(gòu)。超限學(xué)習(xí)機(jī)有三個(gè)方面的核心特征,分別是高精準(zhǔn)度、盡可能少的人工干預(yù),以及秒級(jí)、毫秒級(jí)甚至微秒級(jí)的實(shí)時(shí)學(xué)習(xí)。
某一天,我的腦袋里突然冒出來這樣的問題:自從現(xiàn)代人類祖先甚至更早(如果包括其他生物)以來,數(shù)百億甚至數(shù)千億人的大腦在過去數(shù)百萬年中是否有共同的基本學(xué)習(xí)算法?是不是可以用這個(gè)基本的學(xué)習(xí)算法來解釋具有超低頻率神經(jīng)元的大腦可以具有更快的學(xué)習(xí)和推理能力的原因、生物大腦彈性的成因,以及遺傳和進(jìn)化等方面的問題?通過對(duì)這些問題的思考,我想到了ELM的算法。
ELM算法形成了以壓縮、特征學(xué)習(xí)、稀疏編碼、聚類、回歸和分類為主線的優(yōu)化方法基本構(gòu)架,統(tǒng)一了PCA、NMF和SVM,并首次提出SVM次優(yōu)解理論。我們始終認(rèn)為學(xué)習(xí)基本要素可以用有一個(gè)網(wǎng)絡(luò)來描述呈現(xiàn),可以統(tǒng)一為一個(gè)優(yōu)化方式。上述說明的是ELM算法中的單隱層網(wǎng)絡(luò),多層網(wǎng)絡(luò)呈現(xiàn)出隨機(jī)隱層神經(jīng)元和隨機(jī)布線兩種特征。ELM算法正好是通過對(duì)這兩種特征的互補(bǔ)而形成的。
超限學(xué)習(xí)機(jī)相較于深度學(xué)習(xí)而言,在數(shù)據(jù)小或特征復(fù)雜度不高的終端上表現(xiàn)更為優(yōu)異,深度學(xué)習(xí)在這種情況下能力稍顯不足,不僅如此,ELM算法在數(shù)據(jù)大而復(fù)雜的云端也有不弱的表現(xiàn)。美國(guó)太空總署NASA將ELM列為其故障診斷開源工具包中的主要算法之一,這是因?yàn)镋LM比傳統(tǒng)飛機(jī)故障診斷預(yù)測(cè)算法快幾百倍。
除了理論和應(yīng)用之外,我們更感興趣的是ELM的生物學(xué)驗(yàn)證。過去幾年,在Nature發(fā)表的一些文章表明一些生物的神經(jīng)元在學(xué)習(xí)中處于隨機(jī)而未被進(jìn)行調(diào)整的狀態(tài)?;谶@些生物學(xué)證據(jù),人造生物神經(jīng)元震撼出世,IBM研究出有幾百萬個(gè)隨機(jī)神經(jīng)元的神經(jīng)形態(tài)芯片,在ImageNet等數(shù)據(jù)集上的結(jié)果和深度學(xué)習(xí)可以媲美。我們也得出了ELM的新學(xué)習(xí)理論:學(xué)習(xí)可以在不迭代調(diào)整(人工)隱層節(jié)點(diǎn)(或生物神經(jīng)元)的情況下進(jìn)行。
馮·諾依曼造就了美妙的計(jì)算機(jī),卻也留下了一個(gè)不解之謎。為什么包含許多隨機(jī)連接的不完美(生物)神經(jīng)網(wǎng)絡(luò)可以可靠地執(zhí)行那些可能由理想接線圖表示的功能?
現(xiàn)在ELM算法可以較好地闡釋上述問題。從ELM理論的角度來看,整個(gè)多層網(wǎng)絡(luò)都是結(jié)構(gòu)化和有序的,但它們?cè)谔囟ǖ膶踊蛏窠?jīng)元切片中可能看似“混亂”和“非結(jié)構(gòu)化”。全局體系結(jié)構(gòu)和局部隨機(jī)隱層神經(jīng)元的共存恰好具有壓縮、特征學(xué)習(xí)、聚類、回歸和分類的基本學(xué)習(xí)能力,也就實(shí)現(xiàn)了類似自然界廣泛存在的局部無序、總體有序的狀態(tài)。
云端智能與本地智能的有機(jī)融合就形成了完美的ELM。深度學(xué)習(xí)轉(zhuǎn)折點(diǎn)即將到來,將來的趨勢(shì)很有趣,將會(huì)越來越趨向于自然界局部無序,總體有序的狀況。比如納米機(jī)器人植入到人類身體里,不需要人為地做任何調(diào)整,就能融入我們身體的內(nèi)環(huán)境,輔助醫(yī)療。
關(guān)于計(jì)算機(jī)的未來,我有兩點(diǎn)感受:第一,我認(rèn)為大數(shù)據(jù)不一定等于人工智能,但大數(shù)據(jù)一定要靠人工智能處理。第二,人工智能并不能簡(jiǎn)單概括為軟件系統(tǒng)和硬件系統(tǒng)。人工智能方案是很復(fù)雜的迭代過程,需要研究人工智能算法,并根據(jù)應(yīng)用場(chǎng)景進(jìn)行仿真、驗(yàn)證,再進(jìn)一步去調(diào)整算法。另外,邊緣計(jì)算不等于邊緣智能,邊緣智能本身就有數(shù)據(jù)采集功能、數(shù)據(jù)訓(xùn)練功能和測(cè)試功能。我們不必糾結(jié)于機(jī)器超過人,還是人超過機(jī)器的爭(zhēng)論。我認(rèn)為人工智能的發(fā)展以15年為一個(gè)周期,2030年很有可能迎來人工智能發(fā)展的一個(gè)高點(diǎn),現(xiàn)在國(guó)外正在積極發(fā)展后深度學(xué)習(xí)算法的研究,這應(yīng)該給我們帶來一些啟示。
所以為了占領(lǐng)人工智能的高地,我們現(xiàn)在必須有自己的算法、自己的生態(tài)、自己潛在的發(fā)展道路,機(jī)遇并不等于彎道超車,必須秉持踏實(shí)的鉆研精神、工匠精神,為人工智能的發(fā)展建立良好的人文條件。智能革命將會(huì)給很多方面帶來影響,例如,驅(qū)動(dòng)數(shù)學(xué)和工程應(yīng)用的發(fā)展,促使智能從云端走向普物,新的經(jīng)濟(jì)模式將會(huì)出現(xiàn),智能拐點(diǎn)就要到來。
(根據(jù)演講內(nèi)容整理,未經(jīng)本人審核)