国产日韩欧美一区二区三区三州_亚洲少妇熟女av_久久久久亚洲av国产精品_波多野结衣网站一区二区_亚洲欧美色片在线91_国产亚洲精品精品国产优播av_日本一区二区三区波多野结衣 _久久国产av不卡

?

超限學(xué)習(xí)機(jī)和深度學(xué)習(xí)的匯聚

2019-11-29 07:28:46
軟件和集成電路 2019年9期
關(guān)鍵詞:隱層學(xué)習(xí)機(jī)云端

超限學(xué)習(xí)機(jī)有三個(gè)方面的核心特征,分別是高精準(zhǔn)度、盡可能少的人工干預(yù),以及秒級(jí)、毫秒級(jí)甚至微秒級(jí)的實(shí)時(shí)學(xué)習(xí)。

——新加坡南洋理工大學(xué)終身正教授黃廣斌

“人工智能”一詞最初是在1956年被提出,距今已有60多年。過去,我本人很難理解中國(guó)人把計(jì)算機(jī)稱作電腦這件事。我當(dāng)時(shí)就想為什么要叫電腦這個(gè)詞呢?計(jì)算機(jī)又沒有思維,但在人工智能高速發(fā)展的今天看來,“電腦”一詞才是最形象的,所以中國(guó)人很有遠(yuǎn)見。

當(dāng)數(shù)據(jù)在產(chǎn)業(yè)中應(yīng)用產(chǎn)生價(jià)值,數(shù)據(jù)就會(huì)變得像石油一樣珍貴。人工智能時(shí)代的到來是不可逆轉(zhuǎn)的,在這個(gè)時(shí)候誰也不能離開人工智能,誰也不能把數(shù)據(jù)扔掉。高效的計(jì)算環(huán)境、高效的學(xué)習(xí)算法和豐富動(dòng)態(tài)的數(shù)據(jù)是機(jī)器學(xué)習(xí)時(shí)代的三個(gè)必要條件,其實(shí)在十年前我們就已經(jīng)具備了高效的計(jì)算環(huán)境和高效的學(xué)習(xí)算法,而最近五六年豐富動(dòng)態(tài)的數(shù)據(jù)才顯得尤其重要。

相比于“農(nóng)業(yè)革命”和“工業(yè)革命”,“智能革命”影響更大、更深遠(yuǎn),而現(xiàn)在智能革命猶如小荷才露尖尖角,好戲還在后面?,F(xiàn)今,人工智能的形態(tài)正在發(fā)生著變化,人工智能正逐步深入到各行各業(yè),從云端到生產(chǎn)線,從生產(chǎn)線到設(shè)備,從設(shè)備到傳感器等。其實(shí)超限學(xué)習(xí)機(jī)不是算法,而是一個(gè)體系,它包含了理論和網(wǎng)絡(luò)結(jié)構(gòu)。超限學(xué)習(xí)機(jī)有三個(gè)方面的核心特征,分別是高精準(zhǔn)度、盡可能少的人工干預(yù),以及秒級(jí)、毫秒級(jí)甚至微秒級(jí)的實(shí)時(shí)學(xué)習(xí)。

某一天,我的腦袋里突然冒出來這樣的問題:自從現(xiàn)代人類祖先甚至更早(如果包括其他生物)以來,數(shù)百億甚至數(shù)千億人的大腦在過去數(shù)百萬年中是否有共同的基本學(xué)習(xí)算法?是不是可以用這個(gè)基本的學(xué)習(xí)算法來解釋具有超低頻率神經(jīng)元的大腦可以具有更快的學(xué)習(xí)和推理能力的原因、生物大腦彈性的成因,以及遺傳和進(jìn)化等方面的問題?通過對(duì)這些問題的思考,我想到了ELM的算法。

ELM算法形成了以壓縮、特征學(xué)習(xí)、稀疏編碼、聚類、回歸和分類為主線的優(yōu)化方法基本構(gòu)架,統(tǒng)一了PCA、NMF和SVM,并首次提出SVM次優(yōu)解理論。我們始終認(rèn)為學(xué)習(xí)基本要素可以用有一個(gè)網(wǎng)絡(luò)來描述呈現(xiàn),可以統(tǒng)一為一個(gè)優(yōu)化方式。上述說明的是ELM算法中的單隱層網(wǎng)絡(luò),多層網(wǎng)絡(luò)呈現(xiàn)出隨機(jī)隱層神經(jīng)元和隨機(jī)布線兩種特征。ELM算法正好是通過對(duì)這兩種特征的互補(bǔ)而形成的。

超限學(xué)習(xí)機(jī)相較于深度學(xué)習(xí)而言,在數(shù)據(jù)小或特征復(fù)雜度不高的終端上表現(xiàn)更為優(yōu)異,深度學(xué)習(xí)在這種情況下能力稍顯不足,不僅如此,ELM算法在數(shù)據(jù)大而復(fù)雜的云端也有不弱的表現(xiàn)。美國(guó)太空總署NASA將ELM列為其故障診斷開源工具包中的主要算法之一,這是因?yàn)镋LM比傳統(tǒng)飛機(jī)故障診斷預(yù)測(cè)算法快幾百倍。

除了理論和應(yīng)用之外,我們更感興趣的是ELM的生物學(xué)驗(yàn)證。過去幾年,在Nature發(fā)表的一些文章表明一些生物的神經(jīng)元在學(xué)習(xí)中處于隨機(jī)而未被進(jìn)行調(diào)整的狀態(tài)?;谶@些生物學(xué)證據(jù),人造生物神經(jīng)元震撼出世,IBM研究出有幾百萬個(gè)隨機(jī)神經(jīng)元的神經(jīng)形態(tài)芯片,在ImageNet等數(shù)據(jù)集上的結(jié)果和深度學(xué)習(xí)可以媲美。我們也得出了ELM的新學(xué)習(xí)理論:學(xué)習(xí)可以在不迭代調(diào)整(人工)隱層節(jié)點(diǎn)(或生物神經(jīng)元)的情況下進(jìn)行。

馮·諾依曼造就了美妙的計(jì)算機(jī),卻也留下了一個(gè)不解之謎。為什么包含許多隨機(jī)連接的不完美(生物)神經(jīng)網(wǎng)絡(luò)可以可靠地執(zhí)行那些可能由理想接線圖表示的功能?

現(xiàn)在ELM算法可以較好地闡釋上述問題。從ELM理論的角度來看,整個(gè)多層網(wǎng)絡(luò)都是結(jié)構(gòu)化和有序的,但它們?cè)谔囟ǖ膶踊蛏窠?jīng)元切片中可能看似“混亂”和“非結(jié)構(gòu)化”。全局體系結(jié)構(gòu)和局部隨機(jī)隱層神經(jīng)元的共存恰好具有壓縮、特征學(xué)習(xí)、聚類、回歸和分類的基本學(xué)習(xí)能力,也就實(shí)現(xiàn)了類似自然界廣泛存在的局部無序、總體有序的狀態(tài)。

云端智能與本地智能的有機(jī)融合就形成了完美的ELM。深度學(xué)習(xí)轉(zhuǎn)折點(diǎn)即將到來,將來的趨勢(shì)很有趣,將會(huì)越來越趨向于自然界局部無序,總體有序的狀況。比如納米機(jī)器人植入到人類身體里,不需要人為地做任何調(diào)整,就能融入我們身體的內(nèi)環(huán)境,輔助醫(yī)療。

關(guān)于計(jì)算機(jī)的未來,我有兩點(diǎn)感受:第一,我認(rèn)為大數(shù)據(jù)不一定等于人工智能,但大數(shù)據(jù)一定要靠人工智能處理。第二,人工智能并不能簡(jiǎn)單概括為軟件系統(tǒng)和硬件系統(tǒng)。人工智能方案是很復(fù)雜的迭代過程,需要研究人工智能算法,并根據(jù)應(yīng)用場(chǎng)景進(jìn)行仿真、驗(yàn)證,再進(jìn)一步去調(diào)整算法。另外,邊緣計(jì)算不等于邊緣智能,邊緣智能本身就有數(shù)據(jù)采集功能、數(shù)據(jù)訓(xùn)練功能和測(cè)試功能。我們不必糾結(jié)于機(jī)器超過人,還是人超過機(jī)器的爭(zhēng)論。我認(rèn)為人工智能的發(fā)展以15年為一個(gè)周期,2030年很有可能迎來人工智能發(fā)展的一個(gè)高點(diǎn),現(xiàn)在國(guó)外正在積極發(fā)展后深度學(xué)習(xí)算法的研究,這應(yīng)該給我們帶來一些啟示。

所以為了占領(lǐng)人工智能的高地,我們現(xiàn)在必須有自己的算法、自己的生態(tài)、自己潛在的發(fā)展道路,機(jī)遇并不等于彎道超車,必須秉持踏實(shí)的鉆研精神、工匠精神,為人工智能的發(fā)展建立良好的人文條件。智能革命將會(huì)給很多方面帶來影響,例如,驅(qū)動(dòng)數(shù)學(xué)和工程應(yīng)用的發(fā)展,促使智能從云端走向普物,新的經(jīng)濟(jì)模式將會(huì)出現(xiàn),智能拐點(diǎn)就要到來。

(根據(jù)演講內(nèi)容整理,未經(jīng)本人審核)

猜你喜歡
隱層學(xué)習(xí)機(jī)云端
云端之城
基于RDPSO結(jié)構(gòu)優(yōu)化的三隱層BP神經(jīng)網(wǎng)絡(luò)水質(zhì)預(yù)測(cè)模型及應(yīng)用
人民珠江(2019年4期)2019-04-20 02:32:00
極限學(xué)習(xí)機(jī)綜述
基于極限學(xué)習(xí)機(jī)參數(shù)遷移的域適應(yīng)算法
分層極限學(xué)習(xí)機(jī)在滾動(dòng)軸承故障診斷中的應(yīng)用
美人如畫隔云端
行走在云端
初中生(2017年3期)2017-02-21 09:17:43
云端創(chuàng)意
基于近似結(jié)構(gòu)風(fēng)險(xiǎn)的ELM隱層節(jié)點(diǎn)數(shù)優(yōu)化
最優(yōu)隱層BP神經(jīng)網(wǎng)絡(luò)的滾動(dòng)軸承故障診斷
山阳县| 平谷区| 南投县| 宜良县| 石棉县| 玛曲县| 习水县| 龙门县| 泸溪县| 滨州市| 濉溪县| 雷州市| 射阳县| 马山县| 巨鹿县| 巴东县| 墨脱县| 乌兰县| 潜江市| 平武县| 阳东县| 墨竹工卡县| 祁连县| 吴堡县| 金川县| 贵州省| 惠东县| 齐河县| 禹城市| 斗六市| 南乐县| 尉犁县| 类乌齐县| 屯昌县| 陈巴尔虎旗| 武威市| 南城县| 华阴市| 连南| 渭源县| 马边|