国产日韩欧美一区二区三区三州_亚洲少妇熟女av_久久久久亚洲av国产精品_波多野结衣网站一区二区_亚洲欧美色片在线91_国产亚洲精品精品国产优播av_日本一区二区三区波多野结衣 _久久国产av不卡

?

訓(xùn)練ChatGPT需要消耗多少電力

2023-05-14 18:02:58伊燁然
關(guān)鍵詞:用電量數(shù)據(jù)中心芯片

伊燁然

微軟、谷歌和ChatGPT制造商OpenAI都要使用云計(jì)算,而云計(jì)算依賴于全球海量數(shù)據(jù)中心服務(wù)器內(nèi)數(shù)以千計(jì)的芯片來訓(xùn)練被稱為模型的AI算法,分析數(shù)據(jù)以幫助這些算法學(xué)習(xí)如何執(zhí)行任務(wù)。AI已經(jīng)重新成為科技行業(yè)的熱門話題,預(yù)計(jì)它將徹底改變從零售到醫(yī)藥等價(jià)值數(shù)萬億美元的行業(yè)。但每創(chuàng)造一個(gè)新的聊天機(jī)器人或圖像生成器都需要耗費(fèi)大量的電力,這意味著這項(xiàng)技術(shù)可能釋放大量溫室氣體,進(jìn)而加劇全球變暖問題。

與其他形式的計(jì)算相比,AI需要使用更多的能源,訓(xùn)練單個(gè)模型消耗的電力超過100多個(gè)美國(guó)家庭1年的用電量。然而,雖然AI行業(yè)增長(zhǎng)非???,但卻不夠透明,以至于沒有人確切知道AI的總用電量和碳排放量。碳排放量也可能有很大差異,這取決于提供電力的發(fā)電廠類型,靠燒煤或天然氣發(fā)電供電的數(shù)據(jù)中心,其碳排放量顯然高于太陽(yáng)能或風(fēng)力發(fā)電支持的數(shù)據(jù)中心。

雖然研究人員已經(jīng)統(tǒng)計(jì)了創(chuàng)建單一模型所產(chǎn)生的碳排放量,有些公司也提供了有關(guān)他們能源使用的數(shù)據(jù),但他們沒有對(duì)這項(xiàng)技術(shù)的總用電量進(jìn)行總體估計(jì)。AI公司Huging Face研究員薩莎·盧西奧尼寫了一篇論文,量化了她旗下公司Bloom的碳排放情況,Bloom是OpenAI模型GPT-3的競(jìng)爭(zhēng)對(duì)手。盧西奧尼還試圖根據(jù)一組有限的公開數(shù)據(jù),對(duì)OpenAI聊天機(jī)器人ChatGPT的碳排放情況進(jìn)行評(píng)估。

提高透明度

盧西奧尼等研究人員表示,在AI模型的電力使用和排放方面,需要提高透明度。有了這些信息,政府和公司可能會(huì)衡量使用GPT-3或其他大型模型來研究癌癥治療或保護(hù)土著語言是否值得。

更高的透明度也可能帶來更多的審查,加密貨幣行業(yè)可能會(huì)提供前車之鑒。根據(jù)劍橋比特幣電力消耗指數(shù),比特幣因其耗電量過大而受到批評(píng),每年的耗電量與阿根廷一樣多。這種對(duì)電力的貪婪需求促使紐約州通過了一項(xiàng)為期2年的禁令,暫停向以化石燃料發(fā)電供電的加密貨幣采礦商發(fā)放許可證。

GPT-3是功能單一的通用AI程序,可以生成語言,具有多種不同的用途。2021年發(fā)表的一篇研究論文顯示,訓(xùn)練GPT-3耗用了1.287 GWh電量,大約相當(dāng)于120個(gè)美國(guó)家庭1年的用電量。同時(shí),這樣的訓(xùn)練產(chǎn)生了502 t碳,相當(dāng)于110輛美國(guó)汽車1年的排放量。而且,這種訓(xùn)練只適用于一個(gè)程序(或者說是模型)。

雖然訓(xùn)練AI模型的前期電力成本巨大,但研究人員發(fā)現(xiàn),在某些情況下,這只是模型實(shí)際消耗電力的40 %左右。此外,AI模型也在變得越來越大。OpenAI的GPT-3使用1 750億個(gè)參數(shù)或變量,而其前身僅使用了15億個(gè)參數(shù)。

OpenAI已經(jīng)在研究GPT-4,而且必須定期對(duì)模型進(jìn)行再訓(xùn)練,以保持其對(duì)時(shí)事的了解??▋?nèi)基梅隆大學(xué)教授艾瑪·斯特魯貝爾是首批研究AI能源問題的研究人員之一,她說:“如果你不對(duì)模型進(jìn)行再訓(xùn)練,它甚至可能不知道何為新冠肺炎?!绷硪粋€(gè)相對(duì)的衡量標(biāo)準(zhǔn)來自谷歌,研究人員發(fā)現(xiàn),AI訓(xùn)練占該公司總用電量的10 % ~15 %,2021年該公司的總用電量為18.3 TWh。這意味著,谷歌的AI每年耗電量達(dá)2.3 TWh,大約相當(dāng)于亞特蘭大所有家庭的1年用電量。

科技巨頭做出凈零承諾

雖然在許多情況下,AI模型變得越來越大,但AI公司也在不斷改進(jìn),使其以更高效的方式運(yùn)行。微軟、谷歌和亞馬遜等美國(guó)最大的云計(jì)算公司,都做出了碳減排或凈零承諾。谷歌在一份聲明中表示,到2030年,該公司將在所有業(yè)務(wù)中實(shí)現(xiàn)凈零排放,其目標(biāo)是完全使用無碳能源運(yùn)營(yíng)其辦公室和數(shù)據(jù)中心。谷歌還在使用AI來提高其數(shù)據(jù)中心的能效,該技術(shù)直接控制設(shè)施中的冷卻系統(tǒng)。

OpenAI也列舉了該公司為提高ChatGPT應(yīng)用程序編程接口的效率所做的工作,幫助客戶降低了用電量和價(jià)格。OpenAI發(fā)言人表示:“我們非常認(rèn)真地承擔(dān)起阻止和扭轉(zhuǎn)氣候變化的責(zé)任,我們對(duì)如何最大限度地利用我們的計(jì)算能力進(jìn)行了很多思考。OpenAI運(yùn)行在Azure上,我們與微軟團(tuán)隊(duì)密切合作,以提高運(yùn)行大型語言模型的效率并減少碳排放?!蔽④浿赋?,該公司正在購(gòu)買可再生能源,并采取其他措施,以實(shí)現(xiàn)之前宣布的目標(biāo),即到2030年實(shí)現(xiàn)凈零排放。微軟在聲明中稱:“作為我們創(chuàng)造更可持續(xù)性未來承諾的一部分,微軟正在投資于研究,以衡量AI的能源使用和碳排放影響,同時(shí)致力于提高大型系統(tǒng)在培訓(xùn)和應(yīng)用方面的效率。”

耶路撒冷希伯來大學(xué)教授羅伊·施瓦茨與微軟的一個(gè)團(tuán)隊(duì)合作,測(cè)量了一個(gè)大型AI模型的碳足跡。他表示:“顯然,這些公司不愿透露他們使用的是什么模型,以及它排放了多少碳。”

有些方法可以讓AI更高效地運(yùn)行。能源咨詢公司W(wǎng)ood Mackenzie的本·赫茲·沙格爾表示:“由于AI訓(xùn)練可以隨時(shí)進(jìn)行,開發(fā)者或數(shù)據(jù)中心可以將訓(xùn)練安排在電力更便宜或過剩的時(shí)候,從而使它們的運(yùn)營(yíng)更加環(huán)保。AI公司在電力過剩時(shí)訓(xùn)練自己的模型,然后在營(yíng)銷中將其當(dāng)成一大賣點(diǎn),以此表明他們注重環(huán)保。”

芯片運(yùn)行耗電量驚人

大多數(shù)數(shù)據(jù)中心使用圖形處理單元(GPU)來訓(xùn)練AI模型,這些組件是芯片行業(yè)制造的最耗電組件之一。摩根士丹利分析師早些時(shí)候發(fā)布的一份報(bào)告稱,大型模型需要數(shù)萬個(gè)GPU,培訓(xùn)周期從幾周到幾個(gè)月不等。

AI領(lǐng)域更大的謎團(tuán)之一是與所使用芯片相關(guān)的碳排放總量。最大的GPU制造商英偉達(dá)表示,當(dāng)涉及到AI任務(wù)時(shí),他們的芯片可以更快地完成任務(wù),總體上效率更高。

英偉達(dá)在聲明中表示:“與使用CPU相比,使用GPU來加速AI速度更快,也更高效。對(duì)于某些AI工作負(fù)載來說,能效通常可以提高20倍,對(duì)于生成式人工智能必不可少的大型語言模型,能效則可提高300倍?!?/p>

盧西奧尼說:“雖然英偉達(dá)已經(jīng)披露了與能源相關(guān)的直接排放和間接排放數(shù)據(jù),但該公司并沒有透露更多細(xì)節(jié)。她認(rèn)為,當(dāng)英偉達(dá)分享這些信息時(shí),我們可能發(fā)現(xiàn)GPU消耗的電量與一個(gè)小國(guó)用電量差不多,這可能會(huì)讓人抓狂。

猜你喜歡
用電量數(shù)據(jù)中心芯片
02 國(guó)家能源局:1~7月全社會(huì)用電量同比增長(zhǎng)3.4%
01 國(guó)家能源局:3月份全社會(huì)用電量同比增長(zhǎng)3.5%
酒泉云計(jì)算大數(shù)據(jù)中心
民航綠色云數(shù)據(jù)中心PUE控制
1~10月全社會(huì)用電量累計(jì)56552億千瓦時(shí)同比增長(zhǎng)8.7%
芯片測(cè)試
多通道采樣芯片ADS8556在光伏并網(wǎng)中的應(yīng)用
基于云計(jì)算的交通運(yùn)輸數(shù)據(jù)中心實(shí)現(xiàn)與應(yīng)用
2014年全社會(huì)用電量
Overlay Network技術(shù)在云計(jì)算數(shù)據(jù)中心中的應(yīng)用
河南科技(2014年11期)2014-02-27 14:16:49
庆城县| 兴文县| 无锡市| 齐齐哈尔市| 许昌市| 霸州市| 陵水| 临沧市| 乐平市| 察雅县| 包头市| 衡南县| 城固县| 阿克陶县| 新乡市| 浏阳市| 万宁市| 大悟县| 巧家县| 阿坝县| 衡阳市| 峡江县| 当阳市| 佳木斯市| 南汇区| 宜兰市| 旬阳县| 宁津县| 安平县| 十堰市| 巢湖市| 子长县| 宣恩县| 定西市| 根河市| 永福县| 治多县| 山阴县| 郴州市| 嵊泗县| 本溪市|