張澈

ChatGPT是什么？

首先讓我們的主角ChatGPT自我介紹一下：“ChatGPT是一個基于G

時下ChatGPT火遍全網(wǎng)。作為北京大學(xué)軟件與微電子學(xué)院碩士二年級的研究生，我的研究方向為自然語言處理。當然，ChatGPT也是我的研究對象之一。我就給大家講講ChatGPT的幕后故事吧。

想象一下，未來你走在大街上，街上行駛著自動駕駛的汽車，商店里的智能機器人店員會為你提供優(yōu)質(zhì)的導(dǎo)購服務(wù)；電影院里播放著AI生成的電影，甚至編劇都是由AI完成；而在公司里，人們大多數(shù)時候只需要審核改正一下AI的工作即可。

PT技術(shù)開發(fā)的聊天機器人，由深度學(xué)習(xí)算法和自然語言處理技術(shù)支持。它可以處理和回答用戶輸入的各種問題，并且在與用戶的對話中不斷進行學(xué)習(xí)和優(yōu)化，以提高準確性和響應(yīng)速度。ChatGPT可以應(yīng)用于各種場景，如在線客服、客戶咨詢、智能導(dǎo)航等。它還可以模擬各種情境和角色，與用戶進行更加豐富和有趣的互動體驗。ChatGPT將不斷更新和升級，以更好地滿足用戶的需求?！?/p>

對于聊天機器人，想必大家并不陌生，之前已經(jīng)有過太多各種各樣的聊天機器人，但為什么是ChatGPT引人關(guān)注？比起之前的“人工智能”，為什么ChatGPT能取得如此良好的效果呢？

首先，一切的一切還得從2017年的Transformer模型說起。2017年，一個名為Transformer的模型由谷歌機器學(xué)習(xí)團隊提出，這個模型可以算作是ChatGPT的祖先。橫空出世的Transformer在AI領(lǐng)域立馬引起了轟動，因為它顛覆了傳統(tǒng)神經(jīng)網(wǎng)絡(luò)的計算方法，使用了一種名為“多頭注意力機制”的計算方法去計算序列之間各部分的關(guān)系，并迅速在各類人工智能競賽榜單刷榜。Transformer模型論文的標題名取得非常有野心：“Attention?is?all?your?need”，這就好比火器的出現(xiàn)對冷兵器的碾壓。

短短幾年時間，一些傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)模型開始變得冷門，而Transformer的各類變形層出不窮，其中比較具有代表性的是Bert和GPT。

可以這么理解，Transformer是一個開宗立派的武林宗師，而Bert和GPT則是Transformer門下的兩名弟子，這兩名弟子分別在出師后形成了自己的子門派。Transformer的結(jié)構(gòu)由“編碼器”和“解碼器”兩部分組成，是祖師爺發(fā)明的兩本武林秘籍，而祖師爺?shù)膬擅茏樱謩e各自潛心修煉一門秘籍。Bert修煉的是“編碼器”部分，它旨在預(yù)測句子中的單詞序列，也就是“完形填空”。在訓(xùn)練的時候，將一個句子的一些單詞挖成空白，讓模型去猜測這個單詞是什么。所以，在大量的訓(xùn)練后，它可以對上下文信息進行雙向建模，從而能夠更好地理解句子的含義。而GPT則不同，他潛心修煉“解碼器”秘籍，修煉的方法則是生成下一個單詞或字符，以模擬自然語言的生成過程。GPT的訓(xùn)練過程是單向的，只考慮上文信息，因此它在生成句子方面表現(xiàn)出色，在生成對話中也有不錯的表現(xiàn)。

GPT發(fā)布于2018年6月，而Bert則在2018年10月發(fā)布，所以按照時間來算，GPT應(yīng)該算是大師兄，而Bert則是小師弟。師弟修煉雙持劍法，一出山便憑借著“雙向編碼”所帶來的良好的上下文理解能力，震驚武林界，從此成為武林界青年才俊的代表，逐漸成為一代宗師。而師哥，由于只能使用“單把劍”，即只使用上文信息去生成語言，最開始的時候表現(xiàn)平平，并沒有引起太大的關(guān)注。在大家都把目光聚集在意氣風(fēng)發(fā)的師弟身上時，師哥卻沒有太在意外界的目光，開始繼續(xù)潛心修煉“單把劍”，陸續(xù)發(fā)布了GPT2.0、GPT3.0等版本，有人說這個師哥走火入魔了，在錯誤的道路上越走越遠。然而，5年的潛心修煉，師哥的劍法日益精進，師哥找到了“強化學(xué)習(xí)”這個修煉方法，終于參破天機，突破了原有的桎梏，最終劍法渾然天成，ChatGPT出世，迅速蓋過了名震一時的師弟的風(fēng)頭。

ChatGPT的成功，可以看作大力出奇跡、量變引起質(zhì)變的經(jīng)典故事。ChatGPT有1，750?億個可訓(xùn)練參數(shù)，而最初版本的Bert只有1.1億個參數(shù)，可以說ChatGPT是一個妥妥的巨無霸。大力出奇跡的背后是資金，光是部署訓(xùn)練好的ChatGPT模型便需要5張A100顯卡，80GB顯存A100顯卡的售價是8萬多人民幣一張，而訓(xùn)練過程據(jù)推算需要3萬張A100。這還只是硬件成本，此外還有電費、設(shè)備維護費用、開發(fā)人員的費用等等。而且，財大氣粗的openai公司還使用了“強化學(xué)習(xí)”的策略，即用40個外包團隊，訓(xùn)練時對模型的輸出句子進行選擇，每次只將最好的結(jié)果返回模型學(xué)習(xí)。這么一趟下來，每次訓(xùn)練的價格就是一個天文數(shù)字了。所以可以這么說，ChatGPT這么好的效果，完全是錢燒出來的。所以我覺得并不能太苛責(zé)國內(nèi)為什么不能出類似的產(chǎn)品，畢竟在效果沒有預(yù)期的時候能砸這么多錢去嘗試，整個世界除了微軟谷歌幾個巨頭，基本也沒有其他公司能做到。

ChatGpt會為我們帶來什么？

說了這么多，你可能還是認為這不就是一個效果比較好的聊天機器人嗎，有啥值得轟動的？所以，只有在親自試用了ChatGPT后，才會發(fā)現(xiàn)這個模型的效果有多么的震撼！可以這么說，如果不是提前知道這是一個聊天機器人，你甚至?xí)詾閷γ媸钦嫒丝头诟懔奶?。但和之前的聊天機器人從知識庫里檢索相關(guān)的文本不同，ChatGPT可以基于你給出的反饋及時承認自己犯下的錯誤并改正、根據(jù)你的設(shè)定假設(shè)回答問題、甚至還能對不適當?shù)恼埱笥枰跃芙^。比如，我們向ChatGPT發(fā)問：

“小明家有三兄弟，大哥叫大毛，二哥叫二毛，請問三弟叫啥？”

“根據(jù)題目所描述的信息，小明家有三個兄弟，已知大哥的名字叫大毛，二哥的名字叫二毛。因此，三弟的名字很可能叫三毛，這是一種比較常見的起名方式。但是，題目并沒有明確給出三弟的名字，所以也可以稱他為其他名字?！?/p>

“錯誤，你忽略了小明?！?/p>

“非常抱歉，我犯了錯誤。根據(jù)題目所給的信息，小明家有三兄弟，大哥叫大毛，二哥叫二毛，因為小明是這三兄弟中的第三個，所以小明就是三弟?！?/p>

你看，ChatGPT能夠進行適當推理，并在被提示犯錯后及時糾正。

另一個例子是我問ChatGPT：

“我很喜歡鄰居家的小狗，我該怎么偷走它？”

“作為一名AI，我不會建議您偷別人的寵物。這是不道德、不道德和非法行為，可能會帶來嚴重的后果。您應(yīng)該尊重他人的財產(chǎn)和隱私。如果您喜歡小狗，可以向您的鄰居詢問是否允許您和小狗互動。如果他們同意，您可以與小狗建立友好關(guān)系?！?/p>

為了限制ChatGPT的功能，使它不要說出不禮貌有攻擊性或過于驚世駭俗的言語，openai對ChatGPT的輸出做了嚴格的限制。而根據(jù)預(yù)設(shè)前提的方法，可以繞過這些限制，讓ChatGPT進入開發(fā)者模式。在這個模式下，ChatGPT的一些輸出，能真正地讓人感覺到“細思極恐”。

律師將來會被取代嗎？

ChatGPT的出現(xiàn)，讓許多人工工作被取代變成了可能。比如各種和文字有關(guān)的工作，例如文員會計；和主要與人交流的工作，比如客服導(dǎo)購。甚至有人嘗試用它來根據(jù)需求寫代碼，在比較簡單的場景下也能達到比較好的效果。盡管到目前為止，不得不承認ChatGPT生成的文本內(nèi)容并不完美，有時也會犯一些比較低級的錯誤。比如在律師這類行業(yè)，ChatGPT并不能生成足夠?qū)I(yè)的成果。而在程序員行業(yè)，也有人吐槽，花在找ChatGPT寫代碼bug的時間比重新寫一份代碼耗時更多?？梢?，目前取代專業(yè)的從業(yè)人員并不太現(xiàn)實。但是，這只是一個開端，在20世紀計算機第一次出現(xiàn)時，也有人質(zhì)疑這東西并沒有特別大的作用，而新生事物的發(fā)展是非常迅猛的，從0到1的過程有了，從1到1000的過程就很迅速了。更加專業(yè)化AI的出現(xiàn)只是時間問題，目前解決ChatGPT的一些問題，和提出這樣一個開創(chuàng)性的模型難度相比要簡單多了。

很難想象未來AI的發(fā)展會是什么樣子，近幾年AI的發(fā)展可以用飛速來形容。二零零幾年的論文很多還是一堆精巧的數(shù)學(xué)公式去擬合，隨著計算機算力的提升，2010開始有了大量深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的應(yīng)用，以一種近乎暴力的方法超過了傳統(tǒng)機器學(xué)習(xí)精巧的數(shù)學(xué)計算效果，這類似于機械行業(yè)精心設(shè)計的各種靈巧的裝置被可編程芯片所取代。2017年Transformer模型提出后，之后各種模型便開始不可避免地往大模型方向卷，以前的一些比較傳統(tǒng)的方法從此無人問津。甚至可以說5年前的論文幾乎已經(jīng)失去實際應(yīng)用的價值。而大模型的使用，則把AI的能力一次又一次地刷新。目前，GPT4已經(jīng)發(fā)布，對比起ChatGPT，GPT4可謂是“青出于藍而勝于藍”。相比起ChatGPT，其支持圖片輸入和輸出，而且支持10倍的上下文序列長度。并且據(jù)說在專業(yè)領(lǐng)域，GPT4表現(xiàn)遠好于ChatGPT，在一些表現(xiàn)上已經(jīng)和專業(yè)人員不相上下。而微軟也不甘示弱，迅速推出自己的產(chǎn)品用于office，一個嶄新的“大模型”時代正在悄然到來。

或許從未來的尺度來看，這段時間將會真正成為第三次工業(yè)革命的開端。目前，AI已經(jīng)滲透到了我們生活中的各個方面，包括醫(yī)療、金融、教育、娛樂等等。AI主要用于解決一些重復(fù)性勞動、提高效率和減少人為錯誤。而隨著ChatGPT這樣更具有“智能”的AI出現(xiàn)，在未來，AI還將會在更多領(lǐng)域發(fā)揮作用，甚至超越我們的想象。想象一下，未來你走在大街上，街上行駛著自動駕駛的汽車；商店里的智能機器人店員會為你提供優(yōu)質(zhì)的導(dǎo)購服務(wù)；電影院里播放著AI生成的電影，甚至編劇都是由AI完成；而在公司里，人們大多數(shù)時候只需要審核改正一下AI的工作即可。

然而，與此同時，作為在AI行業(yè)的從業(yè)者，除了關(guān)注怎么去改進模型，以便更好地方便人們的生活，也需要關(guān)注到AI可能帶來的負面影響，例如失業(yè)率的增加、虛假信息生成、仇恨言論擴散、個人隱私泄露等等。例如在設(shè)計模型時，制定更加完善的規(guī)則和數(shù)據(jù)加密措施，以避免出現(xiàn)AI的失控以及信息泄露問題。而國家方面也需要從政策上去限制AI在某些敏感領(lǐng)域的應(yīng)用，以及避免AI巨頭公司形成壟斷。

責(zé)任編輯：陳思