黃靖芳

2024年的首個(gè)學(xué)期，香港科技大學(xué)開設(shè)了一堂跨校區(qū)的創(chuàng)意社交媒體課程，AI講師和真人講師共同完成了這堂課程。

AI教學(xué)的場(chǎng)景是怎樣的？上這門課的同學(xué)—無(wú)論是在廣州的南沙校區(qū)還是香港的清水灣校區(qū)，他們只要坐在教室內(nèi)，戴上眼前的VR設(shè)備，就能進(jìn)入AI講師呈現(xiàn)的課堂環(huán)境。

負(fù)責(zé)這門課程的許彬教授和他的研究團(tuán)隊(duì)，根據(jù)課程主題設(shè)計(jì)了十個(gè)不同形象的AI講師，他們會(huì)是一名網(wǎng)紅、政策倡導(dǎo)者、卡通人物，也會(huì)是歷史人物，譬如愛因斯坦以及約翰·福布斯·納什。

在課堂里，AI講師會(huì)教授媒體故事敘述、社交媒體對(duì)社會(huì)影響、助推理論 （Nudge Theory） 等主題課程。為了讓AI講師呈現(xiàn)得生動(dòng)自然，團(tuán)隊(duì)研發(fā)了3D動(dòng)作生成系統(tǒng)，并且采用了不少AI工具，還改良了開源3D表情生成算法—由此誕生了亞洲首批的AI講師。

學(xué)生們所處的課室是元宇宙工作室的一部分，其中配備了綠幕和大量的動(dòng)作捕捉設(shè)備。平時(shí)這里是記錄實(shí)驗(yàn)數(shù)據(jù)的現(xiàn)場(chǎng)，而在課堂上，這里就變成了虛擬與現(xiàn)實(shí)交匯的場(chǎng)所。

這個(gè)小小的課室，承載了許彬和學(xué)生們廣袤的“宇宙”。

創(chuàng)作AI講師的許彬，是香港科技大學(xué)（廣州）計(jì)算媒體與藝術(shù)學(xué)域講座教授與香港科技大學(xué)新興跨學(xué)科領(lǐng)域講座教授，同時(shí)，他還是英國(guó)皇家工程院國(guó)際院士、歐洲科學(xué)院院士。許彬畢業(yè)于劍橋大學(xué)的計(jì)算機(jī)科學(xué)專業(yè)，畢業(yè)后從事移動(dòng)計(jì)算、計(jì)算機(jī)網(wǎng)絡(luò)等領(lǐng)域的研究，近十多年來(lái)，他把目光逐漸轉(zhuǎn)向了AR/VR/MR/XR/元宇宙領(lǐng)域等沉浸式科技技術(shù)。

回顧2020年前后，元宇宙進(jìn)入技術(shù)突破階段，大眾開始普遍接觸這個(gè)概念，投資界人士更很快地奉其為風(fēng)口，連社交媒體巨頭Facebook也宣布改名Meta，押注“共享的虛擬環(huán)境”。不過，這股熱潮漸漸冷卻，對(duì)普通用戶來(lái)說(shuō)，元宇宙顯得遙遠(yuǎn)而又抽象。

眼下，生成式AI迎來(lái)了大爆發(fā)，豐富了人們關(guān)于虛擬世界的各種想象，更是帶動(dòng)了元宇宙重新受到關(guān)注：當(dāng)內(nèi)容創(chuàng)作的成本降低，通往元宇宙的通道會(huì)如何打開？

就這些科技熱點(diǎn)話題，許彬接受了南風(fēng)窗的采訪。他講述了創(chuàng)作和訓(xùn)練AI講師的經(jīng)歷，并且提及了生成式AI工具的出現(xiàn)給元宇宙帶來(lái)的影響。他提到，希望AI講師能推廣到經(jīng)濟(jì)落后地區(qū)，解決全球教師資源短缺的問題；他還分享了自己和元宇宙的故事。

首先需要同學(xué)能接受老師是AI

南風(fēng)窗：能跟我們分享創(chuàng)作AI講師的細(xì)節(jié)嗎？你們是怎樣對(duì)其訓(xùn)練和微調(diào)的？

許彬：其實(shí)早在2022年初，我們團(tuán)隊(duì)已經(jīng)開始思考怎么把AI技術(shù)和元宇宙應(yīng)用到教育領(lǐng)域。去年底的時(shí)候，香港科技大學(xué)推出了元宇宙教室的第一個(gè)課程“元宇宙設(shè)計(jì)思維”。元宇宙教室是香港科技大學(xué)實(shí)體—數(shù)字雙子校園項(xiàng)目的一部分，這個(gè)項(xiàng)目是用元宇宙連接香港、廣州兩個(gè)校區(qū)的同學(xué)，初衷是讓不同校區(qū)的學(xué)生都能獲得歸屬感，一起上同一堂課。最后課程效果很不錯(cuò)，我們發(fā)現(xiàn)同學(xué)們對(duì)這樣的技術(shù)接受度很高，這一點(diǎn)很重要，如果接受度低，那創(chuàng)新很難展開。

這學(xué)期我們運(yùn)用AI講師的課程名叫創(chuàng)意社交媒體，選這門課的同學(xué)其實(shí)對(duì)各種創(chuàng)新科技都很感興趣，課程本身也涉及了很多不同的領(lǐng)域，講求知識(shí)性、趣味性，所以我認(rèn)為這門課嘗試用AI的方式來(lái)展示是合適的。

當(dāng)然，為了讓同學(xué)們能接受AI講師，我們進(jìn)行了很多技術(shù)上的準(zhǔn)備。從新聞報(bào)道也能發(fā)現(xiàn)，使用AI講師授課在全球大學(xué)范圍內(nèi)還是很前沿的，這里面涉及很多研究議題。

2021年疫情席卷而來(lái)，國(guó)內(nèi)外的生活都有著出行上的限制，我們的生活像變成一座孤島，那段時(shí)間更推動(dòng)我開始思考怎么把元宇宙結(jié)合到教學(xué)和實(shí)際生活上。

在這個(gè)學(xué)期，雖然AI講師還沒有實(shí)現(xiàn)跟同學(xué)互動(dòng)的功能，但是從技術(shù)上來(lái)說(shuō)這是能做到的。這學(xué)期我們主要想探討一個(gè)最基礎(chǔ)的問題—同學(xué)對(duì)AI講師的形象、肢體語(yǔ)言和口音等各種表現(xiàn)的接受程度如何？

科技界有一個(gè)詞叫Uncanny Valley（恐怖谷效應(yīng)），指的是當(dāng)AI技術(shù)愈加發(fā)展，人們會(huì)對(duì)機(jī)器人身上的具體特征很敏感，當(dāng)人能察覺到機(jī)器人雖然很像人，但又不是真人時(shí)，會(huì)產(chǎn)生毛骨悚然的感覺。所以，設(shè)置AI講師形象時(shí)我們進(jìn)行了很多探討，包括研究老師的身份背景、口音、肢體表情、膚色等等。

具體來(lái)說(shuō)，我為這門課程準(zhǔn)備了教材和簡(jiǎn)報(bào)。在此基礎(chǔ)上，我們將使用AI工具生成腳本；我完成初稿修訂后，將腳本交由AI生成音頻資料；這些音頻將用于驅(qū)動(dòng)AI講師表現(xiàn)出不同的面部表情和肢體語(yǔ)言。最后，我們還會(huì)對(duì)生成的內(nèi)容進(jìn)行剪輯和編輯，確保教學(xué)內(nèi)容的準(zhǔn)確性。

在課堂呈現(xiàn)時(shí)，AI講師有2D和3D的形象：2D形象以視頻形式展現(xiàn)給學(xué)生，而3D形象則通過VR設(shè)備進(jìn)行教學(xué)。

南風(fēng)窗：經(jīng)過一個(gè)學(xué)期的實(shí)踐，目前最受學(xué)生歡迎的AI講師形象是怎樣的？

許彬：學(xué)生們的喜好十分多樣。例如，喜歡動(dòng)漫的學(xué)生傾向于偏愛卡通形象的講師，而有些學(xué)生則更青睞接近真人的老師形象，或是虛擬現(xiàn)實(shí)中的教師。

在我們的項(xiàng)目中，評(píng)分最高的是一位亞洲年輕女性講師，其次是一位年輕的白人女性。由于我們是進(jìn)行英語(yǔ)教學(xué)，帶有英式口音的講師更受學(xué)生們的歡迎。

我們還嘗試調(diào)整了AI講師的聲音，包括高音和夾子音等，但學(xué)生們更喜歡稍顯成熟和權(quán)威的聲音。此外，如果講師在說(shuō)話時(shí)能將面部表情和手勢(shì)相配合，學(xué)生的接受度也會(huì)更高。

南風(fēng)窗：接下來(lái)，你對(duì)AI講師的改進(jìn)計(jì)劃是怎樣的？

許彬：我們一直在探索讓AI講師與學(xué)生互動(dòng)的可能性，并逐步實(shí)踐這一想法。我們也打算引入大語(yǔ)言模型。不過，即便使用了像GPT-4這樣的高級(jí)模型，當(dāng)涉及它不熟悉的領(lǐng)域時(shí)，它仍可能回答錯(cuò)誤。

此外，目前的大語(yǔ)言模型都是通用的，要使其在特定領(lǐng)域內(nèi)提供準(zhǔn)確回答，我們采用了檢索增強(qiáng)生成的方法，輸入相關(guān)領(lǐng)域（如社交媒體）的教科書和論文進(jìn)行訓(xùn)練，以期使AI講師的回答更加精準(zhǔn)和有針對(duì)性。

經(jīng)過一個(gè)學(xué)期的實(shí)踐，我們已經(jīng)詳細(xì)了解了學(xué)生對(duì)AI講師形象的偏好。結(jié)合這些偏好，我們計(jì)劃推出具有互動(dòng)功能的AI講師，并集成學(xué)生喜歡的外觀、肢體語(yǔ)言和聲音特征。

生成式AI讓元宇宙創(chuàng)作更高效

南風(fēng)窗：談一談你的研究經(jīng)歷，以前你在博士期間的專業(yè)是計(jì)算機(jī)，后來(lái)從事計(jì)算機(jī)網(wǎng)絡(luò)的研究、移動(dòng)計(jì)算等，是怎么決定轉(zhuǎn)向研究元宇宙的？

許彬：我一直讀的是計(jì)算機(jī)專業(yè)，2012年的時(shí)候，我還在德國(guó)柏林工作，當(dāng)時(shí)公司需要制定未來(lái)的策略性計(jì)劃，大家都在思考實(shí)驗(yàn)室5年到10年以后的研究方向。

其實(shí)，我的研究范圍很廣泛，做過網(wǎng)絡(luò)、社交網(wǎng)絡(luò)、AI等等，當(dāng)時(shí)根據(jù)自己的興趣和對(duì)未來(lái)的預(yù)測(cè)，我認(rèn)為AR和VR是未來(lái)的重要方向，那一年開始，就主力做元宇宙方面的研究。

2021年疫情席卷而來(lái)，國(guó)內(nèi)外的生活都有著出行上的限制，我們的生活像變成一座孤島，那段時(shí)間更推動(dòng)我開始思考怎么把元宇宙結(jié)合到教學(xué)和實(shí)際生活上。

其實(shí)，元宇宙能拓寬我們的生活邊界，讓有限的空間變得不再狹窄，比如我們習(xí)慣使用的通信軟件都只是一個(gè)個(gè)二維平面，而人類習(xí)慣的是三維空間，元宇宙就能實(shí)現(xiàn)讓人們?cè)谌S的虛擬世界里交流、互動(dòng)。

南風(fēng)窗：你曾經(jīng)提到元宇宙不僅是數(shù)字孿生，還包括數(shù)字原生，未來(lái)的虛擬世界將以沉浸式的方式與物理世界共存，以至于人們無(wú)法區(qū)分真實(shí)和虛擬。在這個(gè)虛擬世界里，其規(guī)則的建立是和物理世界一樣嗎？

許彬：“數(shù)字孿生”是指現(xiàn)實(shí)世界里有的東西復(fù)制到虛擬世界，“數(shù)字原生”則是指現(xiàn)實(shí)世界里不存在的東西，事實(shí)上，我所提到的“數(shù)字原生”更多是指內(nèi)容創(chuàng)作層面的。

理論上，虛擬世界里可以有一個(gè)盤旋在空中的島嶼，但如果用戶進(jìn)入到這個(gè)物理世界里面，人是需要倒著走的話，那用戶體驗(yàn)不會(huì)很好。

另一方面，物理世界與虛擬世界的最佳融合方式，并不是我們進(jìn)入虛擬世界，而是將數(shù)字對(duì)象帶入現(xiàn)實(shí)空間。這就是所謂的“超現(xiàn)實(shí)”概念。

虛擬世界里，所有東西并不是必須遵守各種物理定律，但起碼要遵守三維的規(guī)則，符合物理世界的性質(zhì)。

在虛擬世界里，我們能看到小鳥會(huì)說(shuō)話，也會(huì)有塊石頭飛來(lái)飛去的，雖然這些不會(huì)在現(xiàn)實(shí)里發(fā)生，但如果能讓用戶感覺舒服且自在，其實(shí)這些都是沒有問題的。最終，元宇宙的展示方法及設(shè)計(jì)還是要講究用戶體驗(yàn)。

物理世界與虛擬世界的最佳融合方式，并不是我們進(jìn)入虛擬世界，而是將數(shù)字對(duì)象帶入現(xiàn)實(shí)空間。這就是所謂的“超現(xiàn)實(shí)”概念。

南風(fēng)窗：不久前，OpenAI發(fā)布了文生視頻的模型Sora，它的精彩表現(xiàn)讓很多人體驗(yàn)到虛擬世界的生動(dòng)感，而且OpenAI將其稱為世界的模擬器。你認(rèn)為，生成式AI的發(fā)展會(huì)給元宇宙帶來(lái)什么樣的改變？AI技術(shù)和元宇宙的結(jié)合點(diǎn)在哪里？

許彬：我們之前也提到過，元宇宙主要關(guān)注數(shù)字原生的內(nèi)容創(chuàng)作。如果元宇宙內(nèi)沒有吸引人的內(nèi)容，人們自然不會(huì)有興趣參與進(jìn)來(lái)。

因此，我認(rèn)為生成式AI工具的發(fā)展將極大地促進(jìn)元宇宙的發(fā)展，使內(nèi)容創(chuàng)作變得更快速、成本更低。例如，像AI講師這樣的項(xiàng)目就能更迅速地被開發(fā)出來(lái)。同時(shí)，AI工具還可以幫助完成元宇宙內(nèi)的導(dǎo)覽和介紹工作。

以往創(chuàng)建元宇宙場(chǎng)景需要藝術(shù)家逐步繪制，耗時(shí)而繁瑣，許多游戲世界就是這樣構(gòu)建出來(lái)的。但如果生成式AI工具得到廣泛應(yīng)用，虛擬環(huán)境的創(chuàng)建將會(huì)大為簡(jiǎn)化，實(shí)現(xiàn)數(shù)字孿生也將變得更加容易。

香港作為元宇宙試點(diǎn)，有何參考性

南風(fēng)窗：香港在元宇宙的探索上有著許多優(yōu)勢(shì)，而且還被Meta選為亞洲的元宇宙試點(diǎn)中心，你怎么看待香港適合發(fā)展元宇宙的要素？

許彬：Meta選擇香港作為試點(diǎn)有多方面原因，香港具有城市密度高、人們生活聚集在市中心、各種通信設(shè)備發(fā)達(dá)的特點(diǎn)，而且每個(gè)人都會(huì)擁有不少智能設(shè)備，對(duì)高科技的接受程度高。

另外，香港也正在大力建設(shè)國(guó)際虛擬資產(chǎn)中心，全力發(fā)展Web3.0產(chǎn)業(yè)，并且出臺(tái)了虛擬資產(chǎn)交易新規(guī)，無(wú)論在經(jīng)濟(jì)收入還是知識(shí)產(chǎn)權(quán)層面，創(chuàng)作者的權(quán)益都能得到保護(hù)，他們的創(chuàng)作意愿會(huì)相對(duì)較高。我想，未來(lái)元宇宙發(fā)展的愿景應(yīng)該也是如此，需要這樣的硬件配套設(shè)施來(lái)支持。

南風(fēng)窗：你也關(guān)心城市等大型人類活動(dòng)空間的數(shù)字化轉(zhuǎn)型，目前AI技術(shù)的發(fā)展會(huì)給城市公共建設(shè)帶來(lái)什么幫助？

許彬：這也是我感興趣的一個(gè)議題。雖然我本身是計(jì)算機(jī)專業(yè)出身，但我指導(dǎo)的一些博士生也在研究城市規(guī)劃相關(guān)議題，我們主要探討AI和元宇宙如何更好地與城市活動(dòng)空間結(jié)合。

首先，與傳統(tǒng)城市規(guī)劃方法相比，人工智能帶來(lái)了創(chuàng)新變化。傳統(tǒng)城市規(guī)劃依賴于經(jīng)驗(yàn)，而現(xiàn)在得益于數(shù)據(jù)科學(xué)的推動(dòng)，規(guī)劃師可以深入理解復(fù)雜的土地和交通系統(tǒng)，從而做出更有效的決策。

其次，人工智能在實(shí)時(shí)監(jiān)控方面也能發(fā)揮巨大作用。傳統(tǒng)方法通常是收集數(shù)據(jù)、再進(jìn)行處理，而數(shù)字技術(shù)可以實(shí)時(shí)、大規(guī)模處理地理空間和社交數(shù)據(jù)，識(shí)別出可行的模式。例如，城市基礎(chǔ)設(shè)施中安裝的傳感器和攝像機(jī)可以預(yù)測(cè)積水和洪澇情況，使得快速響應(yīng)成為可能。

在物理空間中，AI可以為物體的結(jié)構(gòu)、功能和美學(xué)帶來(lái)新的見解。目前一些知名的建筑的設(shè)計(jì)（比如大興機(jī)場(chǎng)，還有AI Build設(shè)計(jì)的作品Daedalus Pavilion）結(jié)合了人工智能和數(shù)據(jù)分析，利用生成式工具，創(chuàng)造出流暢的視覺美感和體驗(yàn)。而在虛擬空間中，AI工具能快速生成元宇宙空間，創(chuàng)造出具有時(shí)空背景的場(chǎng)景。

元宇宙“平民化”關(guān)鍵在內(nèi)容創(chuàng)作

南風(fēng)窗：元宇宙的概念在廣泛傳播后，很快成為風(fēng)口，但也引來(lái)了不少質(zhì)疑。比如目前普通消費(fèi)者能接觸的消費(fèi)設(shè)備選項(xiàng)不多；元宇宙的場(chǎng)景很豐富，但內(nèi)容顯然還不夠；因此，元宇宙看起來(lái)離普通人還很遙遠(yuǎn)，對(duì)這個(gè)現(xiàn)象你是怎么看的？元宇宙會(huì)變得更“平民化”嗎？

許彬：其實(shí)，目前市面上的VR設(shè)備價(jià)格不算很高，像Meta出的Quest 2頭戴式設(shè)備，價(jià)格在200美元左右，質(zhì)量已經(jīng)很不錯(cuò)了。

但是，如果說(shuō)讓元宇宙的發(fā)展更好，那還是我們上述談到的內(nèi)容—怎么樣提高內(nèi)容創(chuàng)作的質(zhì)量、擴(kuò)展內(nèi)容的范圍?，F(xiàn)在很多人想到元宇宙還只能想到一些游戲，但不是每個(gè)人都玩游戲的，有人想到元宇宙學(xué)東西，目前學(xué)習(xí)的場(chǎng)景不多，想要推動(dòng)元宇宙發(fā)展，內(nèi)容創(chuàng)作是關(guān)鍵。

關(guān)于元宇宙炒作的爭(zhēng)議，其實(shí)在三四年前確實(shí)存在，當(dāng)時(shí)有在元宇宙里進(jìn)行虛擬土地交易的，一塊地能賣出數(shù)百萬(wàn)美元，這里面的操作肯定充滿投機(jī)與風(fēng)險(xiǎn)。如今，幾年時(shí)間過去了，元宇宙的概念得到沉淀，炒作那一輪勢(shì)頭逐漸過去了，元宇宙發(fā)展的環(huán)境也在逐漸改善。

南風(fēng)窗：數(shù)字技術(shù)的發(fā)展讓人們看到了很多可能性，也帶來(lái)了道德邊界上的爭(zhēng)議，比如版權(quán)爭(zhēng)議、隱私問題還有數(shù)據(jù)安全。當(dāng)你在設(shè)計(jì)模型或者項(xiàng)目的時(shí)候，會(huì)怎樣考慮風(fēng)險(xiǎn)？

許彬：AI誕生以來(lái)就伴隨著不少爭(zhēng)議，其中一個(gè)體現(xiàn)是，如果訓(xùn)練AI的數(shù)據(jù)模型是偏頗的，那這個(gè)AI模型就不會(huì)公平。

若AI講師能進(jìn)行完善和推廣，到時(shí)候每個(gè)學(xué)校只需要一部電腦，講師24小時(shí)都可在線，就能解決教師數(shù)量不足的問題。

當(dāng)然，元宇宙也會(huì)有其它問題。我是國(guó)際刑警組織元宇宙專家組的創(chuàng)始成員，每隔一段時(shí)間，會(huì)和國(guó)際刑警方面進(jìn)行溝通，主要了解元宇宙會(huì)帶來(lái)什么新的罪行?，F(xiàn)實(shí)世界里的違法犯罪行為—洗黑錢、避稅等問題也會(huì)出現(xiàn)在虛擬世界里，除此以外，還會(huì)衍生出新的問題，需要及時(shí)發(fā)現(xiàn)和跟進(jìn)。

現(xiàn)實(shí)生活里，元宇宙的應(yīng)用必然涉及很多數(shù)據(jù)，以頭戴式設(shè)備為例，它會(huì)接觸身體的各項(xiàng)隱私，怎樣相信設(shè)備能保護(hù)我的數(shù)據(jù)？數(shù)年前，我們進(jìn)行過一項(xiàng)專門的研究，內(nèi)容是當(dāng)攝錄機(jī)在拍攝時(shí)，怎樣通過自己的表情、手勢(shì)和攝錄機(jī)進(jìn)行溝通，讓它不要拍攝到這些數(shù)據(jù)，并且將我的樣子模糊掉。新科技一定會(huì)帶來(lái)很多爭(zhēng)議，我們學(xué)界持續(xù)關(guān)注、發(fā)聲的目的，就是讓這些科技的優(yōu)缺點(diǎn)被公眾得知，實(shí)現(xiàn)信息溝通的透明。

南風(fēng)窗：最后，談?wù)勀隳壳霸谘芯康捻?xiàng)目？

許彬：我可以分享兩個(gè)項(xiàng)目，第一個(gè)是研究如何通過AR完成城市敘事，很多現(xiàn)實(shí)里的故事、電影里的場(chǎng)景其實(shí)都發(fā)生在城市區(qū)域內(nèi)，我們希望發(fā)揮香港、廣州的城市特點(diǎn)，打造成具有元宇宙要素的敘事內(nèi)容。最近維港兩岸也出現(xiàn)了融合了科技、科學(xué)的藝術(shù)裝置，我們希望未來(lái)能把這樣的技術(shù)運(yùn)用到珠江沿岸的風(fēng)景上，把數(shù)字技術(shù)投放到城市中，營(yíng)造出不一樣的城市景觀。

另一個(gè)項(xiàng)目依舊是AI講師的推廣，我們希望隨著其功能逐步完善，能推廣到更多學(xué)校。AI技術(shù)出現(xiàn)后，每個(gè)崗位都會(huì)出現(xiàn)“會(huì)否擔(dān)心被AI取代”的問題。我也常常會(huì)被問到同樣的問題。其實(shí)放眼全球，教師是稀缺資源，全球有6900萬(wàn)的教師缺口，例如，一些偏遠(yuǎn)地區(qū)或四五線城市同樣面臨著教師資源短缺的問題。若AI講師能進(jìn)行完善和推廣，到時(shí)候每個(gè)學(xué)校只需要一部電腦，講師24小時(shí)都可在線，就能解決教師數(shù)量不足的問題。

隨著AI講師項(xiàng)目的不斷完善，我們的下一步計(jì)劃是融合互動(dòng)性功能，讓其更適合大規(guī)模教學(xué)，這樣它能用在更多地方，偏遠(yuǎn)地區(qū)的小朋友也能因此受益。