一個微風(fēng)習(xí)習(xí)的早晨,你舒適地在床上伸個懶腰,然后悠悠地來一句:“微波爐加熱早飯?!比缓螅闫鸫?,洗漱完畢,會發(fā)現(xiàn)微波爐已經(jīng)加熱好了一份熱騰騰早餐。
山東師范大學(xué)傳媒學(xué)院院長助理兼數(shù)字媒體系主任、副教授劉興波向我們描述這樣一個場景,“這個場景就是一個典型的人機(jī)交互(人機(jī)對話)的情節(jié)。其原理是計算機(jī)通過聲音傳感器,采集人的聲音,并判斷、輸入指令‘啟動微波爐?!眲⑴d波向我們解釋說。
山東師范大學(xué)傳媒學(xué)院數(shù)字媒體系的數(shù)字媒體藝術(shù)專業(yè),是一個藝術(shù)與技術(shù)相結(jié)合的專業(yè),屬于交叉學(xué)科領(lǐng)域,涉及造型藝術(shù)、藝術(shù)設(shè)計、交互設(shè)計、計算機(jī)編程、計算機(jī)圖形學(xué)、信息與通信技術(shù)等方面的知識。作為該系負(fù)責(zé)人的劉興波,主要研究方向為信息技術(shù)教育應(yīng)用、虛擬仿真技術(shù)應(yīng)用、數(shù)字科技與文化等。
人機(jī)交互技術(shù),也被稱為人機(jī)對話,是計算機(jī)發(fā)展的趨勢和方向。隨著人工智能與大數(shù)據(jù)的發(fā)展,借助各種類型的傳感器,計算機(jī)能夠非常直觀、直接、全面地捕捉到人的需求,也就是將能夠懂得人的潛在意圖,并按照人的意圖提供各種形式的信息,如播放電影、音樂,查詢航班信息,預(yù)定酒店房間,播報天氣情況等,這在不久的將來會成為現(xiàn)實。劉興波敏銳地意識到了這一點。2015年10月,系里討論教學(xué)培養(yǎng)方案時,劉興波談到了人機(jī)交互技術(shù)在游戲中的應(yīng)用問題。他認(rèn)為,讓人類的自然語言與先進(jìn)的機(jī)器智能進(jìn)行交互,是這個產(chǎn)業(yè)中最前沿的課題之一。體感控制作為人機(jī)交互的關(guān)鍵技術(shù)之一,是當(dāng)前科研的熱點,開發(fā)體感控制游戲能夠促進(jìn)科研成果的產(chǎn)出。因此,他建議在教學(xué)過程中引導(dǎo)學(xué)生開發(fā)一些體感控制類的游戲,這既立足于教學(xué),又能夠調(diào)動學(xué)生的學(xué)習(xí)興趣和積極性。尤其是是游戲開發(fā)專業(yè)方向,引入人機(jī)交互技術(shù),可以讓玩家在游戲過程中體驗高度的沉浸感。他的提議得到了系里各位老師的贊同。
引入課題易,落實起來難。但傳媒學(xué)院的師生不怕困難,他們心往一處想,勁往一處使,凝結(jié)成一個強(qiáng)有力的研發(fā)團(tuán)隊。他們迎著風(fēng)雨,勇敢地伸出了觸摸未來科技的雙手。
2016年5月份在北京微軟亞洲研究院,即微軟總部大廈舉行的“微軟下一代人機(jī)交互Hackathon(編程馬拉松)比賽”是微軟公司在中國舉辦的第一屆以微軟MPC技術(shù)為主題的賽事,得到了微軟美國總公司的高度重視。微軟充滿神秘色彩的DX部門眾多技術(shù)顧問從微軟西雅圖總部等地專程趕到比賽現(xiàn)場,并作賽前輔導(dǎo)報告。歷經(jīng)一個月的層層選拔,5月28日至29日,經(jīng)過緊張的24小時不間斷的火熱編程比賽,山東師范大學(xué)傳媒學(xué)院的“Hello World”團(tuán)隊?wèi){借自主研發(fā)的機(jī)器人“締造者”力克群雄,贏得了“微軟下一代人機(jī)交互Hackathon(編程馬拉松)中國區(qū)總決賽”唯一的一等獎。
本次比賽采用“線上+線下”的新穎比賽方式對參賽者的編程能力進(jìn)行全面評測,吸引了全國211支代表隊參賽,包括來自清華大學(xué)、山東大學(xué)、北京郵電大學(xué)、中國傳媒大學(xué)等重點院校的團(tuán)隊,以及眾多IT公司等的企業(yè)團(tuán)隊,可謂群英薈萃??梢哉f,山東師范大學(xué)隊能奪得頭籌實屬不易。
通往成功的路總是不太平。為了這次凱旋,他們一路披荊斬棘,共同克服了許多困難和障礙。
唐玉芳博士2015年畢業(yè)于北京郵電大學(xué)信息與通信工程學(xué)院,獲信號與信息處理專業(yè)博士學(xué)位,同年來山東師范大學(xué)傳媒學(xué)院任教。他的研究方向包括模式識別、機(jī)器學(xué)習(xí)、數(shù)據(jù)挖掘、多媒體信息處理等,近年來在國內(nèi)外學(xué)術(shù)期刊及國際會議發(fā)表EI論文10余篇。研發(fā)團(tuán)隊領(lǐng)隊的重任就落在了這個富有才華的青年教師身上。唐玉芳不敢含糊。他精心選拔了李夢媛、董文浩和姜福琳3位對游戲開發(fā)有濃厚興趣的學(xué)生,組建了第一支研發(fā)團(tuán)隊。團(tuán)隊的第一個項目是研發(fā)一款虛擬與現(xiàn)實融合的kinect體感3D游戲——締造者,這也是他們參加這次微軟組織的大賽的項目。
體感3D游戲開發(fā)對研發(fā)者的藝術(shù)功底和編程能力要求較高。為了順利完成任務(wù),唐玉芳根據(jù)團(tuán)隊成員的性格特點和技術(shù)特長,做了明確的任務(wù)分工,且每個人都有自己的昵稱:唐玉芳自己定位為“管家婆”,主要帶領(lǐng)學(xué)生設(shè)定游戲故事場景,分析技術(shù)難點,把控開發(fā)進(jìn)度。李夢媛性格外向,編程能力較強(qiáng),主要負(fù)責(zé)代碼編寫,是團(tuán)隊的“程序猿”。董文浩性格沉穩(wěn),動手能力較強(qiáng),主要負(fù)責(zé)機(jī)器人開發(fā)事宜,是團(tuán)隊的“電子狗”。姜福琳性格內(nèi)向,美術(shù)功底好,主要負(fù)責(zé)游戲場景建模,號稱團(tuán)隊的“美羊羊”。
攻克技術(shù)難關(guān),研發(fā)新的產(chǎn)品,這些可不像請客吃飯那么輕松愉快。他們在研發(fā)過程中,經(jīng)常會遇到這樣那樣的困難和挑戰(zhàn),有時是措手不及,甚至舉步維艱的。但他們從來沒有氣餒,更沒有想到放棄。他們相互鼓勵,一起學(xué)習(xí),一起度過不眠之夜,一起迎來第一縷曙光。對于“美羊羊”姜福琳而言,游戲場景的反復(fù)變更是個令她備受折磨的問題。開發(fā)過程中,團(tuán)隊成員相互啟發(fā),經(jīng)常碰撞出新的游戲故事情節(jié),這就使得姜福琳要不斷地重新繪制游戲場景。就在大賽前兩天,他們又遇到了挑戰(zhàn):開發(fā)前期,他們使用kinect 1代設(shè)備進(jìn)行體感控制開發(fā);但是,離大賽開始只有兩天的時間了,微軟大賽組委會臨時通知必須使用kinect 2代設(shè)備參加比賽!沒有選擇,李夢媛連續(xù)奮戰(zhàn),兩天一夜沒有合眼,重寫了代碼,保證了團(tuán)隊最終能夠順利參賽。
最嚴(yán)峻的考驗卻是在比賽現(xiàn)場,山師大的參賽選手們體驗到了“心驚肉跳”的滋味。離比賽結(jié)束還有不足一個小時,他們研發(fā)的“締造者”卻不受體感控制,做出了一些匪夷所思的動作:隊員發(fā)出伸手的動作,它卻伸腳;擺出前進(jìn)的動作,它卻原地轉(zhuǎn)圈。當(dāng)時,所有隊員的心提到了嗓子眼,廣播里比賽結(jié)束倒計時的通知更增強(qiáng)了隊員們的緊張情緒。一陣焦慮之后,隊員們安靜了下來,大家互相對視,彼此鼓勵,積極尋求解決的辦法。這時,唐玉芳老師一下站了起來:“室內(nèi)有無線電干擾。和主辦方溝通一下,我們把機(jī)器人拿到賽場外的空地上調(diào)試?!崩顗翩铝⒓聪蛑鬓k方說明了情況。董文浩在賽場外對機(jī)器人進(jìn)行了仔細(xì)檢查,重新對其進(jìn)行編程。整個編程過程中,團(tuán)隊成員焦慮而又滿懷期待的目光都集中在了董文浩身上。編程結(jié)束后,機(jī)器人做出正確動作的一瞬間,團(tuán)隊成員興奮地喊了起來。
山東師范大學(xué)隊研發(fā)的機(jī)器人“締造者”作為一款融合了虛擬與現(xiàn)實的人機(jī)交互應(yīng)用系統(tǒng),使用者可以無需使用鼠標(biāo)和鍵盤等傳統(tǒng)人機(jī)交互設(shè)備,只需站在電腦前做出自然肢體動作,如伸出手臂、走路、跳起等,便可以準(zhǔn)確控制3D場景中的虛擬人物和現(xiàn)實場景中的機(jī)器人,它們會準(zhǔn)確模仿人的肢體動作。這款機(jī)器人以人體動作識別為核心,從虛擬和現(xiàn)實兩方面對機(jī)器人進(jìn)行操作控制,不僅實現(xiàn)了玩家通過自然肢體動作控制3D游戲場景中的虛擬機(jī)器人角色,還能控制現(xiàn)實場景中的實物機(jī)器人,實現(xiàn)了虛擬機(jī)器人和實物機(jī)器人準(zhǔn)確模仿玩家的動作,達(dá)到了虛擬與現(xiàn)實的融合統(tǒng)一。該應(yīng)用系統(tǒng)得到了微軟DX部門技術(shù)顧問的一致好評,認(rèn)為“締造者”不僅可以應(yīng)用在兒童娛樂、智能護(hù)理、危險品排除、特殊環(huán)境救助等日常生活和生產(chǎn)領(lǐng)域,也可以應(yīng)用于宇宙探索中,如火星地質(zhì)探測、月球開發(fā)等未來領(lǐng)域。
此次比賽,山東師范大學(xué)傳媒學(xué)院數(shù)字媒體專業(yè)學(xué)生扎實的基本功、較強(qiáng)的創(chuàng)新能力和良好的團(tuán)隊合作能力受到一致好評。
從目前的發(fā)展趨勢看,機(jī)器人必將像計算機(jī)一樣,徹底改變?nèi)藗兊纳a(chǎn)、生活方式,甚至生存模式?!叭藱C(jī)協(xié)作”這一概念被看作是下一代機(jī)器人必須擁有的屬性。只有先實現(xiàn)“人機(jī)協(xié)作”,才有可能使機(jī)器人的普及這一目標(biāo)成為現(xiàn)實。從這個角度來說,山東師范大學(xué)傳媒學(xué)院數(shù)字媒體系的師生不僅是未來科技的觸摸者,也是未來世界的“締造”者。