于詩瑤 渤海大學(xué)教育科學(xué)學(xué)院

在5G通信網(wǎng)絡(luò)技術(shù)的強力支持下，混合現(xiàn)實技術(shù)成為繼多媒體、計算機(jī)網(wǎng)絡(luò)和仿真技術(shù)之后，各級各類學(xué)校課程教學(xué)實施技術(shù)的又一次重大“革新”。特別是在各類職業(yè)技術(shù)學(xué)校中，利用混合現(xiàn)實技術(shù)創(chuàng)建專業(yè)虛擬實驗室已成為時下國內(nèi)教育領(lǐng)域信息化教學(xué)應(yīng)用發(fā)展的新熱點之一。讓學(xué)生在純粹的沉浸式環(huán)境中，通過聽覺和觸覺的學(xué)習(xí)工具進(jìn)行學(xué)習(xí)，可有效激發(fā)學(xué)生的學(xué)習(xí)動機(jī)和創(chuàng)新興趣，提升學(xué)生的核心素養(yǎng)。

●混合現(xiàn)實技術(shù)的媒體技術(shù)特性

1.混合現(xiàn)實技術(shù)的認(rèn)識

混合現(xiàn)實最初是指“智能硬件之父”—加拿大多倫多大學(xué)的Steve Mann教授提出的介導(dǎo)現(xiàn)實。20世紀(jì)七八十年代，Steve Mann為了增強用戶自身的視覺效果設(shè)計出使眼睛在任何情況下都能夠?qū)χ車h(huán)境一覽無余的可穿戴智能硬件，這被看作是對混合現(xiàn)實技術(shù)的最初探索。虛擬現(xiàn)實技術(shù)從根本上說就是“無中生有”，通過虛擬現(xiàn)實設(shè)備模擬建立一個獨立于現(xiàn)實世界的虛擬空間，同時提供視覺、聽覺、觸覺等多種感官模擬，用戶通過佩戴相應(yīng)的設(shè)備只能感受到虛擬場景的變化，無法看到真實環(huán)境。增強現(xiàn)實技術(shù)則在虛擬現(xiàn)實技術(shù)的基礎(chǔ)上繼續(xù)延伸，將真實世界與虛擬空間結(jié)合，用戶不僅可以感受到現(xiàn)實世界，還可以看到虛擬事物。而混合現(xiàn)實技術(shù)不僅能夠?qū)崿F(xiàn)將虛實場景無縫融合，還能為用戶提供全方位的沉浸式交互環(huán)境，可以最大程度地提高虛實世界的交互效率。

2.混合現(xiàn)實技術(shù)的媒體技術(shù)特性

混合現(xiàn)實技術(shù)具有以下三個顯著的技術(shù)特征：第一，沉浸性?；旌犀F(xiàn)實技術(shù)模糊了虛擬與現(xiàn)實世界的界限，實現(xiàn)了虛實空間的深度融合：①可將真實世界里的各種事物疊加到虛擬數(shù)字空間；②可將虛擬數(shù)字對象疊加到現(xiàn)實世界中，使現(xiàn)實、虛擬和用戶三者自然結(jié)合在一起形成一個“共同體”；③將現(xiàn)實世界與虛擬空間相互疊加，形成混合一體化環(huán)境或空間。第二，實時互動性。混合現(xiàn)實能夠與現(xiàn)實世界之間進(jìn)行即時信息獲取與交互加工處理，具體主要體現(xiàn)在兩個方面：①人與混合場景的交互。依托于傳感技術(shù)，體驗過程中能夠即時感知畫面的震動、變化等多方面的信息反饋，通過觸摸體感等多種方式在現(xiàn)實環(huán)境與虛擬場景間進(jìn)行交互形成有效的信息回路；②混合環(huán)境下人與人的交互?；旌檄h(huán)境能夠提供更豐富有效的人際交流手段，使得互動更加深入、系統(tǒng)。第三，跨域構(gòu)想性。混合現(xiàn)實技術(shù)在實現(xiàn)虛擬與現(xiàn)實深度融合的基礎(chǔ)上，可將發(fā)生在不同時空的場景進(jìn)行耦合，實現(xiàn)異時空場景共存。同樣，處于不同位置的用戶也可借助虛擬影像技術(shù)同時出現(xiàn)在某一虛擬可視化環(huán)境中。

●混合現(xiàn)實技術(shù)的教學(xué)特性分析

1.教學(xué)信息的多維視覺顯示

運用混合現(xiàn)實技術(shù)，開發(fā)者可以針對各階段學(xué)生的不同學(xué)習(xí)需求創(chuàng)建多種全息教學(xué)內(nèi)容，讓學(xué)生在沉浸式的互動體驗中完成知識的學(xué)習(xí)。這種新穎的教學(xué)方式一方面易于提高學(xué)生的學(xué)習(xí)熱情和學(xué)習(xí)動機(jī)，另一方面可將一些復(fù)雜知識點形象地展現(xiàn)出來，加深學(xué)生對學(xué)習(xí)內(nèi)容的理解與應(yīng)用。同時，混合現(xiàn)實技術(shù)可以促進(jìn)傳統(tǒng)教學(xué)活動結(jié)構(gòu)的開放型發(fā)展，促進(jìn)課堂教學(xué)資源的有效合理配置和教學(xué)方式的積極轉(zhuǎn)變，實現(xiàn)面向?qū)W生高階思維能力培養(yǎng)的教育新變遷。[1]

2.教學(xué)體驗的深度沉浸性

混合現(xiàn)實技術(shù)不僅能夠?qū)崿F(xiàn)虛擬世界與現(xiàn)實世界的無縫連接，還能夠模擬建構(gòu)多重感覺通道，并將學(xué)生的感覺延伸到新創(chuàng)造的學(xué)習(xí)場景中。這種場景能夠充分調(diào)動學(xué)生的視覺、聽覺、觸覺甚至嗅覺等感官，不僅可以有效提升學(xué)生的沉浸體驗感，而且能夠幫助學(xué)生快速進(jìn)入學(xué)習(xí)狀態(tài)，促進(jìn)其認(rèn)知思維發(fā)展。利用實時計算、多傳感器信息融合以及三維建模等人機(jī)交互技術(shù)，將現(xiàn)實世界與虛擬世界有機(jī)融合，使學(xué)生在感受虛擬世界的同時也能感受到真實物體，從而獲得一種超越現(xiàn)實的沉浸感和真實感。[2]

3.教學(xué)交互活動的自然性

混合現(xiàn)實技術(shù)將傳統(tǒng)的虛擬現(xiàn)實技術(shù)與增強現(xiàn)實技術(shù)二者的優(yōu)勢相結(jié)合，使學(xué)生雖置身于虛擬環(huán)境中也能夠與真實世界實現(xiàn)互動。同時，在擴(kuò)展設(shè)備的支持下，混合現(xiàn)實環(huán)境還允許學(xué)生使用手勢、體感、凝視和觸控等自然交互方式與物理或數(shù)字對象進(jìn)行互動，并能夠及時提供多種反饋。[3]這種可視化的互動，不僅實現(xiàn)了用戶與混合現(xiàn)實場景的深度交互，而且對學(xué)生認(rèn)知水平的提升具有明顯的促進(jìn)作用。此外，基于混合現(xiàn)實技術(shù)構(gòu)建的虛擬學(xué)習(xí)空間能夠同時呈現(xiàn)在不同的學(xué)生面前，且能夠在網(wǎng)絡(luò)技術(shù)的支持下實現(xiàn)多人互動以及實時分享。

●混合現(xiàn)實技術(shù)的教學(xué)應(yīng)用場景

1.智慧校園數(shù)據(jù)的可視化呈現(xiàn)

智慧校園的可視化管理是對校園內(nèi)的空間位置數(shù)據(jù)進(jìn)行采集并與業(yè)務(wù)屬性數(shù)據(jù)進(jìn)行關(guān)聯(lián)，再結(jié)合校園的管理、生活、科研和服務(wù)的實際需要，實現(xiàn)靜動態(tài)數(shù)據(jù)接入和呈現(xiàn)的技術(shù)。[4]目前，在智慧校園數(shù)據(jù)的可視化方面主要的應(yīng)用場景有以下四個：①校園全場景漫游，即利用三維可視化技術(shù)，通過對校園內(nèi)的建筑、道路、綠化等進(jìn)行1∶1三維建模，仿真還原園區(qū)整體情況；②設(shè)備管理可視系統(tǒng)，主要包括供水監(jiān)管信息系統(tǒng)、供氣監(jiān)管信息系統(tǒng)等功能的可視化；③三維安防監(jiān)控管理可視系統(tǒng)，支持集成視頻監(jiān)控系統(tǒng)、電子巡更系統(tǒng)、卡口系統(tǒng)等校園安全防范管理系統(tǒng)數(shù)據(jù)，對校內(nèi)的重點部位、車輛、告警事件等要素進(jìn)行實時監(jiān)測，支持安防報警事件快速顯示定位，實時調(diào)取事件周邊監(jiān)控視頻，輔助管理者有效提升校園安全管控效力；④能源管理可視化，三維立體展現(xiàn)校園內(nèi)的各能源管網(wǎng)數(shù)據(jù)，消耗情況一目了然，不僅具有強大的數(shù)據(jù)分析和報警功能，可生成各種專業(yè)報表，而且還能進(jìn)行遠(yuǎn)程操控。

2.職業(yè)技能或操作能力的虛擬仿真培訓(xùn)

混合現(xiàn)實技術(shù)可以將培訓(xùn)教學(xué)中操作復(fù)雜的內(nèi)容虛擬化，同時隨機(jī)與教學(xué)現(xiàn)場環(huán)境和實物疊加起來，通過虛實結(jié)合的方式輔助學(xué)生明晰并掌握具體操作方法，且虛擬化的培訓(xùn)內(nèi)容能夠支持反復(fù)播放，滿足學(xué)生獨立學(xué)習(xí)的需求。利用混合現(xiàn)實技術(shù)將需要進(jìn)行虛擬仿真的重點實驗內(nèi)容，逼真、可操作、能協(xié)同地呈現(xiàn)出來，幫助學(xué)生跨過傳統(tǒng)的實驗與實踐之間認(rèn)知差別的鴻溝，讓學(xué)生在課堂學(xué)習(xí)的過程中就能認(rèn)識、理解并最終學(xué)會需要掌握的專業(yè)技能。[5]相應(yīng)的具體教育應(yīng)用場景有：①教學(xué)認(rèn)知。教學(xué)認(rèn)知包含文化認(rèn)知、專業(yè)基礎(chǔ)知識認(rèn)知、專業(yè)設(shè)備技能認(rèn)知等。文化認(rèn)知主要是對系統(tǒng)的相關(guān)歷史、主要技術(shù)說明等進(jìn)行認(rèn)知學(xué)習(xí)；專業(yè)基礎(chǔ)知識認(rèn)知則主要涵蓋整體認(rèn)知、結(jié)構(gòu)部件認(rèn)知等；專業(yè)設(shè)備技能認(rèn)知主要涵蓋專業(yè)設(shè)備正常使用及維修相關(guān)的認(rèn)知。②實訓(xùn)演練。實訓(xùn)演練是指學(xué)生根據(jù)流程列表與系統(tǒng)提示，進(jìn)行各模塊實訓(xùn)操作。③考核模擬?？己四M主要包含理論考核、認(rèn)知考核與實操考核。理論考核類似機(jī)考筆試；認(rèn)知考核主要考核設(shè)備工具的認(rèn)知；實操考核是在沒有任何系統(tǒng)提示的情況下，進(jìn)行流程操作，并可以自動評分。④后臺管理。后臺管理系統(tǒng)包括用戶管理、課程管理和考核管理等。用戶管理功能包含用戶賬號分配、用戶權(quán)限管理等；課程管理包含資料設(shè)定、實訓(xùn)流程資料設(shè)定等；考核管理包含考核分?jǐn)?shù)設(shè)定與考核時間設(shè)定。

3.混合現(xiàn)實課堂教學(xué)

利用混合現(xiàn)實設(shè)備可將教師、學(xué)生和課堂環(huán)境與虛擬教具或虛擬場景環(huán)境融合在一起，打造出一個嶄新的混合現(xiàn)實課堂，營造出超現(xiàn)實的學(xué)習(xí)環(huán)境?；旌犀F(xiàn)實課堂作為教育中的新實踐，將為課堂教學(xué)質(zhì)量帶來巨大的提升，釋放學(xué)生無盡想象和動手創(chuàng)新實踐潛能。首先，可以形成師生互動。虛擬場景和現(xiàn)實場景融合，教師和學(xué)生可以一起“圍觀”虛擬教具，并對虛擬教具進(jìn)行講解、提問和回答，開展深度的互動交流。其次，可提供更優(yōu)異的學(xué)習(xí)體驗和有效的深度學(xué)習(xí)。在全息影像的幫助下，學(xué)生使用混合現(xiàn)實課堂提供的智能數(shù)字助理，可以隨時展開自主學(xué)習(xí)，更好地理解各抽象知識點。數(shù)字助理可以隨著3D全息影像和場景變化進(jìn)行實時講解，學(xué)生可以用自然語音與之對話，以往枯燥的學(xué)習(xí)過程由此轉(zhuǎn)變?yōu)殡p向主動互動，學(xué)生的學(xué)習(xí)體驗更好，過程更輕松，效率更高。再次，混合現(xiàn)實課堂全面提升了校園創(chuàng)新水平，虛擬教具、虛擬場景和同步全息教學(xué)講解等功能的應(yīng)用既開創(chuàng)了全新的教學(xué)方式，也提升了學(xué)校的差異性。最后，利用專為課堂定制研發(fā)的混合現(xiàn)實教學(xué)內(nèi)容，學(xué)生和教師能夠跨越認(rèn)知差異限制，在同一視覺語境中交流。教師借助混合現(xiàn)實設(shè)備將不同場景下的工作環(huán)境帶入課堂并轉(zhuǎn)化為課程內(nèi)容，讓學(xué)生提前感知。學(xué)生在學(xué)習(xí)和工作場景中遇到的問題也可通過混合現(xiàn)實設(shè)備隨時向教師尋求幫助和指導(dǎo)。更為重要的是，基于精確學(xué)習(xí)分析技術(shù)，無論是教學(xué)過程還是學(xué)習(xí)過程都可做到精準(zhǔn)化分析與個性化支持。

總之，混合現(xiàn)實技術(shù)是指在用戶對現(xiàn)實世界正常感知的基礎(chǔ)上，建立虛擬世界與現(xiàn)實世界的交互反饋回路，并利用傳感技術(shù)、圖像技術(shù)和可視化穿戴設(shè)備等相關(guān)技術(shù)和設(shè)備，創(chuàng)造出虛擬對象與物理對象共存的新的可視化環(huán)境?；旌犀F(xiàn)實技術(shù)不但能夠使數(shù)字對象融入現(xiàn)實世界，而且還可以將真實對象的虛擬化身疊加到虛擬環(huán)境中，使虛擬與現(xiàn)實世界深度融合，從而形成有機(jī)的統(tǒng)一體?；诨旌犀F(xiàn)實技術(shù)的教學(xué)已經(jīng)成為加強實踐教學(xué)、提高教學(xué)質(zhì)量的重要手段，是傳統(tǒng)教學(xué)模式的有效補充，能夠進(jìn)一步確保教學(xué)的高效化和精準(zhǔn)化。