陳林琳

基金項(xiàng)目：2018年度南通市級(jí)基礎(chǔ)科學(xué)研究項(xiàng)目：基于機(jī)器視覺(jué)的農(nóng)產(chǎn)品三維形貌重建技術(shù)研究（JC2018135）

摘要：結(jié)合微軟HoloLens，在大數(shù)據(jù)可視化中詳細(xì)介紹了混合現(xiàn)實(shí)的應(yīng)用模式，混合現(xiàn)實(shí)設(shè)備通過(guò)使用第三方透視功能，使只能出現(xiàn)在電影中的場(chǎng)景變成了一種新的數(shù)據(jù)顯示方式和用戶新的視覺(jué)體驗(yàn)，不穿全息線的用戶也可以有同樣的光學(xué)效果。

關(guān)鍵詞：混合現(xiàn)實(shí)技術(shù);大數(shù)據(jù);可視化

中圖分類號(hào)：TP311.13;TP391.9文獻(xiàn)標(biāo)識(shí)碼：A文章編號(hào)：1672-9129（2020）14-0134-02

引言：大數(shù)據(jù)時(shí)代背景下，人們利用計(jì)算機(jī)技術(shù)處理高效舒適的數(shù)據(jù)，信息處理水平也在日益提高。但是，它在顯示結(jié)果的方式上是相對(duì)可逆的，只涉及圖形、動(dòng)畫等形式;它的表達(dá)能力是有限的，不能相互作用，使得大數(shù)據(jù)的價(jià)值無(wú)法通過(guò)現(xiàn)實(shí)技術(shù)驗(yàn)證來(lái)體現(xiàn)技術(shù)增強(qiáng)顯示和混合現(xiàn)實(shí)技術(shù)支持大數(shù)據(jù)顯示。

1AR簡(jiǎn)介

在20世紀(jì)80年代末，Jaron Lanier正式使用了“虛擬現(xiàn)實(shí)”一詞，并得到廣泛認(rèn)可。定義虛擬現(xiàn)實(shí)（VR），它的意思是：一個(gè)計(jì)算機(jī)生成的三維仿真環(huán)境，混合了視覺(jué)、聽覺(jué)甚至觸覺(jué)，人們?cè)谄渲羞M(jìn)行研究和互動(dòng)。這是一個(gè)沉浸式仿真環(huán)境。除此之外，虛擬現(xiàn)實(shí)將從2000年的計(jì)算器和智能手機(jī)變得越來(lái)越強(qiáng)大，高清顯示和三維圖像功能急劇增加，虛擬現(xiàn)實(shí)得到了迅速發(fā)展。各種頭戴式顯示器相繼問(wèn)世，使得虛擬現(xiàn)實(shí)技術(shù)得到了迅速發(fā)展，知名人士設(shè)備有Google Papp、三星Galaxy Gang、Oculus Rift、HTC Vive等。由于云計(jì)算的發(fā)展，近年來(lái)虛擬現(xiàn)實(shí)應(yīng)用都是基于云的。早期已知的AR設(shè)備是谷歌眼鏡，它允許用戶在自己的視野范圍內(nèi)使用地圖、電子郵件和其他服務(wù)?，F(xiàn)在有很多支持AR的移動(dòng)應(yīng)用程序，通常是卡片應(yīng)用程序。混合現(xiàn)實(shí)（MR）是一種基于虛擬現(xiàn)實(shí)和擴(kuò)展現(xiàn)實(shí)的數(shù)字全息成像技術(shù)。它打破了現(xiàn)實(shí)世界和數(shù)字世界的界限。在潛水技術(shù)的幫助下，她將兩者融合到一個(gè)新的環(huán)境中，包括虛擬現(xiàn)實(shí)和擴(kuò)展現(xiàn)實(shí)。先生在環(huán)境識(shí)別方面比AR更先進(jìn)。不僅是將虛擬圖像轉(zhuǎn)換為攝像機(jī)圖像，同時(shí)也將計(jì)算機(jī)生成的圖像錨定在現(xiàn)實(shí)世界的某個(gè)點(diǎn)上?？梢哉f(shuō)AR先生是，有人把AR和紳士歸為同一類。微軟是HoloLens被定位為MR，并聲稱它將只專注于其他知名產(chǎn)品，比如剛剛于2018年8月開始訂購(gòu)的初創(chuàng)公司Magic Jump。隨著虛擬現(xiàn)實(shí)技術(shù)的發(fā)展，虛擬現(xiàn)實(shí)技術(shù)正在成為主流[1]。

與虛擬現(xiàn)實(shí)相比，AR/MR的最大優(yōu)勢(shì)在于其靈活性。如果你使用虛擬現(xiàn)實(shí)，你完全沉浸在另一個(gè)世界里，很難用真實(shí)的世界進(jìn)行互動(dòng)。增強(qiáng)現(xiàn)實(shí)主要有三種顯示方式：頭盔顯示器（HMD）、投影顯示和表格顯示。頭盔顯示器是最受歡迎的。

AR-MR系統(tǒng)的組成，包括傳輸HMD、環(huán)境感知模塊、交互設(shè)備和虛擬場(chǎng)景制作，以Microsoft Holodenset為例，傳輸HMD負(fù)責(zé)虛擬與現(xiàn)實(shí)融合后的信號(hào)輸出;環(huán)境感知模塊負(fù)責(zé)混合現(xiàn)實(shí)的檢測(cè)和用戶感知信號(hào)的跟蹤;交互設(shè)備負(fù)責(zé)環(huán)境控制和眼睛跟蹤、手勢(shì)和語(yǔ)音控制;虛擬場(chǎng)景制作負(fù)責(zé)三維建模、渲染和管理虛擬場(chǎng)景[2]。有三個(gè)處理器，一個(gè)是傳統(tǒng)的CPU和GPU，另一個(gè)是專門為混合現(xiàn)實(shí)設(shè)計(jì)的HPU（全息處理單元）;IMU（慣性測(cè)量單元）用于跟蹤直升飛機(jī)的位置。

2常見應(yīng)用場(chǎng)景

隨著AR項(xiàng)目和AR初創(chuàng)公司的大量資金投入，谷歌、蘋果、微軟、高通和佳能等IT巨頭開始展示AR和MR以及他們自己的AR-MR生態(tài)系統(tǒng)第一批消費(fèi)品已經(jīng)如雨后春筍般涌現(xiàn)。

（1）工業(yè)計(jì)算機(jī)廣泛應(yīng)用于產(chǎn)品開發(fā)中，常見的系統(tǒng)有：計(jì)算機(jī)輔助設(shè)計(jì)（CAD）、計(jì)算機(jī)輔助制造（CAM）、計(jì)算機(jī)輔助裝配規(guī)劃，AR技術(shù)的應(yīng)用大大提高了CAD/CAM的處理能力。

（2）2015年任天堂出版的游戲軟件巨頭Pokemon Go將AR技術(shù)應(yīng)用到游戲領(lǐng)域，通過(guò)手機(jī)發(fā)現(xiàn)并捕捉現(xiàn)實(shí)世界中的虛擬幽靈，并以其卓越的創(chuàng)新取得了巨大成功。

（3）旅游/數(shù)字網(wǎng)站將旅游景點(diǎn)數(shù)字化，以AR的形式展現(xiàn)其魅力，如2006年北京理工大學(xué)王永田等人提出利用增強(qiáng)現(xiàn)實(shí)技術(shù)對(duì)圓明園進(jìn)行數(shù)字化，實(shí)現(xiàn)圓明園的重建，而舊式的圓明園通過(guò)原有網(wǎng)站、移動(dòng)設(shè)備AR、頭盔安裝AR等多種形式，在場(chǎng)館方面，AR技術(shù)可以成為讀者的私人助理和館員的得力助手，提高他們的工作效率信息展示的新階段。應(yīng)用實(shí)例當(dāng)讀者使用AR設(shè)備觀察書籍、景點(diǎn)、歷史遺址和其他增強(qiáng)材料時(shí)，將提供相關(guān)信息，如書目、視聽資料。它還可以幫助讀者（管理員）找到書籍并導(dǎo)航到用戶所在的位置。

（4）在汽車領(lǐng)軍城市g(shù)tc2016開發(fā)者大會(huì)上，德國(guó)馬牌展示了AR-AR增強(qiáng)現(xiàn)實(shí)技術(shù)在汽車領(lǐng)域的新應(yīng)用。前盤顯示人機(jī)界面，計(jì)算機(jī)根據(jù)實(shí)際場(chǎng)景工程實(shí)時(shí)向硬盤發(fā)送信息。駕駛員所看到的速度、路線和交通狀況等信息與自然環(huán)境（如路面和建筑）有關(guān)。通過(guò)交互，駕駛體驗(yàn)顯著提高。

3相關(guān)概念

數(shù)據(jù)可視化：對(duì)數(shù)據(jù)進(jìn)行可視化表示的科學(xué)技術(shù)研究;可視化表示是指將某種概括形式的數(shù)據(jù)提取為信息，并以形式、顏色、運(yùn)動(dòng)和其他感官元素的形式來(lái)表示信息，以便高效、準(zhǔn)確地向交流;相應(yīng)信息的不同特征和變量之間的關(guān)系應(yīng)包括;或數(shù)據(jù)可以視圖的形式呈現(xiàn)，以尊重與圖形有關(guān)的規(guī)律和模式。

它是一個(gè)不斷演化的概念，它在不斷地拓展自己的邊界，主要解決的是更高層次的技術(shù)方法，這些技術(shù)方法通過(guò)圖形、圖像處理、計(jì)算機(jī)視圖和用戶界面，通過(guò)實(shí)體、表面、特征和動(dòng)感的表達(dá)，將模型與其他特定的模型進(jìn)行比較實(shí)體和技術(shù)，包括數(shù)據(jù)視圖中的許多技術(shù)方法。

數(shù)據(jù)挖掘可視化：將數(shù)據(jù)域中的值映射到圖域編號(hào)，直到在一定程度上可以高效、準(zhǔn)確地將數(shù)據(jù)描述在圖形上，包括數(shù)據(jù)采集、數(shù)據(jù)集成、ETL（數(shù)據(jù)準(zhǔn)備、數(shù)據(jù)映射）、分析與挖掘、接收卡、動(dòng)畫效果、視覺(jué)交互等，機(jī)械模擬等。

混合現(xiàn)實(shí)：它是虛擬現(xiàn)實(shí)和擴(kuò)展的現(xiàn)實(shí)技術(shù)的進(jìn)一步發(fā)展。這種技術(shù)將真實(shí)的信息放在虛擬世界中，在虛擬世界、現(xiàn)實(shí)世界和用戶之間建立一個(gè)互動(dòng)的信息循環(huán)，提高用戶體驗(yàn)的真實(shí)性。HoloLens是微軟開發(fā)的，混合的，基于現(xiàn)實(shí)的便攜式計(jì)算機(jī)，它也是最好的混合現(xiàn)實(shí)設(shè)備。

4傳統(tǒng)數(shù)據(jù)可視化

主要采用圖形、動(dòng)畫等傳統(tǒng)的方式來(lái)查看數(shù)據(jù)，提供信息顯示。在圖表中加入背景音樂(lè)和一些簡(jiǎn)單的互動(dòng)，為動(dòng)畫生成提供一些簡(jiǎn)單的交互，其缺陷在于，傳統(tǒng)的圖形顯示只能使用二維圖形，雖然可以在圖形中添加陰影使其看起來(lái)像三維圖形，但效果仍然是傳統(tǒng)動(dòng)畫用于數(shù)據(jù)可視化，但它不見了交互性;此外，傳統(tǒng)的數(shù)據(jù)可視化常常存在這樣的問(wèn)題：數(shù)據(jù)無(wú)法實(shí)時(shí)更新。基于數(shù)據(jù)的可視化包括：繪圖后不要用給定的數(shù)據(jù)更新圖形。實(shí)時(shí)查看數(shù)據(jù)需要復(fù)雜的功能和高工作負(fù)載來(lái)支持。目前，通用的數(shù)據(jù)實(shí)時(shí)可視化系統(tǒng)是監(jiān)控室的大型顯示系統(tǒng)。

5混合現(xiàn)實(shí)技術(shù)在大數(shù)據(jù)可視化中的應(yīng)用

5.1實(shí)現(xiàn)大數(shù)據(jù)的三維模型表示。在混合現(xiàn)實(shí)技術(shù)的幫助下，數(shù)據(jù)可視化的結(jié)果大多是多樣化的，大數(shù)據(jù)以三維模型的形式顯示，如圓柱體、開普勒、管圖、網(wǎng)格陣列、三維散射圖等。數(shù)據(jù)將顯示在人們面前。此外，這些模型可以像積木一樣堆疊起來(lái)。每個(gè)模型都可以配置自己的屬性。為了區(qū)分它們，可以填寫不同的顏色，并可以單獨(dú)設(shè)置材質(zhì)卡，使模型和平面有一定的顏色、亮度、自發(fā)光和天花板的功率顯示出來(lái)。以2018年博鰲亞洲論壇為例，以網(wǎng)格陣列的形式展示移動(dòng)通信數(shù)據(jù)。業(yè)務(wù)量值的大小直接反映在立方體護(hù)套中，信號(hào)質(zhì)量直接反映在反射的顏色中。但除了實(shí)時(shí)采集數(shù)據(jù)外，采用調(diào)用接口的方式獲取JSON格式的數(shù)據(jù)，根據(jù)寬度和長(zhǎng)度，確定網(wǎng)格數(shù)組的具體分布情況，觀眾可以直接查看詳細(xì)的網(wǎng)格數(shù)據(jù)并點(diǎn)擊網(wǎng)格，對(duì)相應(yīng)的數(shù)據(jù)進(jìn)行研究，應(yīng)用混合現(xiàn)實(shí)技術(shù)在三維模型中顯示大數(shù)據(jù)目前比較成熟，在一些大公司中運(yùn)用相關(guān)技術(shù)來(lái)顯示銷售數(shù)據(jù)，并且主持人可以根據(jù)不同的時(shí)間代表不同產(chǎn)品的三維表現(xiàn)為了展覽的目的。該模型旨在為參與者提供不同時(shí)期不同產(chǎn)品的銷售情況，以制定切實(shí)可行的銷售策略，優(yōu)化企業(yè)的經(jīng)營(yíng)效率。

5.2數(shù)據(jù)顯示無(wú)空間限制。目前最好的混合現(xiàn)實(shí)技術(shù)HoloLens設(shè)備，微軟的混合現(xiàn)實(shí)耳機(jī)便攜式計(jì)算機(jī)這是一個(gè)設(shè)備可以有數(shù)據(jù)可視化功能，把數(shù)據(jù)放在任何真實(shí)的空間位置和空間抓取功能，它可以在墻上顯示數(shù)據(jù)場(chǎng)，把數(shù)據(jù)模型放在桌面上，還可以存儲(chǔ)數(shù)據(jù)桌面。根據(jù)保存的顯示級(jí)別，很容易再討論打開。受系統(tǒng)限制，只支持HoloLens的SQLite數(shù)據(jù)：庫(kù)，并且只能本地存儲(chǔ)光數(shù)據(jù)并操作。不過(guò)，這臺(tái)設(shè)備可以通過(guò)接口連接到數(shù)據(jù)庫(kù)服務(wù)器，到一個(gè)數(shù)據(jù)交互到ENS的主要優(yōu)點(diǎn)是它的便攜性。用戶可以訪問(wèn)無(wú)空間限制的數(shù)據(jù)顯示。只要有網(wǎng)絡(luò)，就可以隨時(shí)把實(shí)時(shí)數(shù)據(jù)移到地面上看。在虛擬場(chǎng)景中，他們可以在三維模型下構(gòu)建和移動(dòng)，對(duì)于來(lái)自不同區(qū)域的交互式數(shù)據(jù)，他們還可以根據(jù)時(shí)間軸顯示數(shù)據(jù)，這適合于觀察數(shù)據(jù)的發(fā)展規(guī)律和類型。

5.3用戶與數(shù)據(jù)的豐富交互。最原始的計(jì)算機(jī)控制是鍵盤和鼠標(biāo)，而全封閉系統(tǒng)的發(fā)展破壞了這種操作模式，使得人們通過(guò)手勢(shì)和聲音來(lái)控制計(jì)算機(jī)。在可視化過(guò)程中，人們可以通過(guò)點(diǎn)擊、旋轉(zhuǎn)、拖動(dòng)、縮放等操作來(lái)使用數(shù)據(jù)模型，例如，當(dāng)你點(diǎn)擊數(shù)據(jù)模型時(shí)，會(huì)出現(xiàn)一個(gè)更詳細(xì)的數(shù)據(jù)字段或子數(shù)據(jù)模塊。只需張開嘴就可以根據(jù)自己的需要來(lái)操縱。想要關(guān)閉一個(gè)窗口，你可以關(guān)閉按鈕并說(shuō)“關(guān)閉”，當(dāng)前窗口將直接關(guān)閉。隨著混合現(xiàn)實(shí)技術(shù)的發(fā)展，提高了可視化數(shù)據(jù)程序的交互功能，使數(shù)據(jù)的呈現(xiàn)更加有趣和實(shí)用。

5.4前所未有的展示效果。在對(duì)大數(shù)據(jù)進(jìn)行可視化時(shí)，HoloLens可以根據(jù)顯示要求在數(shù)據(jù)中添加3D文本、炫目色彩、粒子效果等效果，使數(shù)據(jù)模型更加有效。它生動(dòng)活潑，具有較強(qiáng)的科技意識(shí)，增強(qiáng)了對(duì)虛擬世界的替代感和沉浸感。單憑這一點(diǎn)，許多大型視覺(jué)屏幕的全息電影就顯得格外突出。還有全息透鏡。數(shù)據(jù)更新速度更快，可以達(dá)到幀的精細(xì)更新速度，支持多人協(xié)作功能。不同的人在同一時(shí)間穿全息線可以看到同一個(gè)領(lǐng)域，而數(shù)據(jù)可視化的結(jié)果是一個(gè)人操作，與其他用戶同步，非常實(shí)用。利用微軟提供的遠(yuǎn)程可視化技術(shù)，可以實(shí)現(xiàn)遠(yuǎn)程可視化，并可借助微軟的遠(yuǎn)程設(shè)備輔助用戶查看數(shù)據(jù)，討論數(shù)據(jù)呈現(xiàn)問(wèn)題，提出合理的解決方案，在高端會(huì)議中具有較高的應(yīng)用價(jià)值。

5.5第三方透視功能的實(shí)現(xiàn)。HoloLens是一款小巧便攜的混合現(xiàn)實(shí)技術(shù)設(shè)備，能為用戶提供獨(dú)特的視覺(jué)體驗(yàn)。然而，沒(méi)有全息圖的觀眾無(wú)法看到虛擬場(chǎng)景。如果他們想觀看，他們只能在顯示屏和大屏幕上同步顯示內(nèi)部的HoloLens，以便在用戶之間提供信息共享。借助于HoloLens允許用戶在瀏覽器顯示中實(shí)時(shí)查看場(chǎng)景。這種瀏覽方法叫做第一視圖，這是非常實(shí)用的。但是，第一次觀看視頻的定義只有720p，而且有明顯的視頻間隙，只適合自己顯示，不適合外部顯示。為了解決第一視角的問(wèn)題，微軟之前正式打出了第三視角的解決方案。這個(gè)解決方案需要更多的錢來(lái)制造高質(zhì)量的筆記本電腦，專業(yè)相機(jī)，購(gòu)買錄像機(jī)卡和硬件，如3D打印架和HoloLens相機(jī)驅(qū)動(dòng)器。同時(shí)，由于它只能支持30分鐘的視頻，因此不能長(zhǎng)時(shí)間使用該攝像頭來(lái)提供第三方視角演示。如果受挫后，叫停了技術(shù)人員，終于找到了解決辦法，借助外置攝像頭帶USB接口的透視功能來(lái)實(shí)現(xiàn)第三方的透視功能。

6結(jié)語(yǔ)

數(shù)據(jù)可視化的初衷是利用更容易理解和記憶的圖形來(lái)增加數(shù)據(jù)的可讀性，使交流更簡(jiǎn)單、更順暢，全息攝影可以像科幻小說(shuō)一樣生動(dòng)有趣。全息鏡頭從一開始就是一個(gè)傳奇，它的出生有各種不可能的場(chǎng)景讓它成真吧。不僅僅是揚(yáng)棄了傳統(tǒng)的可視化數(shù)據(jù)方式，并將在未來(lái)提供更多的行業(yè)。

參考文獻(xiàn)：

[1]張開法.混合現(xiàn)實(shí)技術(shù)在大數(shù)據(jù)可視化中的應(yīng)用[J].電腦編程技巧與維護(hù)， 2019， 000（004）：84-86.

[2]史啟民， 李東輝， 何鵬.大數(shù)據(jù)可視化技術(shù)在智能化行業(yè)中的應(yīng)用[J].電腦迷， 2017， 000（030）：48.