王 恒, 王 英, 柳 麗, 鄭文龍, 俞宋科, 王 雨

基于增強現(xiàn)實的物體運動仿真設(shè)計與實現(xiàn)

王 恒, 王 英*, 柳 麗, 鄭文龍, 俞宋科, 王 雨

（寧波大學(xué) 機械工程與力學(xué)學(xué)院, 浙江 寧波 315211）

針對如何在增強現(xiàn)實(Augmented Reality, AR)的虛擬環(huán)境中體現(xiàn)物體運動仿真時運動學(xué)與動力學(xué)特性的問題, 設(shè)計了一套將AR技術(shù)與物體運動仿真集成, 通過模型建立、標(biāo)記物注冊、運動仿真交互控制、增強場景實時渲染等步驟設(shè)計物體AR運動仿真系統(tǒng). 該系統(tǒng)由運動學(xué)仿真模塊和動力學(xué)仿真模塊組成. 運動學(xué)仿真模塊的設(shè)計和實現(xiàn)以剛體繞定軸轉(zhuǎn)動和平面四桿機構(gòu)的幾何運動為例, 通過移動標(biāo)記物進行運動學(xué)仿真的交互控制. 動力學(xué)仿真模塊的設(shè)計和實現(xiàn)以曲柄滑塊機構(gòu)慣性運動為例, 通過改變輸入?yún)?shù)進行動力學(xué)仿真控制. 最后以機械類課程教學(xué)中平面四桿機構(gòu)急回特性學(xué)習(xí)和曲柄滑塊機構(gòu)動力學(xué)方程求解為例進行實際應(yīng)用. 結(jié)果表明, AR運動仿真系統(tǒng)提供了直觀的高交互操作運動學(xué)與動力學(xué)仿真環(huán)境, 通過可視化能幫助學(xué)生理解相關(guān)的理論知識, 進而實現(xiàn)虛實融合的智慧化運動仿真教學(xué).

增強現(xiàn)實; 仿真; 運動學(xué); 動力學(xué)

運動仿真是了解物體運動原理、分析設(shè)計并確定物體運動學(xué)與動力學(xué)性能的重要工具[1]. 它可以提供運動裝置的所有零部件的運動學(xué)性能(包括位移、速度與加速度)和動力學(xué)性能(包括驅(qū)動力、反饋力、慣性力和功率)等信息. 借助Solid Works、UG、ADAMS[2]等軟件即可創(chuàng)建三維物體仿真, 但這些運動仿真依賴桌面虛擬環(huán)境, 缺少與真實場景的關(guān)聯(lián)性, 不能直觀有效地表達仿真信息, 且交互方式以鼠標(biāo)和鍵盤為主. 因此, 建立更加直觀、高交互操作的運動仿真新形式十分必要.

增強現(xiàn)實(Augmented Reality, AR)是一種將計算機生成的虛擬信息精準地疊加在真實環(huán)境中的技術(shù)[3-6], 能夠提供虛實融合的人機交互體驗, 該技術(shù)已廣泛應(yīng)用于醫(yī)學(xué)[7]、軍事[8]、機械[9]、建筑[10]等領(lǐng)域, 并已開發(fā)了多種不同類型的AR仿真系統(tǒng). 如Logg等[11]研究了AR環(huán)境下物理系統(tǒng)有限元模擬仿真, 通過Microsoft HoloLens掃描周圍環(huán)境并自動創(chuàng)建有限元離散化來模擬現(xiàn)實中的幾何物理現(xiàn)象; Coelho等[12]利用AR技術(shù)將虛擬模型與激光打印的病患模型進行混合仿真, 用于矯正異味性顱腦前突的外科手術(shù)重塑, 為神經(jīng)外科醫(yī)生提供了有效的培訓(xùn)環(huán)境; 王偉明等[13]設(shè)計了軌道車輛的AR仿真系統(tǒng), 該系統(tǒng)憑少量設(shè)備與紙質(zhì)標(biāo)記物即可進行軌道車輛調(diào)度的模擬仿真; 劉子俊等[14]研發(fā)了智能變電站運維AR仿真系統(tǒng), 通過虛實融合指導(dǎo)無經(jīng)驗的維修人員進行維修操作, 給維修人員提供了高效的訓(xùn)練環(huán)境. 但這些AR仿真系統(tǒng)中物體的運動局限于使物體動起來, 達到觀看的效果, 難以體現(xiàn)物體的運動學(xué)與動力學(xué)特性.

本文將AR技術(shù)與物體運動仿真集成, 實現(xiàn)運動學(xué)和動力學(xué)仿真信息與真實環(huán)境的疊加. 同時提供多種交互方式, 實時控制物體運動仿真過程, 并將其應(yīng)用于教學(xué)中, 實現(xiàn)了虛實融合的智慧化運動仿真教學(xué)新形式.

1 AR與運動仿真集成方案設(shè)計

研究物體運動的方法可分為運動學(xué)和動力學(xué), 運動學(xué)運用幾何學(xué)的方法來研究物體的運動, 通常不考慮力和質(zhì)量等因素的影響; 動力學(xué)研究物體的力與運動之間的關(guān)系. 因此, AR運動仿真系統(tǒng)包括運動學(xué)仿真和動力學(xué)仿真2個模塊.

在AR環(huán)境中進行物體運動仿真, 首先將初始參數(shù)的運動仿真結(jié)果投射到真實場景中, 然后采用移動標(biāo)記物或手動輸入的方式更改仿真參數(shù). 實時運算運動仿真方程, 實時更改模擬仿真結(jié)果, 以呈現(xiàn)快速更新的仿真場景.

圖1為本文開發(fā)的AR運動仿真系統(tǒng)流程. 采用Vuforia6.2[15-16]開發(fā)工具包, 以手機為載體, 開發(fā)平臺為Unity3D[17], 將攝像頭捕捉到的真實物體與計算機生成的虛擬物體進行匹配, 即跟蹤注冊.

圖1 AR運動仿真系統(tǒng)流程

圖2為實施過程. 仿真前做好模型建立、初始參數(shù)設(shè)定、基于標(biāo)記物交互控制等工作, 使該方式具有運動仿真反應(yīng)迅速、交互性高等優(yōu)點.

圖2 AR運動仿真系統(tǒng)實施過程

具體可以分為4個步驟: (1)在模擬開始前, 建立模型并定義關(guān)節(jié)連接; (2)真實場景中準備一定數(shù)量可以與虛擬運動仿真進行交互控制的標(biāo)記物; (3)在移動標(biāo)記物造成參數(shù)改變的同時, 實時計算運動方程式; (4)對于每一幀參數(shù)信息以模型正確的位置與姿態(tài)呈現(xiàn)至設(shè)備顯示端.

2 AR與運動仿真集成環(huán)境建立

AR與運動仿真集成環(huán)境在進行運動仿真時, 首先由攝像機對標(biāo)記物進行基于圖像特征點的圖像識別, 通過對標(biāo)記物與攝像機的相對位姿關(guān)系建立AR環(huán)境; 然后由標(biāo)記物的初始狀態(tài)定義運動仿真的虛擬模型關(guān)節(jié), 并承擔(dān)仿真數(shù)據(jù)的計算. 物體AR運動仿真環(huán)境流程如圖3所示.

圖3 物體AR運動仿真環(huán)境流程

AR環(huán)境中標(biāo)記物圖像識別和3D注冊獲取標(biāo)記物位姿通過Vuforia開發(fā)工具包實現(xiàn). 圖像信息識別需要經(jīng)過3個步驟: 特征點的提取、特征點的描述以及特征點的匹配. 特征點是圖像信息中某個局部反應(yīng)最強烈的部分, 是圖片中二維度變化部分, 或是邊緣曲率變化較大的點(圖4).

利用圖像特征點信息對Vuforia中保存的圖像信息進行匹配, 確定圖像匹配成功后, 即可獲得標(biāo)記物圖像在世界坐標(biāo)系的位置.

圖4 圖片特征點示例

建立AR環(huán)境需要確定圖像在真實世界中的6D位置和姿態(tài), 即6個自由度. 攝像機6D位姿用世界系到攝像機坐標(biāo)系的RT變換來表示:

利用這種關(guān)系可以將虛擬世界物體精確地疊加到現(xiàn)實世界, 在Vuforia中整個流程如圖5所示.

圖5 基于Vuforia的AR系統(tǒng)

完成基于Vuforia的AR環(huán)境搭建后, 系統(tǒng)將通過獲取的標(biāo)記物圖像位姿信息進行運動仿真. 不同物體所需標(biāo)記物數(shù)量不同, 標(biāo)記物數(shù)目等于活動關(guān)節(jié)數(shù)目. 圖6為平面四桿機構(gòu), 其4個活動關(guān)節(jié)由4個不同的標(biāo)記物定義.

進行運動學(xué)仿真時, AR系統(tǒng)實時獲取標(biāo)記物的坐標(biāo)位姿, 在標(biāo)記物的位姿或系統(tǒng)參數(shù)改變時, AR子系統(tǒng)將信息傳遞至運動仿真子系統(tǒng), 由運動學(xué)與動力學(xué)方程對仿真結(jié)果進行重新計算, 獲取正確結(jié)果后反饋AR子系統(tǒng), 使模型以正確的姿態(tài)顯示在設(shè)備端.

圖6 四桿機構(gòu)活動關(guān)節(jié)標(biāo)記物

3 AR場景中運動學(xué)仿真實施

對大多數(shù)機械工程的部件和機構(gòu), 其運動時可作為剛體進行分析和處理, 因此先建立單個剛體的AR運動學(xué)仿真, 進而建立多個剛體組成的機械系統(tǒng)的AR運動學(xué)仿真.

3.1 AR場景中剛體的轉(zhuǎn)動

機械工程中最常見的是齒輪、機床的主軸、電機的轉(zhuǎn)子等, 它們都有一條固定的軸線, 物體繞此固定軸轉(zhuǎn)動, 這類運動稱為剛體繞定軸轉(zhuǎn)動, 這是工程中最常見的運動, 也是研究復(fù)雜運動的基礎(chǔ). 因此, 本文以剛體轉(zhuǎn)動為例闡述AR場景中單個剛體運動仿真的設(shè)計與實現(xiàn).

轉(zhuǎn)動快慢由剛體角速度決定, 其計算公式為:

圖7 剛體定軸轉(zhuǎn)動

圖8為AR場景中剛體的轉(zhuǎn)動. 在AR運動仿真場景中, 當(dāng)將圖8中標(biāo)記物置于手機攝像頭拍攝區(qū)域時, 會在其上方出現(xiàn)一個橢圓盤形的剛體. 拖動標(biāo)記物時剛體通過標(biāo)記物的移動方向圍繞軸線進行定軸轉(zhuǎn)動, 拖動標(biāo)記物速度越快, 剛體旋轉(zhuǎn)角速度越快.

圖8 AR場景中剛體轉(zhuǎn)動

3.2 AR場景中平面四桿機構(gòu)的運動

當(dāng)各構(gòu)件尺寸以及原動桿方位角已知, 由式(4)可求得和.

在AR運動仿真場景中, 標(biāo)記物分別代表平面四桿機構(gòu)的鉸鏈點、、和(圖10).把這4個標(biāo)記物置于手機攝像頭拍攝區(qū)域時, 一個虛擬的平面四桿機構(gòu)模型將會出現(xiàn). 當(dāng)標(biāo)記物位置發(fā)生改變時, 虛擬機構(gòu)的尺寸也會發(fā)生變化.

圖10 標(biāo)記物

平面四桿機構(gòu)的運動仿真有2種方式:

(1)保持標(biāo)記物的位置不變化, 通過屏幕界面上的控制按鈕來實現(xiàn). 界面上可以看到“建模”和“仿真運動”按鈕, 點擊“建?！卑粹o時, 平面四桿機構(gòu)模型會呈現(xiàn)(圖11(a)); 需要運動仿真時, 在輸入框輸入角度值, 即曲柄與水平面夾角, 然后單擊“仿真運動”, 通過機構(gòu)運動方程自動求解, 曲柄將旋轉(zhuǎn)到指定位置, 連桿和連架桿也將自動轉(zhuǎn)動到正確位置(圖11(b)); 點擊按鈕“前進”或“后退”, 可使機構(gòu)在當(dāng)前位置向前或向后進行運動仿真(圖11(c)和(d)).

(2)通過連續(xù)改變某一標(biāo)記物位置以驅(qū)動某一構(gòu)件, 實現(xiàn)機構(gòu)的連續(xù)運動仿真(圖12).

當(dāng)轉(zhuǎn)動真實鉸鏈四桿機構(gòu)曲柄時, 標(biāo)記物的位置也將發(fā)生變化, 通過攝像頭自動追蹤標(biāo)記物, 機構(gòu)運動方程將自動求解, 虛擬模型會自動進行運動仿真.

圖12 鉸鏈四桿機構(gòu)運動仿真方式2

4 AR場景中動力學(xué)仿真實施

物體之間往往有機械運動的相互傳遞, 在傳遞運動時產(chǎn)生的相互作用力不僅與物體的速度變化有關(guān), 而且與其質(zhì)量有關(guān), 即慣性. 因此, 以物體運動過程中的慣性為例, 闡述AR場景中動力學(xué)仿真設(shè)計與實現(xiàn).

圖13 齒輪驅(qū)動的連桿機構(gòu)

等效力矩的計算公式為:

由式(5)和式(6)即可解得角加速度:

在AR運動仿真場景中, 當(dāng)將標(biāo)記物(圖14(a))置于手機攝像頭拍攝區(qū)域時, 會出現(xiàn)曲柄滑塊機構(gòu)虛擬模型和仿真參數(shù)輸入框(圖14(b)); 該模型的初始參數(shù)已提前設(shè)置, 在輸入框中輸入對應(yīng)參數(shù)即可實現(xiàn)動力學(xué)仿真(圖14(c)); 更改參數(shù), 如轉(zhuǎn)動慣量時會實時更新仿真結(jié)果, 并通過模型運動直觀呈現(xiàn)(圖14(d)).

5 AR場景中物體運動仿真的應(yīng)用

在機械類課程教學(xué)中, 物體運動仿真常用于向?qū)W生展示機械設(shè)計、制造、裝配等過程, 可幫助學(xué)生理解相關(guān)的基礎(chǔ)理論知識. 但傳統(tǒng)課堂上播放的運動仿真視頻動畫, 缺少與真實場景的關(guān)聯(lián), 且交互性低. AR運動仿真系統(tǒng)為學(xué)生提供了直觀的智慧化運動仿真操作環(huán)境.

5.1 AR運動學(xué)仿真應(yīng)用

《機械原理》是機械課程中必修科目, 旨在提高分析和設(shè)計機構(gòu)的能力, 而機構(gòu)的設(shè)計與分析多以幾何學(xué)方法為基礎(chǔ), 因此AR場景中物體的運動學(xué)仿真可用于機構(gòu)相關(guān)知識的學(xué)習(xí). 如平面四桿機構(gòu)的急回特性學(xué)習(xí), 在AR環(huán)境中可通過如下4個步驟實現(xiàn): (1)將模型與標(biāo)記物放置于手機視野范圍內(nèi)(圖15(a)); (2)點擊“建?！卑粹o, 建立四桿機構(gòu)虛擬模型(圖15(b)); (3)旋轉(zhuǎn)平面四桿機構(gòu)到達左極限位置, 點擊“左極限位置”按鈕來存儲此位置信息(圖15(c)); (4)旋轉(zhuǎn)平面四桿機構(gòu)到達右極限位置, 點擊“右極限位置”按鈕來存儲此位置信息(圖15(d)). 完成上述步驟后, 極位夾角和行程速比系數(shù)將被渲染在AR環(huán)境中. 借助這種虛實融合的高交互式運動仿真操作, 可更深入并可視化理解相關(guān)的理論知識.

圖15 急回特性分析

5.2 AR動力學(xué)仿真應(yīng)用

《理論力學(xué)》是機械類課程的重要基礎(chǔ), 其教與學(xué)都非常難, 借助AR場景中物體的動力學(xué)仿真, 可將復(fù)雜的理論知識通過虛實融合方式, 可視化地使學(xué)生直觀學(xué)習(xí)和理解. 如平面機構(gòu)的動力學(xué)分析學(xué)習(xí): 打開課本到相應(yīng)章節(jié), 掃描頁面上的標(biāo)記物, 所需分析的機構(gòu)模型將躍入書本上方, 輸入轉(zhuǎn)動慣量、驅(qū)動力矩和工作阻力等參數(shù)后, 機構(gòu)將運動起來; 更改工作阻力等參數(shù)時, 仿真結(jié)果也會通過曲柄轉(zhuǎn)速的快慢直觀地呈現(xiàn)(圖16).

圖16 曲柄滑塊動力學(xué)仿真求解

通過這種方式可以將課本中復(fù)雜的動力學(xué)方程求解結(jié)果生動、直觀地呈現(xiàn)給學(xué)生, 使學(xué)生更易掌握相關(guān)的理論知識.

6 結(jié)語

本文研究了AR場景下物體的虛擬仿真以及控制方法, 實現(xiàn)了AR場景下物體的運動學(xué)和動力學(xué)仿真. 通過增強現(xiàn)實場景下物體運動仿真的交互控制與實時渲染, 使仿真結(jié)果直觀生動地得以呈現(xiàn), 并可以從多個角度觀察運動的仿真結(jié)果. 同時,可以通過移動標(biāo)記物或改變輸入?yún)?shù)來實時控制仿真結(jié)果, 而不局限于鼠標(biāo)和鍵盤. 當(dāng)將AR運動仿真用于教學(xué)時, 可以幫助學(xué)生理解抽象復(fù)雜的理論知識.

后續(xù)工作將側(cè)重以下兩個方面: (1)實現(xiàn)手勢交互仿真, 手勢的便捷性, 可以進一步提升AR運動仿真的交互性. (2)協(xié)作設(shè)計(兩人或多人管理同一場景), 以便使用者之間有更強的交互性和操作性. AR與運動仿真的集成具有寬廣的發(fā)展前景.

[1] 張越今, 宋健. 多體動力學(xué)仿真軟件 ADAMS理論及應(yīng)用研討[J]. 機械科學(xué)與技術(shù), 1997, 16(5):753-758.

[2] 劉銀虎, 繆炳祺. 多體動力學(xué)仿真軟件ADAMS理論基礎(chǔ)及其功能分析[J]. 電子與封裝, 2005, 5(4):25-28; 34.

[3] 劉佳, 梅建輝, 張小瑞, 等. 一種手持可遮擋的增強現(xiàn)實彩色標(biāo)志[J]. 計算機應(yīng)用研究, 2017, 34(9):2843- 2848.

[4] Bostanci E, Kanwal N, Ehsan S, et al. User tracking methods for augmented reality[J]. International Journal of Computer Theory and Engineering, 2013, 5(1):93-98.

[5] 饒楚鋒, 韓華亭, 王崴, 等. 增強現(xiàn)實誘導(dǎo)維修進程識別策略[J]. 計算機應(yīng)用研究, 2018, 35(3):922-925; 929.

[6] 夏侯士戟, 馬敏, 陳東義. 增強現(xiàn)實游戲中的并發(fā)多任務(wù)模型與實時調(diào)度方法[J]. 計算機輔助設(shè)計與圖形學(xué)學(xué)報, 2014, 26(2):211-216.

[7] 鄒浩, 朱呈瞻, 王暢, 等. 三維重建結(jié)合增強現(xiàn)實技術(shù)在機器人下精準肝切除術(shù)中的應(yīng)用[J]. 機器人外科學(xué)雜志(中英文), 2020, 1(2):141-147.

[8] 張一凡, 繆遠東, 陳暢宇, 等. 戶外增強現(xiàn)實軍事仿真系統(tǒng)[J]. 光學(xué)技術(shù), 2019, 45(5):622-628.

[9] 饒勇, 何漢武, 吳悅明. 增強現(xiàn)實設(shè)備維修系統(tǒng)操作狀態(tài)檢測方法研究[J]. 機電工程技術(shù), 2010, 39(9):56-58; 109; 114.

[10] 馬小秋, 劉丹丹. 基于透視式增強現(xiàn)實的BIM建筑三維重建仿真[J]. 計算機仿真, 2020, 37(3):229-233.

[11] Logg A, Lundholm C, Nordaas M. Finite element simulation of physical systems in augmented reality[J]. Advances in Engineering Software, 2020, 149:102902.

[12] Coelho G, Rabelo N N, Vieira E, et al. Augmented reality and physical hybrid model simulation for preoperative planning of metopic craniosynostosis surgery[EB/OL]. [2020-10-06]. https://www.researchgate.net/publication/339659921_Augmented_reality_and_physical_hybrid_model_simulation_for_preoperative_planning_of_metopic_craniosynostosis_surgery.

[13] 王偉明, 何亞軒, 任彬, 等. 軌道車輛運行的增強現(xiàn)實仿真系統(tǒng)研究[J]. 圖學(xué)學(xué)報, 2017, 38(4):577-581.

[14] 劉子俊, 簡學(xué)之, 時伯年, 等. 基于增強現(xiàn)實技術(shù)的智能變電站設(shè)備運維仿真[J]. 南方電網(wǎng)技術(shù), 2019, 13(11):69-75.

[15] 朱惠娟. 基于Unity3D的虛擬漫游系統(tǒng)[J]. 計算機系統(tǒng)應(yīng)用, 2012, 21(10):36-39; 65.

[16] 魯文娟, 金一強. 基于智能手機的Vuforia+Unity3D增強現(xiàn)實技術(shù)方案及其教育應(yīng)用[J]. 現(xiàn)代教育技術(shù), 2017, 27(5):19-25.

[17] 朱惠娟. 基于Unity3D的虛擬漫游系統(tǒng)[J]. 計算機系統(tǒng)應(yīng)用, 2012, 21(10):36-39; 65.

Design and implementation of object motion simulation based on augmented reality

WANG Heng, WANG Ying*, LIU Li, ZHENG Wenlong, YU Songke, WANG Yu

( Faculty of Mechanical Engineering & Mechanics, Ningbo University, Ningbo 315211, China )

An Augmented Reality (AR)-based object motion simulation system was designed to figure out the kinematic and dynamic characteristics of a physical object in an AR virtual environment. By integrating AR technique with physical object motion simulation, the system can help in model establishment, marker registration, interactive control of motion simulation, and augmented real-time rendering of scenes. It consisted of a kinematic simulation module and a dynamic simulation module. For the design and realization of the former module, the rotation of rigid objects about fixed axes and the geometric motion of planar four-bar mechanisms were taken as examples, while the interactive control of kinematic simulation was implemented by changing the markers’ placement. For the design and realization of the dynamic simulation module, the inertial motion of slider-crank mechanisms was taken as an example, with the control of dynamic simulation implemented by adjusting the input parameters. Then, the modules were put into practice through a mechanics course case study on the quick-return characteristics of planar four-bar mechanisms, and by solving the dynamic equations of slider-crank mechanisms. The final results demonstrated that the AR motion simulation system can provide a highly visual and interactive kinematic as well as dynamic simulation environment, help students understand relevant theories visually, and realize the smart teaching on motion simulation by the fusion of virtual technologies and reality.

augmented reality; simulation; kinematics; dynamics

TH122

A

1001-5132（2022）01-0075-07

2020?12?16.

寧波大學(xué)學(xué)報（理工版）網(wǎng)址: http://journallg.nbu.edu.cn/

浙江省公益技術(shù)應(yīng)用研究項目（LGF21H180004）; 寧波大學(xué)教研項目（JYXMXZD2021021）.

王恒（1996－）, 男, 河南駐馬店人, 在讀碩士研究生, 主要研究方向: 增強現(xiàn)實人機交互技術(shù). E-mail: 1162259493@qq.com

王英（1989－）, 女, 河南南陽人, 副教授, 主要研究方向: 增強現(xiàn)實人機交互技術(shù). E-mail: wangying5@nbu.edu.cn

（責(zé)任編輯 史小麗）