石松婷
摘要:目前,三維模型在各個領(lǐng)域都得到了廣泛的應(yīng)用,例如現(xiàn)有的地理模型和醫(yī)學(xué)模型等。此外,從理論上說基于圖像三維重建實際上是計算機圖形學(xué)的逆問題。如何根據(jù)受干擾或者不完整的二維信息來恢復(fù)三維信息是這項技術(shù)的一大難點,也是計算機視覺的一大難點。對基于圖像重建技術(shù)相關(guān)專利的深入研究可以促進對這些問題的理解和研究,推動三維模型獲得更為廣泛的應(yīng)用。本文主要以國外巨頭飛利浦公司的幾項專利為例,品析基于單目視覺的三維重建的幾項創(chuàng)新技術(shù)。
關(guān)鍵詞:單目視覺 飛利浦 三維重建
前言
基于視覺的三維重建技術(shù),即采用計算機視覺方法進行物體的三維模型重建,是指利用數(shù)字攝像機作為圖像傳感器,綜合運用圖像處理、視覺計算等技術(shù)進行非接觸三維測量,用計算機程序獲取物體的三維信息。其優(yōu)勢在于不受物體形狀限制,重建速度較快,可以實現(xiàn)全自動或半自動建模等,是三維重建的一個重要發(fā)展方向,能廣泛應(yīng)用于包括移動機器人自主導(dǎo)航系統(tǒng)、航空及遙感測量、工業(yè)自動化系統(tǒng)等在內(nèi)的各個領(lǐng)域,由此項技術(shù)產(chǎn)生的經(jīng)濟效益極為可觀。
飛利浦公司是全球最大的三維重建技術(shù)的研發(fā)者。飛利浦該公司創(chuàng)立于1891年,其是世界上最大的電子公司之一,在歐洲名列榜首。飛利浦是個綜合性大集團,通過以下三個交叉部門為專業(yè)市場和消費市場提供服務(wù):醫(yī)療保健、照明和優(yōu)質(zhì)生活。2002年其在華營業(yè)額和出口創(chuàng)匯額在全國外商投資企業(yè)中雙雙排名第一位。通過上述數(shù)據(jù),可以看出要占領(lǐng)市場,核心研發(fā)技術(shù)不能少。下面我們就來揭開該飛利浦公司公司在單目視覺三維重建領(lǐng)域的神秘面紗。
一.飛利浦公司基于單目視覺的三維重建的技術(shù)分類
作為計算機視覺技術(shù)的一個重要分支,基于視覺的三維重建技術(shù)以Marr 的視覺理論框架為基礎(chǔ),形成了多種理論方法。例如,根據(jù)攝像機數(shù)目的不同,可分為單目視覺法、雙目視覺法、三目視覺或多目視覺法。此處,我們著重分析單目視覺方法。
單目視覺方法( monocular vision) 是指使用一臺攝像機進行三維重建的方法。所使用的圖像可以是單視點的單幅或多幅圖像,也可以是多視點的多幅圖像。下面將介紹幾種主要的單目視覺方法。
下面以飛利浦公司作為主要的分析對象來查看其在三維重建領(lǐng)域的技術(shù)發(fā)展脈絡(luò)。主要分析以下該領(lǐng)域中常用的幾種方法:
從圖1中可以看出,運動法占四種核心方法中的主導(dǎo)地位,其次是輪廓法。下面將針對這三種算法分析進行詳盡的分析。
1.1輪廓法
輪廓法是輪廓恢復(fù)形狀法( shape from silhouettes/contours)的簡稱。這種方法通過多個角度物體的輪廓圖像得到物體的三維模型。輪廓法可以分為基于體素、基于視殼和基于錐素三種方法。
基于體素的方法
這種方法將物體所在的三維空間離散化為體素( voxel) ,再將圖像分割為前景( 物體) 和背景,通過投影測試判定一個體素點的投影是在前景還是背景中。如果一個體素點在不同視角都投影到了前景內(nèi),那么就認為它是物體的一部分,將所有這樣的體素點集合起來就可以重構(gòu)出物體的三維形狀。這種方法簡單且魯棒性較好。
飛利浦公司于2007年3月14日在華申請了一篇名為建立深度圖的專利,如圖7所示,申請?zhí)枮镃N200580007733,該申請同時在韓國,日本,美國等多個國家具有同族。該申請的發(fā)明點在于提供一種可由靜止圖像來產(chǎn)生深度圖的方法,基于圖像像素值來確定包括鄰近點的集合的輪廓;且基于多個點處的曲率向量計算來分配與第一像素對應(yīng)的第一深度值。
該專利采用了點的曲率相鄰來合理分配深度值,曲率計算該技術(shù)手段雖然很常規(guī),但用在計算點的深度值該領(lǐng)域上,卻顯得構(gòu)思極為巧妙。
1.2紋理法
紋理法的基本理論為: 對于一個具有光滑表面并覆蓋了重復(fù)紋理單元的物體,當(dāng)被投影在二維圖像上時,其上的紋理單元會發(fā)生變形,這種變形分為投影變形( projective distortion) 和透視收縮變形( foreshortening distortion) 。投影變形使離圖像平面越遠的紋理單元看上去越小,透視收縮變形使與圖像平面角度越大的紋理單元看上去越短。由于這兩種變形都可以從圖像中測量得到,因此就可以分析變形后的紋理單元,反向求取物體表面法向和深度信息,進行三維重建。
飛利浦公司于2003年12月10日在華申請了一篇名為全深度采集的專利,如圖3所示,申請?zhí)枮镃N 200380108833,該申請同時具有美國,韓國,日本,臺灣等多個同族專利。該申請基于人體具有對于亮度本身和它的空間/時間導(dǎo)數(shù)的傳感器的理解。用于直接亮度傳感器的事實是即使缺少任何紋理(空間導(dǎo)數(shù)為零,例如當(dāng)由紙蓋住我們的眼睛時),我們?nèi)阅芸匆娛橇吝€是暗的原理來實現(xiàn)。
該專利一反常規(guī)專利的思路,另辟蹊徑,從反面來研究當(dāng)缺少紋理時,如何求取圖像深度。
1.3運動法
運動法,即基于運動的建模( structure from motion,SFM) ,是通過在多幅未標(biāo)定圖像中檢測匹配特征點集,使用數(shù)值方法恢復(fù)攝像機參數(shù)與三維信息的一種方法。
運動法對圖像的要求非常低,可以采用視頻甚至是隨意拍攝的圖像序列進行三維重建。同時可以使用圖像序列在重建過程中實現(xiàn)攝像機的自標(biāo)定,省去了預(yù)先對攝像機進行標(biāo)定的步驟。
飛利浦公司于2004年12月7日在華申請了一篇名為全深度采集的專利,如圖4所示,申請?zhí)枮镃N 200480037342,該申請同時具有美國,韓國,日本等多個同族專利。該申請中步驟34主要借助三維重構(gòu)在世界空間(world space)中通過對感興趣的點進行重構(gòu)來完成。這可按照基于分割的深度估計來進行,即采用了基于運動的建模方法的優(yōu)選方式來進行。
該專利是提取的相互關(guān)聯(lián)的視頻圖像幀,以此來分析運動中接合點處投影的投影重構(gòu)點,并將其彼此鏈接以獲得一組鏈接,進行組合后編碼圖像。技術(shù)手段是一環(huán)扣一環(huán),但卻能達到獲取深度的目的。
總結(jié)
通過以上分析,我們已經(jīng)品析了飛利浦公司在單目視覺三維重建的幾項關(guān)鍵技術(shù),也正是由于其在三維重建領(lǐng)域的穩(wěn)固發(fā)展,才使得該公司已經(jīng)在國際上占有相當(dāng)一部分市場,其市場地位十分牢固。
依據(jù)飛利浦公司的發(fā)展經(jīng)歷,站在技術(shù)的前沿,才能更好的占據(jù)市場,和大企業(yè)抗衡。未來的路還很遠,需要不斷實踐,我國企業(yè)也應(yīng)該加大研發(fā)重視度,力求創(chuàng)新,提高企業(yè)核心競爭力。
參考文獻
[1]張濤.基于單目視覺的三維重建[J].中國優(yōu)秀碩士學(xué)位論文全文數(shù)據(jù)庫信息科技輯,15-22.
[2]賈松敏等. 基于變分模型的單目視覺三維重建方法[J].光學(xué)學(xué)報,2014(4):162-168.
[3]魏保志. 做好專利審查要有法律思維[J]. 審查業(yè)務(wù)通訊,2014,20 (1):1-6.