技術(shù)宅

傳統(tǒng)方法的不足

將現(xiàn)實場景轉(zhuǎn)換為電腦中的3D數(shù)據(jù)，這并不是一項新科技，比如已經(jīng)在很多工作場景中出現(xiàn)的3D打印機，它可以通過掃描人體制作3D模型。但是這種傳統(tǒng)方法有著諸多不足，以3D人像采集為例，需要先通過3D掃描儀對人物進(jìn)行立體式掃描，然后將掃描圖像導(dǎo)入3D軟件中制作成模型，再利用電腦進(jìn)行3D渲染，最終才能獲得完整的人體3D數(shù)據(jù)（圖1）。

這種方式費時費力，在一些對3D數(shù)據(jù)要求較高的場景中，如VR游戲、自動導(dǎo)航等，需要對3D數(shù)據(jù)實時轉(zhuǎn)換，顯然傳統(tǒng)的3D數(shù)據(jù)捕捉是無法勝任的。

3D模型智能構(gòu)建的背后

人工智能的發(fā)展，使得科學(xué)家們開始思考建立3D模型的新方法，當(dāng)下較引人關(guān)注的，是對人工智能領(lǐng)域中計算機視覺系統(tǒng)及深度學(xué)習(xí)機制的應(yīng)用。

計算機視覺就是研究機器如何像人一樣“看”世界，通過攝像機和電腦來模擬人眼，對采集到的圖片或視頻進(jìn)行處理以獲取相應(yīng)場景的3D信息。除了會“看”之外，計算機視覺對采集到的信息還要能“識別”和“理解”，也就是在一組圖像數(shù)據(jù)中，判斷是否包含了某個特定的物體，比如一大片的紅色，到底只是一個紅色圓形圖案，還是一個飄浮的氣球。

它的識別原理和人類的視覺相似，當(dāng)我們通過眼睛感知一個事物（比如氣球），它首先被“平面化”成簡單的“球形”數(shù)據(jù)輸入大腦供我們進(jìn)行識別，然后經(jīng)過大腦一系列的“抽象”和“迭代”，最終將其理解為“氣球”（圖2、圖3）。

有了原理還要有實踐，為了讓計算機視覺系統(tǒng)能夠像人類的視覺一樣精確，科學(xué)家們還需要通過特殊的方式對該系統(tǒng)進(jìn)行感知、識別和理解等一系列的訓(xùn)練。

對于計算機來說，感知就是通過攝像設(shè)備進(jìn)行數(shù)據(jù)的捕捉，然后轉(zhuǎn)換為數(shù)字信息讓計算機視覺系統(tǒng)感知到數(shù)據(jù)。識別則是對感知的數(shù)據(jù)進(jìn)行甄別，比如把感知到的圓形物體識別為氣球或者籃球等物體。因為對于計算機來說，通過攝像機捕捉到的只是單純的“數(shù)據(jù)”，要想識別出這些數(shù)據(jù)代表著什么，就要進(jìn)行深度學(xué)習(xí)訓(xùn)練。上述氣球的例子中，科學(xué)家們準(zhǔn)備了各種各樣的氣球圖片，讓深度學(xué)習(xí)系統(tǒng)進(jìn)行識別訓(xùn)練。通過大量的數(shù)據(jù)學(xué)習(xí)后，計算機視覺系統(tǒng)就可以在捕捉到氣球數(shù)據(jù)后準(zhǔn)確地將它識別為“氣球”，而不是籃球或者足球（圖4）。

最后則是理解訓(xùn)練，人類之所以能夠?qū)⒖吹降母鞣N類似形狀的物體精準(zhǔn)識別出來，依靠的是大腦的理解能力，大腦可以通過思考和知識積累，對看到的東西進(jìn)行抽象化處理，從而實現(xiàn)對物體的理解。計算機視覺系統(tǒng)通過深度學(xué)習(xí)后已經(jīng)可以識別出大量的物體，再結(jié)合卷積神經(jīng)網(wǎng)絡(luò)把信息從最繁瑣的像素級別，抽象到“種類”的概念，這類似人類視覺功能的抽象和迭代，整個系統(tǒng)已經(jīng)擁有人工智能的理解能力（圖5）。

前面只是信息收集和分析的階段，真正意義上的計算機視覺系統(tǒng)不僅要識別和感知環(huán)境，還要將所感知到的環(huán)境在電腦中進(jìn)行3D重建。3D重建首先要解決位置和角度的問題，3D場景中，身處不同的位置，看到的場景也就不同（本質(zhì)就是感知的數(shù)據(jù)不同）。其次是兩眼視差的問題，不同的眼睛感知到的也是不同的數(shù)據(jù)，有視差才會有3D信息，并在此基礎(chǔ)上重建3D場景。最后就是語義識別，這是3D重建的終極意義，場景中所包含的不再只是無意義的像素的集合，而是有意義的獨立3D對象（圖6）。

總而言之，計算機視覺系統(tǒng)的整個處理流程就像是人類視覺系統(tǒng)，通過攝像機（眼睛）感知到周圍環(huán)境，接著通過識別系統(tǒng)對感知的物體進(jìn)行甄別，最后通過理解能力準(zhǔn)確識別出感知的物體，并借助場景重建生成3D數(shù)據(jù)，實現(xiàn)將平面物體智能轉(zhuǎn)換為3D數(shù)據(jù)（圖7）。

智能轉(zhuǎn)換3D改變你我生活

通過上述描述我們知道，利用深度學(xué)習(xí)計算機視覺系統(tǒng)可以快速、智能地將現(xiàn)實世界智能轉(zhuǎn)換為3D場景，這些應(yīng)用可以給我們的生活帶來很多的便利，比如現(xiàn)在方興未艾的VR游戲和各種應(yīng)用，借助VR攝像頭，計算機視覺系統(tǒng)可以將游戲者的周邊環(huán)境迅速轉(zhuǎn)換到VR場景中，讓游戲者有著更為真實的、無延遲的沉浸感（圖8）。

另一方面，該技術(shù)在包括人臉識別、指紋識別、圖像檢索、目標(biāo)跟蹤等領(lǐng)域也有著非常廣泛的應(yīng)用，在手機的人臉識別中，因為可以采集到人臉的3D數(shù)據(jù)，所以通過場景重建獲得的人臉3D模型，不僅識別率高，而且可以有效避免目前識別技術(shù)利用照片、視頻畫面來騙取識別的發(fā)生。