摘 要：近年來，AR與圖像處理發(fā)展迅速，并在生活娛樂、輔助教學(xué)等方面起著越來越重要的作用。本文采用圖像追蹤技術(shù)獲取動態(tài)目標(biāo)，利用前景檢測技術(shù)和圖像融合技術(shù)更換視頻人物所處環(huán)境，采用NDK開發(fā)Android應(yīng)用，實現(xiàn)了基于AR技術(shù)的手機(jī)拍攝軟件的開發(fā)項目。

關(guān)鍵詞：前景檢測；圖像融合；Vibe算法；運(yùn)動目標(biāo)追蹤；NDK開發(fā)

中圖分類號：TP311文獻(xiàn)標(biāo)識碼：A文章編號：2096-4706（2018）05-0017-03

Development of Mobile Phone Shooting Software Based on AR Technology

ZHU Chenlu，SUI Chao，ZHOU Cuicui，LIU Gaoqiang，WANG Yuhang

（College of Computer Science and Technology，Jilin University，Changchun 130012，China）

Abstract：AR and image processing have developed rapidly in recent years，and play an increasingly important role in life entertainment，assisted teaching and so on. In this paper，the image tracking technology is used to obtain the dynamic target foreground detection technology Using the foreground detection technology and the image fusion technology to change the environment of the video characters，the Android application is developed by NDK，and the development project of the mobile phone shooting software based on the AR technology is realized.

Keywords：foreground detection；image fusion；Vibe algorithm；moving target tracking；NDK development

0 引 言

近年來，拍照功能越來越受到人們的重視，然而人們對于拍照功能創(chuàng)新性的提升似乎還是不夠滿意，拍照技術(shù)在一些方面還是存在著較大的局限性。另外，動態(tài)改變?nèi)宋锼鶎賵鼍皯?yīng)用的還是較為麻煩的綠幕技術(shù)。我們希望能夠開發(fā)出一款基于虛擬現(xiàn)實技術(shù)的拍照軟件，讓人們更便捷地體驗綠幕技術(shù)的效果。

隨著手機(jī)技術(shù)的不斷發(fā)展，人們更多的使用手機(jī)的附加功能。有82%的用戶使用手機(jī)拍照，其次才是收發(fā)短信。因此，拍照軟件和處理軟件的競爭最為激烈。隨著智能手機(jī)數(shù)量的增長，手機(jī)拍照將會是一個非常有熱度的研究方向。目前，大多數(shù)的拍照軟件都將目光鎖定在更優(yōu)化的美化識別跟蹤上，缺少新意。而今隨著大眾對虛擬現(xiàn)實和3D技術(shù)應(yīng)用的期待，虛擬體驗成為了大眾興趣度最高的、希望被應(yīng)用于拍攝等現(xiàn)有軟件的一項技術(shù)。在現(xiàn)有的三維全景和跟蹤識別等技術(shù)已經(jīng)非常成熟的基礎(chǔ)上，我們希望消除它們之間的隔閡，將其進(jìn)行較好地融合，實現(xiàn)一種可以為拍攝對象改變其所處環(huán)境，并多角度展現(xiàn)虛擬環(huán)境的技術(shù)。

實現(xiàn)虛擬旅游，使用戶虛擬地存在于不同的景點，可以簡單地拍攝電影，將自己放入電影片段中，當(dāng)一次主角。體驗多次元，來一次外太空旅行。通過將拍攝人的視角切換到不同角度來更換人物背景，給用戶帶來生活樂趣和全新的體驗。

1 更換視頻人物環(huán)境制作方法

1.1 前景檢測技術(shù)和圖像融合技術(shù)的優(yōu)點

基于前景檢測技術(shù)和圖像融合來更換視頻人物所處環(huán)境的系統(tǒng)采用了Vibe算法和泊松融合算法，這樣不僅可以降低背景建模的復(fù)雜程度，而且當(dāng)瞬時背景變化非常大時，需要做的只有放棄原始的模型，重新利用變化后的首幀圖像建立背景模型，無需手動摳圖選擇融合區(qū)域，選擇融合區(qū)域的過程簡單且方便。另外，還實現(xiàn)了對一般綠幕技術(shù)的提升，提出了一種改進(jìn)的圖像視頻處理技術(shù)，主要包含三個方面：其一，無需使用特殊背景，通過計算機(jī)便可得到結(jié)果；其二，無需特定的技術(shù)支持，簡單易操作，非專業(yè)人員也可應(yīng)用；其三，融合效果自然且逼真。

1.2 Vibe算法前景檢測技術(shù)

Vibe算法前景檢測技術(shù)為每個像素點存儲了一個樣本集，樣本集中地采樣值就是該像素點過去的像素值和其鄰居點的像素值，然后將每一個新的像素值和樣本集進(jìn)行比較來判斷是否屬于背景點，進(jìn)而實現(xiàn)運(yùn)動物體檢測[1]。

該方法具有顯著的優(yōu)勢：首先，在應(yīng)對光照的變化和相機(jī)抖動等方面，其表現(xiàn)都十分穩(wěn)定；其次，其計算量非常小，內(nèi)存占用較少，使該方法能夠嵌入手持照相機(jī)中；再次，這種方式有優(yōu)良的背景模型更新策略，可以隨機(jī)選擇需要替換的像素的樣本，隨機(jī)選擇鄰域像素進(jìn)行更新。因此，在無法確定像素變化的模型時，它在一定程度上可以模擬像素變化的不確定性。

1.3 基于泊松方程的圖像編輯技術(shù)

基于泊松方程的圖像編輯技術(shù)通過求解ROI的梯度場Isrc以及背景圖像不被修改的像素區(qū)域的梯度場Idst，再根據(jù)Isrc+Idst得到整幅待重建圖像的梯度場，通過梯度場求解散度再求解通道方程獲得每個點的像素RGB值，實現(xiàn)兩幅圖像的無縫融合[2]。該方法具有顯著的優(yōu)勢：首先，選擇融合區(qū)域的過程簡單且方便；其次，其融合效果自然，屬于目前融合效果上等的算法。

2 運(yùn)動目標(biāo)追蹤

2.1 運(yùn)動目標(biāo)追蹤技術(shù)

視頻處理領(lǐng)域中的運(yùn)動目標(biāo)追蹤主要是對傳感器采集到的視頻序列進(jìn)行分析，提取場景中感興趣的運(yùn)動目標(biāo)，給對應(yīng)于同一目標(biāo)的像素區(qū)域分配相同的標(biāo)記，在連續(xù)的圖像幀之間跟蹤各個標(biāo)記目標(biāo)的位置、輪廓、形狀、速度、紋理、顏色等特征信息的變化情況。傳統(tǒng)的目標(biāo)追蹤一般包含四個部分：目標(biāo)描述、特征提取、狀態(tài)估計以及特征匹配。[3]據(jù)根目標(biāo)跟蹤方式的不同，目前已提出的追蹤算法大致可分為以下三類。

2.1.1 依賴于匹配的方法

依賴于匹配的運(yùn)動目標(biāo)追蹤算法中最具代表性的是Mean-shift算法。此算法利用核函數(shù)直方圖描述目標(biāo)模板，然后在當(dāng)前幀中通過迭代的方式，利用核函數(shù)的偏移來逐步更新和搜索模板，以實現(xiàn)準(zhǔn)確匹配。

2.1.2 依賴于檢測的方法

依賴于檢測的算法中最具代表性的是Online boosting算法。在檢測過程中，一幀一幀的偏差造成的畫面漂移現(xiàn)象成為眾多算法需要解決的問題。

2.1.3 依賴于預(yù)測的方法

依賴于預(yù)測的算法中最具代表性的是基于稀疏表示的目標(biāo)追蹤算法。該算法通過構(gòu)造稀疏表示模型來計算粒子加權(quán)系數(shù)，這樣能有效抵抗遮擋，提高目標(biāo)追蹤的精度。

2.2 運(yùn)動目標(biāo)追蹤技術(shù)的應(yīng)用

將AR技術(shù)應(yīng)用于手機(jī)拍照軟件當(dāng)中，將原短視頻中的目標(biāo)精確且快速地識別出來成為一大要點。識別目標(biāo)，即追蹤動態(tài)目標(biāo)，在一段視頻序列圖像中的每幅圖像中實時地找到感興趣的運(yùn)動目標(biāo)。目前，眾多AR應(yīng)用、全景相機(jī)中都離不開相關(guān)算法。對追蹤目標(biāo)的研究大致有兩個思路：（1）不依賴于先驗知識，即直接從圖像序列中檢測運(yùn)動目標(biāo)、識別并追蹤；（2）依賴于先驗知識，即為運(yùn)動目標(biāo)建模，然后進(jìn)行匹配。

由于應(yīng)用場景的復(fù)雜性和各種因素的干擾，目標(biāo)跟蹤面臨著諸如光照、運(yùn)動、姿態(tài)、遮擋等許多的難點問題[4]。目標(biāo)和背景的靈活多變是造成目標(biāo)跟蹤困難的根源。將其應(yīng)用于手機(jī)拍照軟件中的難點主要有以下幾點：（1）背景復(fù)雜：在對目標(biāo)進(jìn)行追蹤時，往往目標(biāo)的背景在隨時變化，這樣在進(jìn)行追蹤時可能偏離目標(biāo)；（2）目標(biāo)變化：目標(biāo)在短視頻中是連續(xù)變化的，因此，在長時間的追蹤下，目標(biāo)可能受到光照、動作等的影響；（3）遮擋：目標(biāo)在運(yùn)動時可能會被其他物體全部或部分遮擋，這就為目標(biāo)提取設(shè)置了難題；（4）計算的時效性：對目標(biāo)進(jìn)行實時的追蹤，算法需要快速地進(jìn)行計算，否則追蹤的目標(biāo)可能發(fā)生偏移。

2.3 手機(jī)軟件對于算法的要求

首先，將AR技術(shù)應(yīng)用于手機(jī)軟件是一個進(jìn)步，但將兩者結(jié)合也必然會遇到很多問題。傳統(tǒng)上，AR技術(shù)往往依靠硬件和芯片實現(xiàn)，所以，目前我們能夠看到的AR產(chǎn)品大多都是頭盔、眼鏡，先進(jìn)一些的是眼鏡夾片。對于硬件的要求，傳統(tǒng)上跟手機(jī)硬件是差不多的，包括CPU、內(nèi)存、電源管理、傳感器模塊、普通攝像頭和深度攝像頭。芯片上集成的算法是手機(jī)軟件應(yīng)用AR技術(shù)的關(guān)鍵所在。

將AR技術(shù)中相關(guān)算法應(yīng)用于手機(jī)APP當(dāng)中，主要有以下幾點要求：（1）精確化。AR技術(shù)是利用人的視覺效果來欺騙大腦，手機(jī)在拍攝時要將現(xiàn)實中的目標(biāo)放入期待的場景中，那么，在目標(biāo)提取以及目標(biāo)與場景融合時，就要盡可能地實現(xiàn)精確化，讓肉眼看不出拼接的破綻；（2）手機(jī)硬件支持；（3）速度快。手機(jī)拍攝完成后，需要馬上啟動程序，做到迅速地識別和提取目標(biāo)，并快速與選定畫面融合。這是影響用戶體驗的重要因素。

3 Android系統(tǒng)中的圖像處理

3.1 Android中圖像處理面臨的問題

Android的應(yīng)用層的類都是用Java寫的，Java以其跨平臺性和開源性已吸引了越來越多的開發(fā)者和使用者，越來越多的應(yīng)用服務(wù)開發(fā)開始由C語言轉(zhuǎn)向Java這樣一種開源的跨平臺的語言，使用Java已經(jīng)成為了一種主流的趨勢。但對于一些計算量大的算法實現(xiàn)而言，Java并不是最好的選擇，如本文探討的多媒體技術(shù)中的圖像處理。在圖像處理中常使用的opencv中的算法幾乎都存在C或C++實現(xiàn)的源代碼，并且其運(yùn)行效率是得到了充分認(rèn)證的。

Native Development Kit（NDK）是一種工具的集合。開發(fā)人員可以利用NDK提供的工具方便地使用C/C++的動態(tài)庫，并且還可以將so和java自動打包成apk。

通過分析得出，可以使用JNI NDK技術(shù)來搭建在android系統(tǒng)下使用opencv的圖像處理平臺，通過調(diào)用OpenCV的函數(shù)和方法來完成圖像的處理工作。

3.2 NDK開發(fā)優(yōu)點

（1）由于項目開發(fā)需要調(diào)用C/C++里的一些內(nèi)容，而對比Java發(fā)現(xiàn)，它無法訪問操作系統(tǒng)底層部分內(nèi)容，只能通過NDK來實現(xiàn)軟件驅(qū)動開發(fā)，將由C/C++完成的功能代碼嵌入到Java中，實現(xiàn)代碼復(fù)用，以實現(xiàn)其功能。另外，對于音頻視頻的處理、文件壓縮和圖片處理等，利用NDK開發(fā)是很占優(yōu)勢的。（2）NDK可以保證程序更加高效。通常C/C++開發(fā)的程序可以實現(xiàn)高性能的應(yīng)用邏輯，因此，程序的執(zhí)行效率也隨之提高，然而C/C++代碼在保證高效率的同時，也會增加程序開銷。（3）安全性的保證。在Android之前，程序都是運(yùn)行在服務(wù)器上的，所以安全性的問題很少。在發(fā)布APP時會暴露很多缺陷，所以為了防止代碼被反編譯，可以使用NDK，將原始代碼運(yùn)行時加密和封裝，以此來保證程序的安全性。（4）便于移植。C/C++編寫的程序或功能塊可以嵌套在Java里進(jìn)行實現(xiàn)。

3.3 研究思路和方法

（1）從在線視頻中識別拍攝對象，將拍攝人物分割出來，在分割完成之后，對邊界附近的像素做后處理，以獲得較好的視覺效果（基于形態(tài)學(xué)的動態(tài)人體追蹤方法、二元分割、邊界模型、圖切割算法和標(biāo)定技術(shù)）。（2）將人物放入背景中。將計算機(jī)生成的三維虛擬場景或目標(biāo)視頻同真實人物無縫融合，從而改變?nèi)宋锼幍沫h(huán)境（利用圖像匹配、虛實圖像融合和三維注冊技術(shù)）。（3）實現(xiàn)多角度展現(xiàn)虛擬效果。檢測由鏡頭角度變換引起的背景的切變與漸變問題。視頻鏡頭的邊界檢測主要使用切變檢測法（自適應(yīng)域值的選取，統(tǒng)計檢測法，基于慣性信息檢測法）和漸變檢測法（光流法，域值法，模型法）。（4）虛擬背景素材的實現(xiàn)。搭建3D全景，并構(gòu)建數(shù)據(jù)庫（球面全景技術(shù)，3Dmax）。（5）獲取源數(shù)據(jù)，為用戶展示最終效果。手持顯示器顯示拍照效果（顯示技術(shù)）。

4 結(jié) 論

基于AR技術(shù)的手機(jī)拍攝軟件從當(dāng)下圖片美化的牢籠中走出來，是綠幕技術(shù)的提升版。在不使用特殊背景的情況下，把人物從常規(guī)背景中分離出來，并與虛擬三維場景或其他視頻相融合，讓用戶通過簡單的操作體驗身處虛擬場景的樂趣。

本軟件開發(fā)思路邏輯嚴(yán)密，基于增強(qiáng)現(xiàn)實技術(shù)的手機(jī)拍照應(yīng)用軟件進(jìn)行開發(fā)，具有較高的可行性、實用性和研究價值。

參考文獻(xiàn)：

[1] 蘇.運(yùn)動目標(biāo)檢測之Vibe背景模型算法 [EB/OL].[2015- 11-17].https：//blog.csdn.net/lanxuecc/article/details/ 49886531.

[2] Hjimce. Seamless cloning泊松克隆 [EB/OL].[2015-05-14].http：//blog.csdn.net/hjimce/article/details/45716603.

[3] 康彬.面向智能監(jiān)控的目標(biāo)檢測、追蹤及圖像融合算法研究 [D].南京郵電大學(xué)，2015.

[4] 周維.視頻監(jiān)控中運(yùn)動目標(biāo)發(fā)現(xiàn)與跟蹤算法的研究 [D].合肥：中國科學(xué)技術(shù)大學(xué)，2012.

作者簡介：朱晨璐（1997.10-），女，漢族，陜西渭南人，本科，計算機(jī)科學(xué)與技術(shù)專業(yè)。研究方向：計算機(jī)科學(xué)與技術(shù)。