明 鏡，向澤君，向 華，呂 楠，龍 川

（1. 重慶市勘測(cè)院，重慶 401121；2. 重慶市移動(dòng)測(cè)量工程技術(shù)研究中心，重慶 401121；3. 重慶數(shù)字城市科技有限公司，重慶 401121）

0 引 言

實(shí)景地圖作為一種新興的地理信息產(chǎn)品，近年來(lái)逐漸受到用戶(hù)的關(guān)注和青睞[1-5]?；ヂ?lián)網(wǎng)和地理信息領(lǐng)域的企業(yè)（谷歌、百度、騰訊、高德等）和機(jī)構(gòu)也投入大量精力來(lái)提升實(shí)景地圖的瀏覽質(zhì)量[6-7]。實(shí)景地圖的發(fā)展從最初的地面拍照、原樣展示逐步發(fā)展到地空采集、綜合美化、集中發(fā)布的狀態(tài)。

當(dāng)前實(shí)景應(yīng)用發(fā)展中仍存在一些亟待解決的問(wèn)題。首先，單一的影像發(fā)布，缺乏連續(xù)性和整體性，不能給用戶(hù)形成整體的空間影像思維。其次，影像的規(guī)范和標(biāo)準(zhǔn)不統(tǒng)一，不同時(shí)間、不同光照條件下的影像明暗、色彩差異較大，降低了用戶(hù)的觀感協(xié)調(diào)性。第三，觀察視點(diǎn)散列，缺乏從天空到室內(nèi)外的全面覆蓋和聯(lián)動(dòng)；很多實(shí)景地圖在采集時(shí)沒(méi)有關(guān)注地理特性，觀察視點(diǎn)的采集規(guī)劃也沒(méi)有考慮整體性，導(dǎo)致難以進(jìn)行實(shí)景之間的邏輯關(guān)聯(lián)，也難以和其他地理信息進(jìn)行整合拓展。第四，信息集成能力有待進(jìn)一步提升，普通的實(shí)景系統(tǒng)缺乏對(duì)其他社會(huì)經(jīng)濟(jì)信息的集成和聯(lián)動(dòng)，應(yīng)用方式易受到局限。第五，實(shí)景更新來(lái)源單一，更新內(nèi)容目標(biāo)導(dǎo)向性和時(shí)效性不足，不易及時(shí)反映社會(huì)熱點(diǎn)。

為此，本文開(kāi)展了天地及室內(nèi)外一體實(shí)景地圖技術(shù)的研究，從解決上述問(wèn)題出發(fā)，著手建立起一套涵蓋天空、地面、室內(nèi)和室外的實(shí)景數(shù)據(jù)體系和軟件應(yīng)用平臺(tái)。從采集規(guī)劃開(kāi)始就對(duì)影像數(shù)據(jù)的空間位置、相互關(guān)系進(jìn)行規(guī)約，建立起天空和地面實(shí)景之間的相互空間關(guān)聯(lián)，為實(shí)景地圖的發(fā)布和應(yīng)用開(kāi)辟新途徑。

1 天地及室內(nèi)外一體實(shí)景地圖構(gòu)建方法

為將天空、地面及室內(nèi)外的實(shí)景地圖融為一個(gè)整體，需從不同角度展示地形地貌、建筑群落、道路分布、車(chē)輛運(yùn)行、人群聚集、商業(yè)場(chǎng)景等綜合地理信息和社會(huì)經(jīng)濟(jì)信息。對(duì)天空和地面實(shí)景影像采集、處理和發(fā)布的核心技術(shù)進(jìn)行研究，努力突破多項(xiàng)圖像處理技術(shù)難關(guān)。研發(fā)配套數(shù)據(jù)制作軟硬件系統(tǒng)，開(kāi)發(fā)Web網(wǎng)站和移動(dòng)端APP軟件，實(shí)現(xiàn)實(shí)景地圖的應(yīng)用和共享，將測(cè)繪科學(xué)、信息技術(shù)與攝影藝術(shù)進(jìn)行融合性創(chuàng)新。

1.1 建設(shè)流程

系統(tǒng)建設(shè)主要采用如圖1所示的思路。

圖1 系統(tǒng)建設(shè)流程圖Fig.1 Flow chart of system construction

數(shù)據(jù)采集硬件選型及軟件研發(fā)。數(shù)據(jù)采集是獲取實(shí)景影像的主要方式，為提升采集質(zhì)量和效率，需對(duì)采集硬件設(shè)備進(jìn)行選型，分別選擇適宜地面和空中實(shí)景采集的設(shè)備。

實(shí)景采集任務(wù)規(guī)劃管理軟件研發(fā)。對(duì)實(shí)景采集任務(wù)管理流程進(jìn)行研究，研發(fā)數(shù)據(jù)采集任務(wù)規(guī)劃和管理軟件。按照多渠道收集的地圖實(shí)景采集需求進(jìn)行任務(wù)部署和分配，還可扶持實(shí)景創(chuàng)業(yè)者參與數(shù)據(jù)采集服務(wù)。

實(shí)景影像數(shù)據(jù)處理系統(tǒng)研發(fā)。研制天地及室內(nèi)外實(shí)景影像處理軟件系統(tǒng)，可對(duì)實(shí)景數(shù)據(jù)進(jìn)行預(yù)處理、影像拼接、色彩調(diào)整、局部修飾、隱私處理、預(yù)發(fā)布、地理標(biāo)注、發(fā)布的全流程處理，為規(guī)模化開(kāi)展實(shí)景數(shù)據(jù)處理提供保障，提升生產(chǎn)效率。

實(shí)景展示及應(yīng)用開(kāi)發(fā)API軟件研發(fā)。根據(jù)規(guī)劃、商業(yè)、市政等行業(yè)對(duì)實(shí)景數(shù)據(jù)的應(yīng)用需求，以及公眾對(duì)實(shí)景的瀏覽需求，研發(fā)一套支持二次集成開(kāi)發(fā)的基礎(chǔ)實(shí)景展示API。

眾需、眾源、眾包管理平臺(tái)軟件研發(fā)。建立公眾實(shí)景地圖需求反饋的互聯(lián)網(wǎng)通道，對(duì)公眾關(guān)心的城市熱點(diǎn)保持高效跟蹤，支持對(duì)外發(fā)包和匯聚公眾采集數(shù)據(jù)；制定實(shí)景數(shù)據(jù)制作標(biāo)準(zhǔn)，規(guī)范采集時(shí)的輸出成果及元數(shù)據(jù)，提升眾源數(shù)據(jù)的可用性。

1.2 系統(tǒng)技術(shù)架構(gòu)

系統(tǒng)總體技術(shù)架構(gòu)如圖2所示，按照硬件、數(shù)據(jù)存儲(chǔ)、軟件系統(tǒng)服務(wù)、軟件系統(tǒng)應(yīng)用、軟件系統(tǒng)交互分為5個(gè)層次。硬件設(shè)備層包含了用于拍攝的單反相機(jī)及其搭載平臺(tái)，為數(shù)據(jù)采集提供硬件支撐；數(shù)據(jù)存儲(chǔ)層將硬件獲取的原始影像、拼接成果影像、實(shí)景相互關(guān)聯(lián)以及實(shí)景地理位置等數(shù)據(jù)進(jìn)行完備存儲(chǔ)，為軟件系統(tǒng)服務(wù)提供數(shù)據(jù)支撐；軟件系統(tǒng)服務(wù)層實(shí)現(xiàn)了各類(lèi)數(shù)據(jù)的存儲(chǔ)訪問(wèn)、關(guān)聯(lián)及發(fā)布服務(wù)，是開(kāi)展后續(xù)應(yīng)用的基礎(chǔ)；軟件系統(tǒng)應(yīng)用層支持處理、發(fā)布、展示及公眾服務(wù)等多類(lèi)型應(yīng)用，以此建立業(yè)務(wù)信息支撐；軟件系統(tǒng)交互層通過(guò)跨平臺(tái)的訪問(wèn)及交互，實(shí)現(xiàn)眾需反饋、眾源匯集、眾創(chuàng)實(shí)施的實(shí)景地圖大平臺(tái)建設(shè)與運(yùn)營(yíng)。這5個(gè)層次的功能整合，形成了天地及室內(nèi)外一體實(shí)景采集、處理、加工和發(fā)布的各個(gè)環(huán)節(jié)的系統(tǒng)模塊，針對(duì)技術(shù)課題進(jìn)行攻關(guān)研發(fā)，取得了創(chuàng)新的研發(fā)成果。

圖2 系統(tǒng)技術(shù)架構(gòu)圖Fig.2 System Architecture

2 實(shí)景地圖系統(tǒng)建設(shè)關(guān)鍵技術(shù)

系統(tǒng)建設(shè)中，涉及實(shí)景影像的拼接勻色、關(guān)聯(lián)建立、隱私處理、集成發(fā)布等多項(xiàng)關(guān)鍵技術(shù)。

2.1 多相機(jī)圖像拼接及勻色

該技術(shù)是為解決實(shí)景圖像拼接過(guò)程中多幅圖像之間的亮度和色彩差異問(wèn)題而提出的，其主要算法步驟如下：

S1，利用Gamma校正提高每幅圖像的亮度；

S2，從提高亮度后的每幅圖像中選取圖像信息熵最大的為參考圖像，其余圖像為目標(biāo)圖像；

S3，將每幅圖像從RGB顏色空間變換到Y(jié)CbCr顏色空間；

S4，以參考圖像為標(biāo)準(zhǔn)，在YCbCr顏色空間中將目標(biāo)圖像的色彩和亮度調(diào)整到與參考圖像一致；

S5，對(duì)每幅圖進(jìn)行顏色空間反變換，得到RGB空間的圖像；

S6，采用圖像同名點(diǎn)匹配算法對(duì)圖像進(jìn)行拼接，得到初步實(shí)景圖像；

S7，對(duì)得到的初步圖像進(jìn)行增強(qiáng)對(duì)比度處理，得到亮度、色彩均衡的實(shí)景圖像。

依托多圖像視覺(jué)歸一化處理，能夠消除實(shí)景圖像拼接過(guò)程中多幅圖像之間的亮度和色彩差異，改善實(shí)景圖像視覺(jué)效果，使其在亮度和色彩上具有一致性，如圖3所示。

圖3 原始圖片與勻色增強(qiáng)后的圖片對(duì)比Fig.3 Comparison between raw image and enhanced image

2.2 天地及室內(nèi)外實(shí)景自動(dòng)關(guān)聯(lián)

在天空和地面室內(nèi)外拍攝的實(shí)景影像之間, 基于地理位置自動(dòng)建立相互關(guān)聯(lián)，形成整體性的空間數(shù)據(jù)聯(lián)系，為用戶(hù)瀏覽和承載數(shù)據(jù)提供索引基礎(chǔ)。其主要算法步驟如下：

S1，采集實(shí)景圖片信息，包括實(shí)景圖片及采集該實(shí)景圖片時(shí)的位置點(diǎn)坐標(biāo)P0(x0，y0，z0)；

S2，根據(jù)當(dāng)前實(shí)景圖片的采集位置點(diǎn)P0(x0，y0，z0)獲得指定緩沖區(qū)內(nèi)與之關(guān)聯(lián)的關(guān)聯(lián)實(shí)景圖片；

S3，選擇一個(gè)指定方向作為參考方向，并在實(shí)景圖中任意選取輔助點(diǎn)P1，其空間坐標(biāo)為P1(x1，y1，z1)，在實(shí)景圖片中坐標(biāo)為P1(m1，n1)，根據(jù)當(dāng)前實(shí)景圖片的采集位置點(diǎn)P0(x0，y0，z0)與輔助點(diǎn)P1得到一參考方向點(diǎn)在該實(shí)景圖片中的對(duì)應(yīng)位置；

S4，根據(jù)該參考方向點(diǎn)在當(dāng)前實(shí)景圖片中的對(duì)應(yīng)位置來(lái)計(jì)算關(guān)聯(lián)實(shí)景圖片的采集位置點(diǎn)與當(dāng)前實(shí)景圖片的對(duì)應(yīng)關(guān)系，根據(jù)相應(yīng)的對(duì)應(yīng)關(guān)系實(shí)現(xiàn)關(guān)聯(lián)實(shí)景圖片與當(dāng)前實(shí)景圖片的關(guān)聯(lián)，得到天地及室內(nèi)外一體化實(shí)景地圖。

圖4為實(shí)景影像之間自動(dòng)關(guān)聯(lián)的成果，其中飛機(jī)圖標(biāo)為空中實(shí)景的關(guān)聯(lián)索引，飛水滴圖標(biāo)為地面實(shí)景的關(guān)聯(lián)索引。

圖4 實(shí)景影像的自動(dòng)關(guān)聯(lián)成果Fig.4 Automatic correlation results of real images

2.3 隱私識(shí)別處理

實(shí)景拍攝的照片中易出現(xiàn)人物和車(chē)輛等涉及公眾隱私的影像，因此對(duì)影像中的隱私信息進(jìn)行識(shí)別和處理，是實(shí)景地圖生產(chǎn)的一項(xiàng)重要課題[8-10]。本文研究以人臉處理為重點(diǎn)，建立人臉膚色模型進(jìn)行識(shí)別。

通過(guò)大量人臉樣本統(tǒng)計(jì)，選取膚色由較亮至較暗、較白至較黃的多幅人臉進(jìn)行機(jī)器學(xué)習(xí)。由于人臉在影像中普遍較小，眼睛區(qū)域往往相對(duì)占據(jù)了將近1/3的比例，眼睛周邊膚色偏暗，為了建立的膚色模型的準(zhǔn)確性，截取眼睛以下的臉頰至下巴區(qū)域或者眼睛以上的額頭區(qū)域進(jìn)行統(tǒng)計(jì)。然后進(jìn)行膚色相似度檢測(cè)，在初步篩選的基礎(chǔ)上，再按照人臉比例、面積和頭發(fā)區(qū)域計(jì)算方式進(jìn)行進(jìn)一步篩選。從而使得系統(tǒng)識(shí)別到人臉隱私，將該隱私區(qū)域使用矩形框標(biāo)注出來(lái)，統(tǒng)一進(jìn)行相應(yīng)的隱私模糊。隱私模糊采用均值濾波算法，能夠?qū)崿F(xiàn)和周邊非隱私區(qū)域的較好銜接，如圖5所示。

圖5 人臉隱私識(shí)別與處理效果Fig.5 Face recognition and blurring

2.4 經(jīng)濟(jì)社會(huì)信息集成

將重慶地理信息公眾服務(wù)平臺(tái)網(wǎng)站（愛(ài)尚重慶，http://www.cqmap.com）上已經(jīng)整合的經(jīng)濟(jì)社會(huì)信息與實(shí)景地圖進(jìn)行融合，使實(shí)景地圖和電子地圖的數(shù)據(jù)相結(jié)合，將多個(gè)層次的地理信息進(jìn)行整體直觀反映。數(shù)據(jù)整合利用地址匹配和地理編碼技術(shù)進(jìn)行處理。研究形成了基于無(wú)規(guī)則地址點(diǎn)的地理編碼模型，對(duì)文字描述的信息中包含的地址進(jìn)行編碼，在編碼后與標(biāo)準(zhǔn)地址坐標(biāo)相匹配關(guān)聯(lián)，用于實(shí)景地圖中的自動(dòng)注記生成和存儲(chǔ)展現(xiàn)。通過(guò)地址匹配方法確認(rèn)社會(huì)經(jīng)濟(jì)信息的地理坐標(biāo)后，再通過(guò)之前的實(shí)景關(guān)聯(lián)算法與實(shí)景上的圖像進(jìn)行關(guān)聯(lián)，實(shí)現(xiàn)數(shù)據(jù)的實(shí)景索引集成，如圖6所示。

圖6 關(guān)聯(lián)經(jīng)濟(jì)社會(huì)信息（二手房戶(hù)外實(shí)景）Fig.6 Associated with economic and social information (outdoor reality of second-hand housing)

3 應(yīng)用實(shí)踐案例

3.1 區(qū)域覆蓋

通過(guò)天空和地面實(shí)景數(shù)據(jù)的聯(lián)動(dòng)，實(shí)現(xiàn)了對(duì)重慶市主城區(qū)主要地標(biāo)、商圈和風(fēng)景區(qū)的概括性覆蓋，涉及面積約700 km2，實(shí)景數(shù)量總量超過(guò)1 000景。部分研究成果已經(jīng)發(fā)布在“愛(ài)尚重慶”上，面向公眾開(kāi)展實(shí)景地圖服務(wù)?？罩袑?shí)景主干點(diǎn)位分布如圖7所示，每個(gè)空中實(shí)景已關(guān)聯(lián)索引多個(gè)地面實(shí)景。

圖7 重慶市主城區(qū)主要空中實(shí)景影像分布Fig.7 Distribution of main aerial real images in urban area of Chongqing

3.2 天空實(shí)景影像

通過(guò)對(duì)重慶市主城區(qū)規(guī)劃的各個(gè)天空任務(wù)點(diǎn)進(jìn)行采集，實(shí)現(xiàn)了對(duì)重慶市主城區(qū)商圈、重要景點(diǎn)、重點(diǎn)經(jīng)濟(jì)區(qū)域及重點(diǎn)公共場(chǎng)所的全覆蓋。生產(chǎn)效果如圖8、圖9所示。

圖8 朝天門(mén)兩江交匯處Fig.8 Junction of two rivers at Chaotianmen

圖9 渝中半島夜景Fig.9 Night view of Yuzhong Peninsula

3.3 商業(yè)服務(wù)

天空和地面的實(shí)景影像，按照拍攝位置的坐標(biāo)以及空間層級(jí)之間的關(guān)系，依托自動(dòng)關(guān)聯(lián)算法和少量人工判讀，建立起便捷的導(dǎo)覽關(guān)系網(wǎng)絡(luò)。重要對(duì)象的外部鏈接通過(guò)生成二維碼等方式，掛接相關(guān)經(jīng)濟(jì)社會(huì)信息。目前地面場(chǎng)景關(guān)聯(lián)信息已經(jīng)實(shí)現(xiàn)了重慶觀音橋等商圈及多家合作商家的接入，全方位、多角度立體展現(xiàn)了觀音橋商圈優(yōu)良的環(huán)境風(fēng)貌、一流的服務(wù)設(shè)施、優(yōu)雅的購(gòu)物、娛樂(lè)、休閑環(huán)境。公眾可通過(guò)移動(dòng)互聯(lián)網(wǎng)絡(luò)獲取天地及室內(nèi)外一體化實(shí)景地圖的導(dǎo)航、定位、信息查詢(xún)等服務(wù)。還為部分實(shí)體店商提供了互聯(lián)網(wǎng)實(shí)景地圖宣傳入口，擴(kuò)大了實(shí)體店商的宣傳渠道，得到商戶(hù)的好評(píng)。有力提升了商圈的日常及應(yīng)急管理能力，拓展了商家的營(yíng)銷(xiāo)渠道，為打造智慧商圈提供了豐富、直觀、現(xiàn)勢(shì)性強(qiáng)的空間信息基礎(chǔ)設(shè)施，如圖10所示。

圖10 商業(yè)服務(wù)Fig.10 Commercial service

3.4 城市管理服務(wù)

天地及室內(nèi)外一體實(shí)景在城市管理運(yùn)營(yíng)方面已發(fā)揮重要的支撐作用。實(shí)景地圖數(shù)據(jù)覆蓋面廣，數(shù)據(jù)分辨率高，可輔助執(zhí)法人員清晰識(shí)別樓頂違法建筑、街道旁的違法建筑，豐富了違法建筑信息獲取與取證手段。通過(guò)定期的數(shù)據(jù)采集、更新、對(duì)比，執(zhí)法部門(mén)可對(duì)下達(dá)整改通知書(shū)的建筑進(jìn)行評(píng)估與監(jiān)督。在違法建筑識(shí)別與取證、整改監(jiān)督與檢查、事后評(píng)估等環(huán)節(jié)對(duì)業(yè)務(wù)提供了良好支持，可提升規(guī)劃監(jiān)督的工作效率。

3.5 公眾服務(wù)

天地及室內(nèi)一體實(shí)景作為一種城市風(fēng)貌和現(xiàn)狀的良好載體，在其發(fā)布和運(yùn)營(yíng)過(guò)程中易得到市民用戶(hù)的關(guān)注。依托該技術(shù)工具，對(duì)用戶(hù)關(guān)注的城市熱點(diǎn)進(jìn)行及時(shí)的追蹤展現(xiàn)，能夠調(diào)動(dòng)和保持用戶(hù)的關(guān)注熱情，使實(shí)景地圖應(yīng)用產(chǎn)生更大的社會(huì)效益。本課題完成單位以該技術(shù)為基礎(chǔ)推出的“實(shí)景游公園”系列為其中的典型代表，如圖11、圖12所示。

圖11 “實(shí)景游公園”-重慶照母山森林公園Fig.11 " Virtual Tour Park " -Chongqing Zhaomu mountain forest park

圖12 “實(shí)景游公園”-重慶海棠煙雨公園Fig.12 "Virtual Tour Park" - Chongqing Haitangyanyu park

除專(zhuān)業(yè)機(jī)構(gòu)外，實(shí)景熱點(diǎn)的來(lái)源還可由公眾發(fā)起。公眾可通過(guò)互聯(lián)網(wǎng)提交實(shí)景采集需求的時(shí)間、地點(diǎn)和事由，待平臺(tái)審核后，依托系統(tǒng)推行任務(wù)眾包，并對(duì)多位用戶(hù)來(lái)源的實(shí)景數(shù)據(jù)進(jìn)行匯集，如圖13所示。采集任務(wù)在互聯(lián)網(wǎng)上進(jìn)行分發(fā)，可由用戶(hù)認(rèn)領(lǐng)任務(wù)，并可在線提交成果，經(jīng)評(píng)估采納后，進(jìn)行酬勞結(jié)算，逐步構(gòu)造起一個(gè)實(shí)景采集、發(fā)布的創(chuàng)業(yè)圈。

圖13 眾包管理系統(tǒng)Fig.13 Crowdsourcing management system

4 結(jié)束語(yǔ)

目前，國(guó)內(nèi)和國(guó)外地面實(shí)景建設(shè)如火如荼，很多互聯(lián)網(wǎng)企業(yè)和測(cè)繪機(jī)構(gòu)都有涉足。隨著近年來(lái)無(wú)人機(jī)技術(shù)的逐步成熟，天空實(shí)景的數(shù)據(jù)采集業(yè)務(wù)也日益繁榮。本研究解決了天空和地面的實(shí)景數(shù)據(jù)有機(jī)結(jié)合。通過(guò)技術(shù)上對(duì)天空和地面實(shí)景的整合，實(shí)現(xiàn)了一體的數(shù)據(jù)瀏覽和利用模式。項(xiàng)目構(gòu)建了基于互聯(lián)網(wǎng)+地理信息+經(jīng)濟(jì)社會(huì)信息等大數(shù)據(jù)的“大地圖”開(kāi)發(fā)模式，支持跨平臺(tái)、多終端移動(dòng)互聯(lián)網(wǎng)的應(yīng)用；建立了眾需反饋和眾源供圖的天地及室內(nèi)外一體實(shí)景地圖眾創(chuàng)技術(shù)支持體系。制定了天空、地面、室內(nèi)室外實(shí)景數(shù)據(jù)的采集加工處理技術(shù)規(guī)范，研發(fā)了配套的軟件系統(tǒng)，率先實(shí)現(xiàn)了天地及室內(nèi)外一體實(shí)景地圖的跨平臺(tái)發(fā)布。

在后續(xù)的研發(fā)中，將對(duì)積累的海量實(shí)景影像開(kāi)展研究，嘗試進(jìn)行結(jié)構(gòu)化分類(lèi)、特征提取、圖像匹配，更好地支持智慧城市應(yīng)用，并研究與VR/AR技術(shù)的融合，為智慧城市建設(shè)提供更加直觀、全面和及時(shí)的新型地理信息基礎(chǔ)設(shè)施。