黃迎春,方 輝
(1. 安徽省第三測繪院,安徽 合肥 230601)
隨著測繪新技術(shù)的不斷突破,信息技術(shù)的發(fā)展越來越快,提高測繪生產(chǎn)力的技術(shù)應(yīng)用越來越豐富?!吨腔鄢鞘袝r空大數(shù)據(jù)平臺建設(shè)技術(shù)大綱》明確提出:基于云計算、大數(shù)據(jù)、人工智能計算等互聯(lián)網(wǎng)新應(yīng)用技術(shù)建設(shè)時空大數(shù)據(jù)平臺,提高測繪生產(chǎn)力,發(fā)展測繪新技術(shù)[1]。傳統(tǒng)測繪技術(shù)方法與遙感大數(shù)據(jù)、地理信息系統(tǒng)、云計算軟件等現(xiàn)代化高新技術(shù)領(lǐng)域不斷融合創(chuàng)新發(fā)展,無邊界多尺度地理要素數(shù)據(jù)、空地一體綜合測繪、網(wǎng)絡(luò)信息智能抓取系統(tǒng)等數(shù)字測繪的新技術(shù)研究成果不斷涌現(xiàn),信息化的測繪成果體系概念正逐步形成。地理信息數(shù)據(jù)生產(chǎn)對海量地理信息數(shù)據(jù)快速處理要求越來越高,我院為提高地理信息數(shù)據(jù)生產(chǎn)的能力,提升生產(chǎn)效率,引進(jìn)了私有云模式結(jié)合GPU云技術(shù)構(gòu)建地理信息數(shù)據(jù)處理云平臺,將生產(chǎn)所需硬件資源池化,如CPU、內(nèi)存、存儲等資源,按需分配給生產(chǎn)人員所需云主機(jī),所分配云主機(jī)在獲得圖形工作站一致的使用功能基礎(chǔ)上大幅提升了性能,同時在IT管理上獲得傳統(tǒng)圖形工作站無可比擬的便捷高效。
傳統(tǒng)地理信息數(shù)據(jù)處理生產(chǎn)模式為圖形工作站+集中存儲作業(yè)模式,如圖1 所示。工作站分布在各個作業(yè)室,數(shù)據(jù)流轉(zhuǎn)由工作站與集中存儲之間上傳、下載進(jìn)行,各作業(yè)室完成作業(yè)生產(chǎn)后,將成果上傳至集中存儲。
圖1 傳統(tǒng)圖形工作站+集中存儲作業(yè)模式
傳統(tǒng)生產(chǎn)模式下,數(shù)據(jù)流轉(zhuǎn)時間較長,數(shù)據(jù)分發(fā)和匯總需要工作站和集中存儲之前反復(fù)上傳、下載。經(jīng)統(tǒng)計,數(shù)據(jù)流轉(zhuǎn)時間占整個作業(yè)時間40%左右,其中尤為突出的是遙感數(shù)據(jù)生產(chǎn)過程中,由于網(wǎng)絡(luò)性能和存儲能力造成嚴(yán)重的性能瓶頸,從而導(dǎo)致生產(chǎn)效率低下。尤其當(dāng)前一些大型的遙感數(shù)據(jù)工程處理模式,如CIPS、PixelGrid以及GXL,往往需要花費(fèi)數(shù)周時間才能完成數(shù)據(jù)處理作業(yè),這其中大量時間浪費(fèi)在數(shù)據(jù)流轉(zhuǎn)上。
傳統(tǒng)生產(chǎn)模式下,重要的業(yè)務(wù)數(shù)據(jù)都保存在本地服務(wù)器或者在集中式存儲服務(wù)器中,數(shù)據(jù)的存儲節(jié)點沒有任何災(zāi)備的保護(hù),一旦存儲服務(wù)器系統(tǒng)發(fā)生故障,數(shù)據(jù)將會有丟失風(fēng)險,造成巨大的損失[2]。
涉密地理信息在空間定位和空間分析業(yè)務(wù)系統(tǒng)中的應(yīng)用越來越廣泛;而業(yè)務(wù)系統(tǒng)的環(huán)境要求越來越開放,使得業(yè)務(wù)系統(tǒng)對涉密地理信息的管理越來越難[3]。傳統(tǒng)生產(chǎn)模式下,生產(chǎn)數(shù)據(jù)分散在各個工作站中,各個圖形工作站部署在作業(yè)端,涉密信息泄露風(fēng)險大,需要投入大量的管理成本來進(jìn)行約束。
IT 設(shè)備種類、數(shù)量繁多,無法通過運(yùn)維平臺進(jìn)行統(tǒng)一管理,工作人員需要投入大量時間進(jìn)行操作系統(tǒng)安裝、重置,生產(chǎn)軟件的部署等,屬低效率的重復(fù)勞動。
為滿足生產(chǎn)業(yè)務(wù)需求,不定期按需采購圖形工作站、服務(wù)器、存儲、安全等硬件設(shè)備,用于設(shè)備更新和業(yè)務(wù)生產(chǎn),硬件設(shè)備種類多、數(shù)量大,但無法形成統(tǒng)一的算力平臺。
基于GPU 云技術(shù)搭建地理信息數(shù)據(jù)處理云平臺,所有硬件資源形成統(tǒng)一的資源池,將計算、存儲、網(wǎng)絡(luò)、GPU資源整合成統(tǒng)一管理、彈性調(diào)度、靈活分配的硬件資源池,實現(xiàn)數(shù)據(jù)、業(yè)務(wù)、生產(chǎn)、管理的集中統(tǒng)一[4]。將傳統(tǒng)模式下依靠局域網(wǎng)絡(luò)進(jìn)行數(shù)據(jù)共享傳輸、依靠單機(jī)作業(yè)進(jìn)行數(shù)據(jù)處理的生產(chǎn)模式,提升為數(shù)據(jù)內(nèi)部流轉(zhuǎn)、數(shù)據(jù)集群處理的形式,同時設(shè)置唯一的數(shù)據(jù)出入管理中心,保證所有數(shù)據(jù)存儲于平臺服務(wù)器中,真實數(shù)據(jù)不流轉(zhuǎn)到作業(yè)端,實現(xiàn)數(shù)據(jù)集中管理,提升安全保密技術(shù)水平。GPU 云測繪組織模式如圖2所示。
圖2 GPU云測繪組織模式
采用GPU云技術(shù)是對原有物理服務(wù)器架構(gòu)實現(xiàn)了資源池化,生產(chǎn)所需云主機(jī)全部運(yùn)行建立在平臺虛擬機(jī)環(huán)境上[5]。實現(xiàn)資源間的資源高度整合共享、集中優(yōu)化管理資源以及可動態(tài)的擴(kuò)展,從而大幅度提高對資源的平均利用率,可有效合理的節(jié)省資源管理成本,提高內(nèi)部資源集中管理工作的整體水平[6]。
能通過虛擬化技術(shù)實現(xiàn)計算資源池化,支持故障在線遷移、智能備份、計算資源在線添加、計算資源彈性分配等功能,滿足生產(chǎn)業(yè)務(wù)以及生產(chǎn)人員對計算資源的需求。
1)存儲資源模塊。在地理信息云數(shù)據(jù)處理云平臺中,將硬件設(shè)備中所有可用的硬盤通過分布式云存儲技術(shù)來構(gòu)建成一個分布式存儲資源池,用戶存儲的生產(chǎn)數(shù)據(jù)和備份數(shù)據(jù)資料都統(tǒng)一存放存儲池中,并通過多副本機(jī)制進(jìn)行數(shù)據(jù)冗余設(shè)計,確保數(shù)據(jù)安全性。
2)網(wǎng)絡(luò)資源模塊。在地理信息數(shù)據(jù)處理云平臺系統(tǒng)中,為保證整個云平臺系統(tǒng)的實時性能,平臺后端的支撐網(wǎng)絡(luò)規(guī)劃為萬兆(10 GB/S)網(wǎng)絡(luò),不僅支持虛擬機(jī)之間實時高速可靠的通信,同時還支撐完成多副本實時并發(fā)讀寫的工作[7]。
3)云平臺管理系統(tǒng)。通過部署地理信息數(shù)據(jù)處理云平臺管理系統(tǒng),將計算資源進(jìn)行統(tǒng)一的管理和調(diào)度,以云虛擬機(jī)服務(wù)的方式呈現(xiàn)給用戶,并對所有的資源狀態(tài)進(jìn)行監(jiān)控和統(tǒng)計。
4)安全模塊。軟件定義網(wǎng)絡(luò)安全,支持分布式路由、分布式交換,擁有虛擬防火墻功能,以及智能負(fù)載均衡,滿足虛擬機(jī)的安全要求。
5)GPU 模塊。GPU 云管理系統(tǒng),提供高性能且可靠的桌面投送,滿足桌面?zhèn)鬏?,將服?wù)器CPU、內(nèi)存、存儲、網(wǎng)絡(luò)、顯卡資源按需分配,并利用傳輸協(xié)議將畫面發(fā)送至瘦客戶機(jī),支持NVIDIA 全系列顯卡,并按需分配高低性能顯卡給不同虛擬機(jī),滿足測繪內(nèi)業(yè)不同負(fù)載使用場景。
1)平臺兼容性測試。在生產(chǎn)應(yīng)用過程中,對常用的主要生產(chǎn)軟件測試情況見表1。 經(jīng)生產(chǎn)應(yīng)用測試,GPU云平臺可兼容目前常用生產(chǎn)軟件。
表1 平臺兼容性測試
2)性能跑分測試。魯大師電腦綜合性能評分是通過模擬電腦計算獲得的CPU 速度測評分?jǐn)?shù)和模擬3D 游戲場景獲得的游戲性能測評分?jǐn)?shù)綜合計算所得。該分?jǐn)?shù)能較全面的表示電腦的綜合性能。通過魯大師電腦綜合性能評分能較全面的掌握云平臺終端的綜合性能,其評測結(jié)果見表2 所示,云平臺普通終端性能高于大部分現(xiàn)有工作站,低于高配工作站,超級終端性能高于現(xiàn)有所有工作站。
表2 性能跑分測試
3)數(shù)據(jù)拷貝性能測試與比對。數(shù)據(jù)拷貝與遷移性能在實際生產(chǎn)過程中十分重要,目前無論是1∶10 000 基礎(chǔ)測繪更新、地理國情監(jiān)測、天地圖數(shù)據(jù)更新還是大比例尺地形圖數(shù)據(jù)生產(chǎn)都需要大范圍二維影像或三維數(shù)據(jù),在數(shù)據(jù)生產(chǎn)的準(zhǔn)備階段往往需要從云平臺外部拷入,并在云平臺內(nèi)再拷貝給每個作業(yè)人員,數(shù)據(jù)生產(chǎn)完成后,上交資料又需要從云平臺拷出,上述環(huán)節(jié)就需要較長時間,拷貝速度的快慢直接影響到數(shù)據(jù)生產(chǎn)的時間,因此,為充分了解云平臺數(shù)據(jù)拷貝遷移的能力,進(jìn)行了擺渡機(jī)數(shù)據(jù)拷貝及云平臺內(nèi)部數(shù)據(jù)拷貝、傳統(tǒng)平臺(圖站+存儲)的數(shù)據(jù)拷貝等測試,通過測試云平臺數(shù)據(jù)流轉(zhuǎn)性能優(yōu)異,較傳統(tǒng)平臺提升明顯。其測試結(jié)果見表3。
表3 數(shù)據(jù)拷貝性能測試情況一覽表
4)生產(chǎn)軟件應(yīng)用測試。通過云平臺及傳統(tǒng)單機(jī)工作站2種平臺對2022年某市高分衛(wèi)星影像進(jìn)行數(shù)據(jù)下載、數(shù)據(jù)共享等作業(yè)流程,利用PixeGrid7.1對數(shù)據(jù)進(jìn)行匹配預(yù)處理、匹配連接點、正射影像糾正及融合等全自動化流程處理的運(yùn)行時間進(jìn)行比對(表4)。
表4 PixeGrid7.1生產(chǎn)測試
經(jīng)過生產(chǎn)測試,云平臺分布式存儲,解決了大數(shù)據(jù)存儲對單機(jī)工作站的壓力;平臺用戶間數(shù)據(jù)傳輸速度快,減少數(shù)據(jù)拷貝時間;云平臺可以實現(xiàn)數(shù)據(jù)的共享,避免了任務(wù)分配調(diào)整帶來的數(shù)據(jù)重復(fù)下載、交換的工作量;云平臺可以配置高性能的超級賬戶,數(shù)據(jù)處理速度更快。
1)提升數(shù)據(jù)流轉(zhuǎn)效率。GPU 云數(shù)據(jù)流轉(zhuǎn)效率提升明顯,數(shù)據(jù)傳輸速度更快,相比傳統(tǒng)生產(chǎn)模式需要存儲在電腦終端,減少了與服務(wù)器之間上傳、下載的過程。同時,云平臺數(shù)據(jù)通過資料室輸入輸出也更快,減少生產(chǎn)過程中數(shù)據(jù)準(zhǔn)備時間。
2)提高數(shù)據(jù)保密級別。與以往的傳統(tǒng)生產(chǎn)模式下單機(jī)作業(yè)在本地硬盤存儲數(shù)據(jù)不同,云平臺不在本地存儲數(shù)據(jù),降低了數(shù)據(jù)安全風(fēng)險,提高數(shù)據(jù)保密級別。同時在分布式存儲技術(shù)系統(tǒng)中的文件存在多個備份,不會因為單塊硬盤的損壞而丟失數(shù)據(jù),一定程度上避免因硬件原因而丟失數(shù)據(jù)。
3)實現(xiàn)統(tǒng)一運(yùn)維管理。通過云平臺實現(xiàn)軟硬件的統(tǒng)一管理,傳統(tǒng)生產(chǎn)模式下,工作站安裝系統(tǒng)或軟件時需要單獨(dú)分別安裝,耗費(fèi)大量時間和人力,使用云平臺后可以通過鏡像快速批量安裝,降低運(yùn)維管理成本,同時實現(xiàn)軟硬件全面監(jiān)控,快速定位故障點。
4)資源動態(tài)彈性分配。云平臺資源可以按實際需要進(jìn)行調(diào)配,更好地利用云平臺資源的使用效率,資源利用更高效,更靈活;可以“集中力量辦大事”,對于需要集中算力的數(shù)據(jù)處理工作,可以利用超級終端進(jìn)行集中運(yùn)算,生產(chǎn)中可以更好地提升效率;摒棄了本機(jī)概念,利用專有賬號登錄個人空間,不再受座位限制。
5)海量分布式存儲資源。傳統(tǒng)生產(chǎn)模式的單機(jī)存儲方式由于受單塊硬盤容量的限制,對大數(shù)據(jù)量的數(shù)據(jù)生產(chǎn)難以完全勝任,云平臺采用分布式存儲技術(shù),打破了單塊硬盤的存儲限制,一次性可以處理的數(shù)據(jù)量大大提高,對海量影像數(shù)據(jù)處理效率得到大幅提升。
6)算力資源橫向擴(kuò)展。云平臺架構(gòu)可不斷橫向擴(kuò)展,同時可以接入原有圖形工作站提高算力,可在將來的設(shè)備添置中不斷累積平臺算力而不需淘汰原有計算機(jī)設(shè)備,從而在不斷提高系統(tǒng)的運(yùn)算能力的同時提高設(shè)備的利用率。
隨著不同行業(yè)對空間數(shù)據(jù)需求的增加和空間探測技術(shù)的發(fā)展,空間數(shù)據(jù)產(chǎn)品類型日益豐富、成果精度不斷提高、數(shù)據(jù)量呈爆炸式增長[8],GPU 云平臺地理信息數(shù)據(jù)生產(chǎn)模式應(yīng)運(yùn)而生,與傳統(tǒng)生產(chǎn)模式相比,基于GPU云技術(shù)的地理信息數(shù)據(jù)處理云平臺具有資源配置靈活、可不斷擴(kuò)展算力、文件存儲更安全、文件遷移更快捷等優(yōu)點。但作為近年發(fā)展的新生事物,不可避免地存在需要改進(jìn)的地方,需要我們在使用時不斷加深認(rèn)識、不斷拓寬應(yīng)用,更好地發(fā)揮云平臺的優(yōu)勢以服務(wù)實際生產(chǎn)。