吳 勇

（上海民航新時代機場設計研究院有限公司，上海 200335）

0 引言

機場大數(shù)據(jù)平臺的設計與應用是智慧民航發(fā)展過程中至關重要的部分，《中國民航四型機場建設行動綱要（2020—2035年）》指出，建立以機場運行數(shù)據(jù)為核心的大數(shù)據(jù)信息共享平臺，覆蓋旅客出行全流程、貨物運輸全鏈條、運行監(jiān)控全系統(tǒng)、機場管理全領域[1]，綜合運用大數(shù)據(jù)技術(shù)，采集、洗練、統(tǒng)計和分析各類旅客服務、生產(chǎn)協(xié)同、安全與安保、綜合交通、商業(yè)管理、能源管理及航空物流數(shù)據(jù)，實現(xiàn)預測分析、資源優(yōu)化、場景控制、輔助決策等功能，利用大數(shù)據(jù)輔助科學決策，推動政府管理理念和行業(yè)治理模式革新。目前，大數(shù)據(jù)信息共享平臺在機場建設中的具體應用方式如下：通過在本地私有云上部署機場Hadoop大數(shù)據(jù)平臺，提供大數(shù)據(jù)處理環(huán)境和分布式數(shù)據(jù)處理功能，以實現(xiàn)對外大容量的數(shù)據(jù)存儲、分析和實時流式數(shù)據(jù)處理分析功能?？紤]到機場基礎運行數(shù)據(jù)每年都以倍數(shù)關系增長，Hadoop集群的數(shù)據(jù)量增長速度更是大于基礎運行數(shù)據(jù)增幅，而機場基建項目的審批流程從項目立項到竣工驗收時間漫長，往往遇到因數(shù)據(jù)增長超過預期，導致項目驗收后基礎硬件資源利用率過高或已不能滿足使用需求的問題。本文以首都機場大數(shù)據(jù)平臺現(xiàn)狀為例，分析說明現(xiàn)有大數(shù)據(jù)應用模式的不足，在此基礎上提出一種混合云彈性伸縮架構(gòu)的機場大數(shù)據(jù)平臺設計方案，通過將機場現(xiàn)有云下數(shù)據(jù)中心業(yè)務逐步遷移至第三方云上，解決運行數(shù)據(jù)快速增長與基礎硬件資源短缺的問題。

1 大數(shù)據(jù)平臺應用現(xiàn)狀

首都機場是第一批開展大數(shù)據(jù)平臺建設的國內(nèi)機場，2008年首都機場開始立項建設機場大數(shù)據(jù)平臺，擬對機場的運行數(shù)據(jù)、商業(yè)數(shù)據(jù)及能源類數(shù)據(jù)等進行統(tǒng)一管理。2014年，首都機場智慧運營管理平臺建成投產(chǎn)，是國內(nèi)首個基于Apache Hadoop架構(gòu)的機場大數(shù)據(jù)平臺，該平臺具有通用的spark、stream等開源通用組件，能夠支持非結(jié)構(gòu)化數(shù)據(jù)及流數(shù)據(jù)的處理[2]。2019年，首都機場啟動大數(shù)據(jù)平臺項目的升級建設工作，對現(xiàn)有大數(shù)據(jù)平臺進行升級改造，在原平臺基礎上增加了面向生產(chǎn)運行、經(jīng)營管理、旅客服務、安全防范等業(yè)務領域的應用支撐平臺。

從首都機場大數(shù)據(jù)平臺的建設案例可以看出，由于機場運行數(shù)據(jù)增長和新增業(yè)務應用每隔3～5年就需要重新立項升級擴容現(xiàn)有大數(shù)據(jù)平臺，采用本地私有云的建設模式，每次升級都需對現(xiàn)有基礎硬件設施重新擴容，建設周期漫長、初期建設投資高。而采用混合云建設模式將部分業(yè)務遷移至第三方云上部署，可以大幅提升大數(shù)據(jù)平臺基礎硬件資源處理能力、縮短建設周期、降低建設初期投資費用，同時節(jié)約運維成本。

2 基于混合云的機場大數(shù)據(jù)平臺設計方案

目前國內(nèi)各大機場陸續(xù)開展機場大數(shù)據(jù)基礎平臺建設，對機場數(shù)據(jù)進行資產(chǎn)化管理，通過云計算、人工智能、數(shù)字孿生和物聯(lián)網(wǎng)等創(chuàng)新性信息技術(shù)綜合運用，實現(xiàn)機場在更多業(yè)務場景的創(chuàng)新性應用與服務。

2.1 混合云架構(gòu)大數(shù)據(jù)平臺設計

本次機場大數(shù)據(jù)平臺設計方案（如圖1所示）基于混合云平臺架構(gòu)提供大數(shù)據(jù)MapReduce服務（MRS），MRS是一個在基于云上業(yè)務部署的高性能并行計算平臺，采用湖倉一體化架構(gòu)，減少數(shù)據(jù)重復存儲，消除數(shù)據(jù)孤島，提供數(shù)據(jù)統(tǒng)一存儲、加工、查詢、分析的功能，支撐離線數(shù)據(jù)及實時數(shù)據(jù)的處理，通過各組件功能，實現(xiàn)對大數(shù)據(jù)中心能力的基礎技術(shù)支撐[3]。

圖1 混合云架構(gòu)大數(shù)據(jù)平臺設計方案

2.1.1 混合云平臺

混合云是一種混合部署方式，通過VPN或者企業(yè)專線，把私有云和公有云有機結(jié)合在一起。公有云服務器主要負責處理各企業(yè)間的共有業(yè)務、存放公共數(shù)據(jù)、分析計算數(shù)據(jù)量大但數(shù)據(jù)安全要求較低的數(shù)據(jù)[4]。本地重要業(yè)務核心數(shù)據(jù)部署在本地私有云服務器上，既具有私有云的保密性和安全性，也兼?zhèn)涔性瀑Y源豐富和擴展性強的特點。

基于混合云平臺的機場大數(shù)據(jù)平臺設計方案可隨大數(shù)據(jù)應用數(shù)據(jù)業(yè)務量的變化彈性擴展，避免業(yè)務高峰時期基礎計算資源不足，以及業(yè)務空閑時期基礎資源利用效率低等問題。

2.1.2 Hadoop大數(shù)據(jù)平臺

隨著互聯(lián)網(wǎng)的發(fā)展，數(shù)據(jù)種類越來越多，數(shù)據(jù)產(chǎn)生的速度越來越快，傳統(tǒng)的數(shù)據(jù)庫方案已無法在成本受控的情況解決這些新的大數(shù)據(jù)問題。為解決以上大數(shù)據(jù)問題，2004年GoogleApache基金會推出了Hadoop大數(shù)據(jù)處理的開源解決方案，Hadoop架構(gòu)是一個開源分布式計算平臺，可以通過混合云部署（本地數(shù)據(jù)中心+第三方云廠商），完成海量數(shù)據(jù)的處理。

Hadoop大數(shù)據(jù)平臺是一站式大數(shù)據(jù)管理及開發(fā)平臺，可以匯聚機場內(nèi)各類數(shù)據(jù)形成機場數(shù)據(jù)資源池。提供HDFS、HBase、Kafka、MapReduce、Spark、Hive等 大 數(shù)據(jù)組件，數(shù)據(jù)資源池內(nèi)數(shù)據(jù)可進行批、流、交互式多引擎融合分析。

HDFS（Hadoop Distributed File System）：適合運行在云平臺上的分布式文件系統(tǒng)，可以提供高吞吐量的數(shù)據(jù)訪問，非常適合大規(guī)模數(shù)據(jù)集上的應用；HBase：分布式開源存儲系統(tǒng)，面向列數(shù)據(jù)庫；MapReduce：用于大規(guī)模并行數(shù)據(jù)集計算，能自動處理并行數(shù)據(jù)業(yè)務；Kafka：具備分布式發(fā)布訂閱消息功能，可以提供高可靠海量數(shù)據(jù)的消息分發(fā)服務；Spark：用于大規(guī)模數(shù)據(jù)處理的快速通用分布式的計算框架；Hive：基于Hadoop大數(shù)據(jù)平臺的開源數(shù)據(jù)倉庫工具；提供類似SQL的Hive QL語言操作結(jié)構(gòu)化數(shù)據(jù)存儲服務和基本的數(shù)據(jù)分析服務；Flink：分布式流對流數(shù)據(jù)和批數(shù)據(jù)的處理引擎。

2.1.3 數(shù)據(jù)倉庫

采用大規(guī)模并行分析MPP（Massive Parallel Processing）數(shù)據(jù)庫作為數(shù)據(jù)倉庫，它是Shared Nothing架構(gòu)的分布式并行結(jié)構(gòu)化數(shù)據(jù)庫集群，具備高性能、高可用、高擴展特性，支持行存儲與列存儲。

采用湖倉一體化方案，提供數(shù)據(jù)湖、數(shù)據(jù)倉庫、數(shù)據(jù)集市等多種分析能力，減少數(shù)據(jù)重復存儲，消除數(shù)據(jù)孤島。

數(shù)據(jù)源包含生產(chǎn)類數(shù)據(jù)、安全類數(shù)據(jù)、旅客服務類數(shù)據(jù)、物流信息類數(shù)據(jù)，實現(xiàn)數(shù)據(jù)處理、數(shù)據(jù)倉庫、數(shù)據(jù)治理等功能。

2.1.4 數(shù)據(jù)采集

2.1.4.1 數(shù)據(jù)采集方式

完成數(shù)據(jù)統(tǒng)一采集，具備系統(tǒng)數(shù)據(jù)接入能力、批量文件接入能力、實時消息接入能力。數(shù)據(jù)接入類型包括清單級數(shù)據(jù)、明細級數(shù)據(jù)、用戶級數(shù)據(jù)、標簽數(shù)據(jù)、指標數(shù)據(jù)等。

2.1.4.2 實時消息采集

提供流式數(shù)據(jù)的采集能力?；谥悄苤行拇髷?shù)據(jù)平臺數(shù)據(jù)及服務總線提供的實時流處理工具，提供實時流的設計、開發(fā)及實施服務。

對于實時性要求較高的數(shù)據(jù)，采用實時消息方式接入，保證其可靠性、實時性。消息交互涉及數(shù)據(jù)發(fā)送方、數(shù)據(jù)接收方。實時消息接入需具備部署簡單、易擴展、安全可靠、高效實時等特點。實時消息接入要保證發(fā)送方和接收方數(shù)據(jù)一致性、準確性、實時性；需要具備統(tǒng)計、監(jiān)控功能，保證雙方數(shù)據(jù)平衡；需具備異常告警功能，發(fā)送過程中異常及時告警。

2.1.4.3 批量離線數(shù)據(jù)采集

基于專業(yè)ETL工具，提供離線數(shù)據(jù)的采集服務，將數(shù)據(jù)存儲于大數(shù)據(jù)平臺。提供包括數(shù)據(jù)庫、文本文件、API接口等數(shù)據(jù)源的數(shù)據(jù)離線采集服務。

批量文件接入能力基于FTP（SFTP）傳輸協(xié)議實現(xiàn)文件的交互功能。文件交互涉及數(shù)據(jù)發(fā)送方、數(shù)據(jù)接收方。批量文件接入對數(shù)據(jù)提供方提供的數(shù)據(jù)文件、校驗文件進行及時的讀取、接收、校驗、傳輸及斷點續(xù)傳，具備傳輸全過程監(jiān)控的能力，并保證傳輸?shù)陌踩?、準確性和一致性。

2.1.4.4 其他外部數(shù)據(jù)交換采集

通過機場企業(yè)服務總線與機場外聯(lián)單位之間進行交換獲取數(shù)據(jù)。企業(yè)服務總線負責提供API接口服務、數(shù)據(jù)南北向傳輸、協(xié)議轉(zhuǎn)換、傳輸路由等功能，通過協(xié)議適配，根據(jù)實際業(yè)務情況，配置相應的數(shù)據(jù)交換任務，對系統(tǒng)產(chǎn)生的信息資源進行統(tǒng)一采集匯總和傳輸。

2.2 大數(shù)據(jù)應用服務設計

大數(shù)據(jù)應用服務為機場建立一個數(shù)據(jù)共享與協(xié)同的實時運行數(shù)據(jù)和歷史離線數(shù)據(jù)的共享轉(zhuǎn)發(fā)平臺，整合各類旅客服務、生產(chǎn)協(xié)同、安全與安保、綜合交通、商業(yè)管理、能源管理及航空物流數(shù)據(jù)，統(tǒng)一數(shù)據(jù)交互格式標準和數(shù)據(jù)定義，通過技術(shù)架構(gòu)，實現(xiàn)計算、存儲、網(wǎng)絡和數(shù)據(jù)等資源的共享，滿足機場內(nèi)部、機場與外部單位間數(shù)據(jù)交互的需求，促進機場數(shù)字化轉(zhuǎn)型[5]，輔助機場管理科學決策，推動機場運行管理理念和數(shù)據(jù)治理模式革新。

2.2.1 可視化業(yè)務分析

提供統(tǒng)一的數(shù)據(jù)展示門戶，提供數(shù)據(jù)圖形化展示功能，通過儀表盤、曲線圖、柱狀圖、餅狀圖、表格等多種圖表形式，將旅客服務、生產(chǎn)協(xié)同、安全與安保、綜合交通、商業(yè)管理、能源管理及航空物流數(shù)據(jù)進行交叉融合和緊密關聯(lián)，擬定評價指標標準并用直觀的可視化圖形或文字深度揭示機場運行特性，做到事前預警、事中決策、事后總結(jié)。

2.2.2 生產(chǎn)運行分析應用

機場大數(shù)據(jù)平臺提供滿足機場特定運行場景運行狀態(tài)監(jiān)控需求的數(shù)據(jù)分析平臺，可以對包括航空器、車輛、調(diào)度人員運行效率數(shù)等實時生產(chǎn)數(shù)據(jù)進行多維分析建模、下鉆關聯(lián)分析，以頁面設計和豐富的圖形，實現(xiàn)生產(chǎn)運行的數(shù)據(jù)可視化展示。對當日實時航班運行情況、放行正常率、始發(fā)離港正常率、起飛正常率、值機柜臺、安檢、登機口、機位等資源的狀態(tài)、使用率進行綜合分析，對機場運行壓力實時分析并給出實時評判。

2.2.3 商業(yè)管理分析應用

從機場商業(yè)的主營航空運輸業(yè)務角度對支持機場服務和商業(yè)收入、經(jīng)營成本進行分析，在數(shù)據(jù)管理系統(tǒng)建立的過程中堅持以主營航空運輸業(yè)務為中心的原則，實現(xiàn)航空主業(yè)、整體經(jīng)營、財務、商業(yè)、能源、航班保障服務等領域數(shù)據(jù)的可視化展示，尋找收入管理短板，為管理者進行投入、產(chǎn)出決策提供科學依據(jù)，做好產(chǎn)權(quán)和經(jīng)營性資源價值管理，提升公司整體經(jīng)營業(yè)務水平、資源價值和創(chuàng)新發(fā)展能力。

2.2.4 旅客服務分析應用

通過對業(yè)務系統(tǒng)的對接、報表采集及在線上報等3種方式實現(xiàn)對進出港旅客服務數(shù)據(jù)進行統(tǒng)一采集，采集后的數(shù)據(jù)接入機場大數(shù)據(jù)平臺，獲取天氣、航路航線、進出港旅客、待值機旅客、已安檢旅客、已登機旅客等生產(chǎn)運行數(shù)據(jù)。針對不同角色提供旅客數(shù)據(jù)訪問權(quán)限管理，保障數(shù)據(jù)的安全性。實時展現(xiàn)進出港旅客量、中轉(zhuǎn)旅客、客流流向分布，內(nèi)容包括客戶投訴反饋、行業(yè)測評情況、智慧服務指標、服務監(jiān)測指標等。

2.3 大數(shù)據(jù)平臺設備部署

大數(shù)據(jù)基礎軟件由本地私有云部分和第三方云服務廠商公有云部分組成。

本地私有云平臺配置數(shù)據(jù)采集和加工VM服務器、分析可視化VM服務器、數(shù)據(jù)門戶VM、綜合可視化應用VM服務器和綜合可視化代理VM服務器，以及網(wǎng)絡傳輸和業(yè)務云存儲資源。

本地大數(shù)據(jù)平臺物理服務器采用本地私有云部署，整體可提供Kafka和Flink實時流處理能力50 MB/s，Spark+Hive離線數(shù)據(jù)處理量50 TB，Hbase數(shù)據(jù)集市總數(shù)據(jù)量50 TB、Redis數(shù)據(jù)緩存能力50 GB。另外，通過VPN或者企業(yè)專線接入公有云服務器進行彈性擴展。

3 結(jié)語

為貫徹四型機場建設目標，云計算、大數(shù)據(jù)、物聯(lián)網(wǎng)、移動互聯(lián)、人工智能等創(chuàng)新性信息技術(shù)已被廣泛地應用于新建和改擴建機場工程建設中，相對于傳統(tǒng)的本地大數(shù)據(jù)平臺建設方案，基于混合云架構(gòu)的大數(shù)據(jù)平臺具備敏捷迭代、快速響應、高擴展等技術(shù)優(yōu)點，有利于機場大數(shù)據(jù)應用服務的快速部署和彈性擴容，降低建設初期物理硬件資源投資，提升機場融合數(shù)據(jù)倉庫和數(shù)據(jù)治理能力，為機場數(shù)字化轉(zhuǎn)型大數(shù)據(jù)服務等高階服務賦能，促進民航業(yè)向高質(zhì)量發(fā)展方向轉(zhuǎn)型。

大數(shù)據(jù)平臺在混合云上建設也帶來了一系列需要重點研究的問題。首先，考慮到民航行業(yè)的特殊性，需確保云上數(shù)據(jù)安全，防止核心數(shù)據(jù)泄露。其次，云上、云下都存在海量數(shù)據(jù)，需確保數(shù)據(jù)同步及操作的一致性。最后，在保障現(xiàn)有平臺穩(wěn)定運行的前提下，如何將部分現(xiàn)有業(yè)務安全遷移到公有云是亟待解決的問題。