魏振華，汪健平，張學(xué)利，馬 娜，王志輝

1. 山東省海洋資源與環(huán)境研究院，山東 煙臺(tái) 264006

2. 有色金屬華東地質(zhì)勘查局，江蘇 南京 210007

引言

海洋是海洋生物生存活動(dòng)的場(chǎng)所，海洋環(huán)境與海洋生物的生存息息相關(guān)。海洋環(huán)境中的任何環(huán)境參數(shù)變化，都會(huì)引起海洋生物的分布、洄游、移動(dòng)等變化。衛(wèi)星遙感技術(shù)，能夠?qū)Φ乇硖峁╅L(zhǎng)時(shí)間、大范圍的監(jiān)測(cè)，利用遙感衛(wèi)星對(duì)海洋參數(shù)進(jìn)行監(jiān)測(cè)、分析成為遠(yuǎn)洋漁場(chǎng)環(huán)境和漁場(chǎng)預(yù)報(bào)等應(yīng)用的重要方式，也使得漁業(yè)遙感技術(shù)成為海洋漁業(yè)信息化的研究熱點(diǎn)[1-2]。

基于遙感技術(shù)獲取海洋環(huán)境數(shù)據(jù)，涉及到遙感衛(wèi)星數(shù)據(jù)獲取、加工預(yù)處理、海洋遙感產(chǎn)品處理和服務(wù)發(fā)布等環(huán)節(jié)，不同環(huán)節(jié)需要不同的處理方式，存在編程語(yǔ)言、開發(fā)環(huán)境等異構(gòu)問題，因此專業(yè)人員需要在不同的軟件環(huán)境、不同的處理軟件和不同的網(wǎng)絡(luò)環(huán)境下完成海洋遙感數(shù)據(jù)產(chǎn)品的生產(chǎn)過程。如何創(chuàng)建一個(gè)兼容異構(gòu)環(huán)境的體系，解決海洋遙感從獲取到產(chǎn)品化再到服務(wù)發(fā)布成為海洋漁業(yè)信息化一個(gè)重要研究難題。

本文提出了一種基于消息調(diào)度機(jī)制的遠(yuǎn)洋漁業(yè)數(shù)據(jù)采集體系，解決了異構(gòu)環(huán)境下通信問題，能夠?qū)⒑亍⑷~綠素、海風(fēng)、海浪等海洋漁業(yè)數(shù)據(jù)從采集、加工、產(chǎn)品化和服務(wù)發(fā)布流程串聯(lián)起來，初步解決了遠(yuǎn)洋漁業(yè)數(shù)據(jù)自動(dòng)化生產(chǎn)問題。

文章首先簡(jiǎn)要分析了消息機(jī)制的原理，設(shè)計(jì)了遠(yuǎn)洋漁業(yè)數(shù)據(jù)采集應(yīng)用架構(gòu)，描述了漁業(yè)數(shù)據(jù)生產(chǎn)流程并介紹了相關(guān)功能模塊。最后，以海溫?cái)?shù)據(jù)自動(dòng)化加工為實(shí)例,簡(jiǎn)述了海溫?cái)?shù)據(jù)生產(chǎn)的流程、海溫?cái)?shù)據(jù)在遠(yuǎn)洋漁業(yè)服務(wù)系統(tǒng)中應(yīng)用。實(shí)踐證明,該模式可以很好的解決遠(yuǎn)洋漁業(yè)數(shù)據(jù)的獲取過程,為漁業(yè)魚種預(yù)報(bào)提供數(shù)據(jù)支撐。

1 消息調(diào)度機(jī)制

消息調(diào)度，又稱消息隊(duì)列調(diào)度，它屬于系統(tǒng)中間件部分，是分布式系統(tǒng)中重要的組件。其工作原理是通過消息來協(xié)調(diào)系統(tǒng)中各個(gè)組件或模塊之間的應(yīng)用。主要解決應(yīng)用耦合、異步消息、流量削鋒等問題，實(shí)現(xiàn)高性能、高可用、可伸縮和最終一致性架構(gòu)，是大型分布式系統(tǒng)不可缺少的中間件[3-5]。消息隊(duì)列一般包括四種模式：?jiǎn)蜗蛘{(diào)度模式、回調(diào)模式、輪詢模式、發(fā)布/訂閱模式 (如圖1)。每個(gè)模式包含三個(gè)角色：消息隊(duì)列 (Queue)、發(fā)送者 (Sender)、接收者 (Receiver)。

單向調(diào)用模式，該模式是消息發(fā)送者發(fā)送處理請(qǐng)求給消息隊(duì)列，消息接收者接收到消息，然后執(zhí)行處理,無任何返回給消息發(fā)送者；輪詢模式又稱“Poll”模式，該模式下消息發(fā)送者多采用輪詢操作，每隔一段時(shí)間向消息隊(duì)列發(fā)送服務(wù)請(qǐng)求，當(dāng)消息接收者收到消息隊(duì)列處理消息后,開始執(zhí)行相應(yīng)的操作并及時(shí)返回消息發(fā)送者一個(gè)狀態(tài)地址，消息發(fā)送者繼續(xù)執(zhí)行其他操作,并可通過狀態(tài)地址獲取服務(wù)的最新執(zhí)行狀態(tài)；回調(diào)模式，又稱“Push”模式，該模式下消息發(fā)送者無需頻繁與服務(wù)端進(jìn)行交互，而是提交一個(gè)回調(diào)地址，服務(wù)端在請(qǐng)求處理完成后會(huì)將結(jié)果推送至此回調(diào)地址；發(fā)布/訂閱模式又稱“sub/pub”模式，首先需要將該消息隊(duì)列注冊(cè)到消息調(diào)度服務(wù)器中，消息接收者通過監(jiān)聽的方式實(shí)現(xiàn)該消息隊(duì)列處理的訂閱，當(dāng)消息發(fā)送者發(fā)布消息時(shí)，消息接收者監(jiān)聽到消息處理，執(zhí)行處理請(qǐng)求。針對(duì)消息模式的特點(diǎn)，結(jié)合遠(yuǎn)洋漁業(yè)采集流程，采用了發(fā)布/訂閱模式。

圖1 消息隊(duì)列模式圖Fig.1 Pattern of message queue

2 應(yīng)用架構(gòu)設(shè)計(jì)

2.1 體系架構(gòu)設(shè)計(jì)

基于消息調(diào)度的遠(yuǎn)洋漁業(yè)采集體系，其架構(gòu)主要是由四個(gè)主體部分構(gòu)成[6-8]：應(yīng)用前臺(tái)、隊(duì)列消息傳遞、消息處理服務(wù)器和海洋產(chǎn)品加工處理模塊 (如圖2)。應(yīng)用前臺(tái),主要是網(wǎng)站口令發(fā)送和海洋產(chǎn)品服務(wù)可視化，是 Linux 環(huán)境下 Java 應(yīng)用程序；隊(duì)列消息傳遞，主要是包含衛(wèi)星數(shù)據(jù)相關(guān)參數(shù)和數(shù)據(jù)的消息傳遞，參數(shù)包括消息隊(duì)列的名稱、數(shù)據(jù)下載地址參數(shù)項(xiàng)、數(shù)據(jù)的存儲(chǔ)地址參數(shù)項(xiàng)等；消息處理服務(wù)器主要承載消息體的周轉(zhuǎn)、異常處理和負(fù)載均衡；海洋產(chǎn)品加工處理模塊，包括海洋數(shù)據(jù)采集處理的所有處理方法，涉及到不同的操作環(huán)境、不同的編程語(yǔ)言，屬于異構(gòu)處理模塊：其中衛(wèi)星數(shù)據(jù)下載是在 linux 環(huán)境下基于 python 編程環(huán)境下的處理模塊，數(shù)據(jù)預(yù)處理模塊主要是在 windows 環(huán)境下基于 c# 環(huán)境的處理模塊，數(shù)據(jù)產(chǎn)品與服務(wù)發(fā)布是基于 windows 下的 python 環(huán)境的處理模塊。雖然各個(gè)模塊環(huán)境異構(gòu)，但是通過統(tǒng)一消息接口進(jìn)行監(jiān)聽，依據(jù)消息指令執(zhí)行相關(guān)數(shù)據(jù)處理。最終將數(shù)據(jù)以 Open Geospatial Consortium Web Map Service (簡(jiǎn)稱 OGC WMS 或 WMS)服務(wù)形式注冊(cè)到門戶網(wǎng)站上，進(jìn)行海洋產(chǎn)品可視化。

2.2 漁業(yè)數(shù)據(jù)采集流程及功能模塊設(shè)計(jì)

圖2 漁業(yè)數(shù)據(jù)采集體系架構(gòu)圖Fig.2 Architecture of fishery data acquisition system

遠(yuǎn)洋漁業(yè)海洋產(chǎn)品生產(chǎn)流程，首先是多源衛(wèi)星數(shù)據(jù)獲取數(shù)據(jù)，衛(wèi)星數(shù)據(jù)源主要采用 Modis 衛(wèi)星數(shù)據(jù)、海洋衛(wèi)星二號(hào)數(shù)據(jù)、高分三號(hào)衛(wèi)星數(shù)據(jù)；然后通過自動(dòng)化處理請(qǐng)求，下載到本地，形成全球尺度海洋原始庫(kù)，原始庫(kù)中主要包括葉綠素、海流、海風(fēng)和海流等遙感數(shù)據(jù)；接著對(duì)數(shù)據(jù)進(jìn)行加工與質(zhì)量控制，主要功能模塊包括異常值處理、平均化、空間插值、格式轉(zhuǎn)化等方法，力爭(zhēng)通過這些處理操作，得到標(biāo)準(zhǔn)化數(shù)據(jù)，為數(shù)據(jù)產(chǎn)品化提供數(shù)據(jù)基礎(chǔ)；其次就是遠(yuǎn)洋漁業(yè)海洋系列產(chǎn)品的生產(chǎn)過程，主要功能模塊包括符號(hào)化、Mxd 工程化等操作得到海溫等值線、海溫等值面、海溫、葉綠素等系列產(chǎn)品；再通過服務(wù)發(fā)布形成數(shù)據(jù)服務(wù)，主要是 OGC WMS 服務(wù)，最后將這些 WMS 地址注冊(cè)，通過瀏覽器前臺(tái)解析地址,將海洋產(chǎn)品服務(wù)展示到瀏覽器界面中。

3 應(yīng)用實(shí)例

海溫與漁業(yè)生產(chǎn)關(guān)系十分密切。水溫變化直接影響魚類的生長(zhǎng)、攝食、產(chǎn)卵、洄游、死亡等,并影響魚類種群的變化，最終影響到漁業(yè)資源的數(shù)量、質(zhì)量及其開發(fā)利用。應(yīng)用實(shí)例中介紹了基于遙感的海溫?cái)?shù)據(jù)采集處理流程步驟及其海洋數(shù)據(jù)服務(wù)在相關(guān)應(yīng)用系統(tǒng)中的使用。

3.1 海溫?cái)?shù)據(jù)采集流程化過程

海溫?cái)?shù)據(jù)采集、生產(chǎn)流程主要包括四個(gè)步驟 (如圖4)：(1)Modis 衛(wèi)星數(shù)據(jù)下載原始數(shù)據(jù)：該步驟首先通過搭建代理服務(wù)器確保本地環(huán)境能夠訪問 Modis 相關(guān)數(shù)據(jù)網(wǎng)站，然后利用 python 的 GDAL、netCDF4、requests 等包下載海溫相關(guān)原始數(shù)據(jù)。(2)數(shù)據(jù)加工和質(zhì)量控制：主要包括對(duì)海溫?cái)?shù)據(jù)進(jìn)行異常值剔除、格式轉(zhuǎn)化 、空間化、平均化操作、nc 轉(zhuǎn) tif 空間化、裁剪等過程，是利用 c# 調(diào)用 ArcGIS Engine 開發(fā)模塊實(shí)現(xiàn)。(3)海溫產(chǎn)品化過程：包括空間插值、分級(jí)設(shè)色、Mxd 工程化等制作過程，也是利用 c# 調(diào)用 ArcGIS 相關(guān)功能模塊二次開發(fā)實(shí)現(xiàn)。(4)海溫服務(wù)的自動(dòng)化發(fā)布，利用 Python 調(diào)用 ArcPy 進(jìn)行服務(wù)的自動(dòng)發(fā)布成 OGC WMS 服務(wù)。最后將服務(wù)地址注冊(cè)到應(yīng)用網(wǎng)站中。應(yīng)用網(wǎng)站開發(fā)是基于 Java。四個(gè)步驟雖然在不同的環(huán)境或不同的編程語(yǔ)言實(shí)現(xiàn)，但通過監(jiān)聽消息指令可協(xié)同完成相關(guān)處理。

圖3 遠(yuǎn)洋漁業(yè)海洋產(chǎn)品生產(chǎn)流程圖Fig.3 Flow chart of Ocean fishery marine products

3.2 海溫?cái)?shù)據(jù)在遠(yuǎn)洋漁業(yè)服務(wù)系統(tǒng)中的應(yīng)用

經(jīng)過數(shù)據(jù)服務(wù)發(fā)布后的海溫?cái)?shù)據(jù)，按照日時(shí)間序列集成到遠(yuǎn)洋漁業(yè)綜合服務(wù)平臺(tái)中提供應(yīng)用。該系統(tǒng)不但支持對(duì)海溫?cái)?shù)據(jù)的放大、縮小、瀏覽、查詢，還提供海洋海溫、海流、葉綠素、海浪等多要素疊加顯示、圖層導(dǎo)航、海洋量算和漁場(chǎng)預(yù)報(bào)等功能，最終為遠(yuǎn)洋漁業(yè)捕撈、海洋生態(tài)環(huán)境監(jiān)測(cè)提供數(shù)據(jù)和應(yīng)用服務(wù)。

4 結(jié)束語(yǔ)

圖4 海溫?cái)?shù)據(jù)采集、生產(chǎn)流程圖Fig.4 Flow Chart OfSea Temperature Data Acquisition and Production

圖5 海溫?cái)?shù)據(jù)在遠(yuǎn)洋漁業(yè)服務(wù)系統(tǒng)中應(yīng)用圖Fig.5 Application of sea temperaturedata in fisheries service system

本文提出了一種基于消息調(diào)度機(jī)制的遠(yuǎn)洋漁業(yè)數(shù)據(jù)采集體系，解決了異構(gòu)環(huán)境下通信問題，能夠?qū)⒑亍⑷~綠素、海風(fēng)、海浪等遠(yuǎn)洋漁業(yè)數(shù)據(jù)從采集、加工、產(chǎn)品化到服務(wù)發(fā)布流程串聯(lián)起來，初步解決了遠(yuǎn)洋漁業(yè)數(shù)據(jù)自動(dòng)化生產(chǎn)問題。與傳統(tǒng)的遠(yuǎn)洋漁業(yè)數(shù)據(jù)生產(chǎn)過程相比，利用計(jì)算機(jī)程序自動(dòng)化進(jìn)行了相關(guān)數(shù)據(jù)處理操作，解脫了遠(yuǎn)洋漁業(yè)資源相關(guān)人員繁重的數(shù)據(jù)下載、加工處理等基礎(chǔ)性工作，他們可以將精力集中于遠(yuǎn)洋漁業(yè)模型模擬、魚種分布變化規(guī)律等專業(yè)研究問題中，同時(shí)，數(shù)據(jù)定時(shí)下載與處理可以有規(guī)律的提供遠(yuǎn)洋漁業(yè)數(shù)據(jù)源，為遠(yuǎn)洋漁業(yè)分析提供了數(shù)據(jù)支撐。同時(shí)，系統(tǒng)創(chuàng)新點(diǎn)在于提出了一種消息調(diào)度機(jī)制，解決了異構(gòu)環(huán)境下通信問題，并能夠通過該機(jī)制串聯(lián)起遠(yuǎn)洋漁業(yè)體系的采集流程，極大的便利了數(shù)據(jù)處理過程，可在其他遙感數(shù)據(jù)采集與應(yīng)用中推廣使用。