肖德勛，王戈飛，岳亞亞

FME在空間數(shù)據(jù)批處理中的應用分析——以第三次全國國土調查為例

肖德勛1，王戈飛2，岳亞亞1

（1.北京吉威數(shù)源信息技術有限公司，北京 100000；2.黃河勘測規(guī)劃設計研究院有限公司，河南 鄭州 450003）

第三次全國國土調查是一項在全國范圍內(nèi)查清自然資源情況和土地利用現(xiàn)狀的國家項目。在第三次全國國土調查工作中，海量的空間數(shù)據(jù)需要被處理、整合和分析。結合FME在數(shù)據(jù)轉換、處理和分析方面的特點和優(yōu)勢，對FME不同形式的批處理方式進行了分析，經(jīng)驗證，F(xiàn)ME的批處理方式簡便、高效、快捷，以期對其他空間數(shù)據(jù)處理項目提供借鑒。

FME；空間數(shù)據(jù)；第三次全國國土調查；批處理

1 引言

第三次全國國土調查（下簡稱“三調”）是在第二次全國國土調查調查（下簡稱“二調”）成果的基礎上，在國家統(tǒng)一制定標準的前提下，在全國范圍內(nèi)利用遙感技術、測繪技術、互聯(lián)網(wǎng)等多種技術手段，全面查清并掌握翔實的全國國土利用現(xiàn)狀和自然資源變化情況，進而實現(xiàn)成果信息化管理與共享，從而滿足生態(tài)文明建設、空間規(guī)劃編制、供給側結構性改革、自然資源管理體制改革、自然資源確權、國土空間生態(tài)修復以及空間治理能力現(xiàn)代化等各項重大項目的需要[1-2]，因此“三調”工作的重要性不言而喻。

正因為“三調”工作的重要意義以及牽扯到的部門繁雜、專業(yè)繁多，因而導致各種不同類型、不同地理基礎、不同范圍的空間數(shù)據(jù)晦澀復雜，難以處理，將這海量的空間數(shù)據(jù)進行批量轉換和處理，是“三調”工作必須要解決的首要問題。而FME在空間數(shù)據(jù)處理方面具有天然的優(yōu)勢和特色，本文結合FME的特點，詳細闡述FME在第三次全國國土調查中空間數(shù)據(jù)批處理中的應用。

2 FME簡介

FME軟件（Feature Manipulate Engine，簡稱“FME”）是加拿大safe software公司開發(fā)的空間數(shù)據(jù)轉換處理系統(tǒng)，它不僅能夠實現(xiàn)各類數(shù)據(jù)讀寫、轉換、存儲和分析等功能，并提供了完整的空間ETL（Extract-Transform-Load）解決方案，該方案以OpenGIS組織提出的“語義轉換”處理概念為基礎，提供了400多種轉換器，支持200多種空間、非空間數(shù)據(jù)的轉換和處理，其數(shù)據(jù)類型包括shp、dwg、tiff等，為快速、高效的數(shù)據(jù)處理提供穩(wěn)定可靠且便捷的方案[3-4]。

FME產(chǎn)品體系具有6個功能模塊：①FME Workbench是最主要也是最常用的模塊，在用戶實施數(shù)據(jù)轉換時，只需要在面板中設置數(shù)據(jù)轉換所必備的參數(shù)，即可通過對過程的控制來轉換和處理復雜數(shù)據(jù)任務，并且能夠可視化地實現(xiàn)屬性信息和空間信息的對應關系，也可以通過該模塊來實現(xiàn)刪除和合并文件等功能；②FME Quick Translator是FME的重要組成部分，采用拉拽方式即可實現(xiàn)上百種空間數(shù)據(jù)的處理和分析工作；③FME Data Inspector模塊主要用于預覽不同格式數(shù)據(jù)，在使用FME Workbench的過程中科院隨時對轉換流程進行可視化檢查，從而保證轉換過程的正確性；④FME Plug-in（SDK）是FME開發(fā)組件，開發(fā)人員能夠利用該組件訪問FME強大的語義核心，根據(jù)用戶需求定制特定數(shù)據(jù)格式，并能被所有的FME用戶所采用；⑤FME Object API為開發(fā)接口，支持C++、Java等多種開發(fā)語言，使用該模塊能夠將FME的數(shù)據(jù)訪問功能定制在應用模塊中，從而增加數(shù)據(jù)的讀寫及處理功能；⑥FME Application Extenders模塊為用戶提供了一個可直接訪問多平臺地理信息系統(tǒng)及數(shù)據(jù)庫格式的應用。

與此同時，F(xiàn)ME具有強大可靠的數(shù)據(jù)轉換功能、性能超強的數(shù)據(jù)兼容功能、清晰直觀的可視化界面、豐富多樣的空間數(shù)據(jù)處理功能、開放性的接口類型，同時支持海量數(shù)據(jù)處理，通過FME來設置批處理的模式能夠完成對成千乃至上萬個數(shù)據(jù)文件的高效處理[5-6]。

空間數(shù)據(jù)處理既有單文件的轉換，例如刪除字段、轉換投影、按比例縮放等，也涉及到多文件的轉換，例如空間數(shù)據(jù)關聯(lián)、空間數(shù)據(jù)裁剪等功能。

3 在FME中進行批處理的方式和結果

3.1 單數(shù)據(jù)文件批處理

基于FME靈活的操作方式，批處理單文件空間數(shù)據(jù)的方式常用的大致為兩類，以空間投影轉換為例。

3.1.1 利用Batch Deploy功能

在主界面打開Generate Workspace功能，在Reader中選擇位于批量處理數(shù)據(jù)中的單條數(shù)據(jù)，在Writer中制定輸出文件目錄，并將工作流選項設置為動態(tài)模式。以進行空間投影轉換為例，在主面板中輸入EsriReprojector，按要求設置好源數(shù)據(jù)坐標系和目標數(shù)據(jù)坐標系，設置完成后保存該工作空間.fmw，點擊位于菜單欄Run下面的Batch Deploy選項，根據(jù)操作指引，在源數(shù)據(jù)位置選擇文件夾及子目錄，并制定目標路徑，其中，選擇是否勾選保留文件夾名稱還可以在目標文件夾中生成和源數(shù)據(jù)文件夾中一模一樣的子文件夾，方便管理和輸出。但需要注意的是，如果文件夾名字過長，雖然不影響正常結果的輸出，但可能會生成警告和錯誤信息。

3.1.2 直接利用動態(tài)模式

除去使用Batch Deploy功能以外，可直接在工作面板添加Reader讀模塊的時候選擇multiple folders/files，選取源文件中的所有文件夾，同時在工作流選項中選擇單一融合數(shù)據(jù)模式Single Merged Feature Type，輸入轉換器之后，在Writer寫模塊的時候選擇動態(tài)模式定義，運行工作空間即可得到結果。但是會直接放在母文件夾中而不會像源文件一樣創(chuàng)建子文件夾，如果想實現(xiàn)同樣的效果，需要在導航窗口中的目標文件夾的Fanout表達式中選擇fme_feature_type，這樣就可以生成與Batch Deploy一樣的子文件夾格式。

兩種方式對比，第二種明顯更為簡單，但如果想要生成與源數(shù)據(jù)文件夾一樣的格式，需要單獨設置Fanout選項。此外，值得注意的是，兩種方法都必須設置為動態(tài)模式，如果不采用動態(tài)模式，F(xiàn)ME將只進行所設置的單個文件的轉換，無法進行批量處理，更無法達到預期效果。

3.2 多數(shù)據(jù)文件批處理

涉及多數(shù)據(jù)文件的批處理流程時，采用Batch Deploy同樣可以，但采用WorkspaceRunner更為方便，考慮到上文已介紹過Batch Deploy，此處將詳細介紹WorkspaceRunner轉換器，WorkspaceRunner是從一個工作空間調用另一個工作空間的轉換器。多數(shù)據(jù)文件的批處理，以空間數(shù)據(jù)裁剪為例。

空間裁剪轉換器Clipper同時需要兩個輸入端口Clipper和Clippee，此處將Clipper指定為固定的矢量裁剪范圍，而Clippee為多個矢量要素，在Reader讀模塊中，選擇多文件夾選項，并在工作流選項中選擇單一融合要素類型，在Writer寫模塊中務必選擇dynamic動態(tài)模式，設置好轉換器參數(shù)并保存（本文中為BatchClip.fmw）。

WorkspaceRunner轉換器通常與Directory and File Pathnames讀模塊連用，開啟一個新的工程，選用Directory and File Pathnames讀模塊，在參數(shù)中選擇*shp，并選擇遍歷至子文件夾選項，通過該模塊可以遍歷符合格式的矢量文件。設置好后輸入WorkspaceRunner轉換器，選擇BatchClip. fmw，其中Clipper選擇矢量范圍，而Clippee選擇path_ windows，即固定范圍選擇某個指定的矢量文件，而需要遍歷的文件選擇path_window，path_windows，即被遍歷文件的全路徑，通過調用path_windows，不斷執(zhí)行WorkspaceRunner中選擇的轉換器，這樣就可以實現(xiàn)多文件進行批處理的預想效果。

另外，在WorkspaceRunner轉換器參數(shù)中，如果將Wait for Job to Complete設置為Yew，則FME將會等待每個進程完成后再開啟下一個進程，每次只有一個進程。如果設置為No，則可設置最大并發(fā)進程數(shù)（Maximum Number of Concurrent Processes），設置的數(shù)值將是任務管理器中fme.exe進程的數(shù)量，并能根據(jù)需求對每個進程中啟動工作空間的數(shù)量進行指定。

同時，在執(zhí)行WorkspaceRunner轉換器時，可連接logger轉換器，更方便直觀地看到轉換日志效果。

4 結語

空間數(shù)據(jù)批處理是“三調”工作中必須面對的問題，本文以“三調”中常見的數(shù)據(jù)處理過程批量投影轉換和批量空間裁剪分別代表單文件和多文件的批處理模式進行分析，并給出實現(xiàn)過程。單文件的批處理較為簡單，直接在工作空間選取多文件夾并設置為動態(tài)模式即可，而Batch Deploy和WorkspaceRunner方法均可用于單文件與多文件批處理，但WorkspaceRunner采用轉換器的形式，更為靈活，通過對路徑進行更多的操作能夠實現(xiàn)更多的效果，同時采用命令行也可在FME中實現(xiàn)批處理，但沒有上述方式直觀便捷。利用FME的空間數(shù)據(jù)批處理功能能夠極大地提高工作效率，且靈活、簡便、高效，希望對其他的空間數(shù)據(jù)轉換過程提供借鑒。

［1］許風亮，蘇強強.淺談FME在第三次國土調查前期數(shù)據(jù)準備中的應用與研究［J］.經(jīng)緯天地，2019（2）：40-44，48.

［2］張瑜偉，王丹，朱文.FME軟件在第三次土地調查中的應用［J］.現(xiàn)代測繪，2018，42（6）：61-63.

［3］曾傳俊, 李蓮芳, 褚睿濤. 基于FME的DWG圖形轉換［J］.測繪通報，2019（Suppl 2）：275-277.

［4］郝璨，石麗紅.基于FME的OpenstreetMap數(shù)據(jù)分析提取［J］.測繪與空間地理信息，2020，43（1）：63-67.

［5］任俊儒.基于FME的GIS數(shù)據(jù)處理研究［D］.北京：中國地質大學，2015.

［6］蔡婧.基于FME的分幅地形圖轉換研究［D］.武漢：武漢大學，2019.

P208

A

10.15913/j.cnki.kjycx.2021.08.074

2095－6835（2021）08－0178－02

肖德勛（1988—），男，遼寧朝陽人，本科，助理工程師，項目經(jīng)理，研究方向為自然資源。

〔編輯：嚴麗琴〕