張榮庭 周國清* 周祥 劉德全 黃景金1,

?

基于FPGA的星上影像正射糾正

張榮庭1,2,3周國清1,2,3*周祥2,3劉德全3黃景金1,3

（1 天津大學精密儀器與光電子工程學院，天津 300072） （2 桂林理工大學廣西空間信息與測繪重點實驗室，桂林 541004） （3 天津大學遙感研究中心，天津 300072）

傳統(tǒng)的遙感影像正射糾正需要等待遙感影像下傳到地面接收站后才能處理，這已不能滿足用戶對影像處理時效性的要求，為了解決這一問題，文章研究了一種基于現(xiàn)場可編程門陣列（Field Programmable Gate Array，F(xiàn)PGA）的星上正射糾正實時處理平臺。基于FPGA的正射糾正平臺采用模塊化設計，主要包括外方位解算模塊、旋轉(zhuǎn)矩陣計算模塊、坐標轉(zhuǎn)換模塊和插值模塊。通過對SPOT6影像數(shù)據(jù)進行實驗，比較了基于FPGA平臺的正射糾正和基于高性能計算機平臺的正射糾正的糾正精度和處理速度。實驗結(jié)果表明基于FPGA平臺的正射糾正的精度在1個像素以內(nèi)，滿足糾正要求；基于FPGA平臺的正射糾正速度是基于高性能計算機平臺的正射糾正速度的4.3倍。利用FPGA進行正射糾正能夠提高糾正速度，并能保證糾正精度，具有廣闊應用前景。

正射糾正 現(xiàn)場可編程門陣列 硬件實現(xiàn) 實時性 共線條件方程 航天遙感

0 引言

隨著遙感技術(shù)的發(fā)展，遙感影像在許多領域中扮演者重要的角色，例如：土地資源調(diào)查、自然災害監(jiān)測和環(huán)境變化分析等。由于受傳感器內(nèi)部狀態(tài)變化、外部狀態(tài)（如姿態(tài)變化）及地表狀況的影響，原始的遙感影像存在不同程度的畸變和失真。因此，在遙感影像應用于這些領域之前，遙感影像需要進行正射糾正來消除或減小影像的畸變。遙感影像的正射糾正是影像應用于各領域的先決條件。正射糾正后的遙感影像不僅包含一般圖像的特征，還包含地圖的幾何性質(zhì)[1]，可以直接用于影像的判讀、測量和專題制圖，也可以服務于資源調(diào)查、地圖更新等。然而，傳統(tǒng)的遙感影像正射糾正都是基于地面平臺上的軟件進行的，如可視化圖像環(huán)境平臺（Environment for Visualizing Images, ENVI）和地球資源數(shù)據(jù)分析系統(tǒng)（Earth Resources Data Analysis Systems, ERDAS）。遙感影像必須下傳到地面接收站之后才能進行正射糾正。由于這個過程有很長的時間延遲，不能迅速地將獲得的影像實時轉(zhuǎn)化為可利用的圖像資料，在應急響應方面，不能快速的獲得正射影像，給后續(xù)的遙感圖像的應用帶來不便。

為了實現(xiàn)遙感影像的實時處理，學者們把注意力集中在了星上遙感影像實時處理。隨著現(xiàn)場可編程門陣列（Field Programmable Gate Array, FPGA）的快速發(fā)展和廣泛應用，這使得星上的遙感圖像實時處理成為可能。因為FPGA芯片能夠為它自己的流水線結(jié)構(gòu)和細粒度的并行性提供高度靈活的設計、可擴展的電路以及高效率的數(shù)據(jù)處理能力。此外，在尺寸、質(zhì)量和功耗方面，F(xiàn)PGA相對于圖形處理器（Graphics Processing Unit, GPU）和中央處理器（Central Processing Unit, CPU）有著明顯的優(yōu)勢。

近20年，學者們對基于FPGA的圖像處理進行了大量的研究。例如，Kumar等[2]研究了用FPGA在動態(tài)環(huán)境下實現(xiàn)實時圖像糾正和制圖；Thomas等[3]、Kalomiros等[4]提出了軟硬件結(jié)合的圖像處理系統(tǒng)，對影像數(shù)據(jù)進行快速處理，明顯提高了影像糾正和拼接的速度；王慶元等[5]提出了一種適合機載應用的基于FPGA的圖像實時壓縮系統(tǒng)，實現(xiàn)了機載遙感圖像的無損和近無損圖像實時壓縮；Greisen等[6]采用FPGA流水線的處理方式，對立體影像視頻的色彩進行糾正；Tomasi等[7]提出了一種基于FPGA的立體視覺算法，實現(xiàn)了對57幀/s幀率的視頻圖形陣列（Video Graphic Array, VGA）影像的糾正。Jó?wiak等[8]實現(xiàn)了多功能并行圖像處理器的組合設計，解決了圖像處理中通信和時序控制問題；Colodro-Conde等[9]則在硬件平臺上實現(xiàn)了距離評價算法處理立體像對的設計，兼顧了硬件資源和處理速度；Malik等[10]利用FPGA搭建了視頻影像快速處理的硬件平臺，使圖像處理效率達到390幀/s、大小為640像素×480像素的視頻影像。在航拍成像相機的鏡頭畸變研究中，徐芳[11]和江潔等[12]對攝像機采用廣角成像方式時產(chǎn)生的鏡頭畸變量進行了糾正，在FPGA上實現(xiàn)了部分糾正。這在一定程度上提高了糾正的速度，但是由于存在剩余畸變量，糾正后的影像只使用于圖像的拼接，在后續(xù)的工作中仍需再次對影像進行糾正。陳文藝等[13]提出了四鄰域像素的圖像存儲和插值的硬件實現(xiàn)算法，設計了基于FPGA的視頻圖像幾何糾正系統(tǒng)，使視頻延時小于1幀。范斌等[14]利用FPGA實現(xiàn)了一種硬件友好型的自動圖像增強算法，并實時地對彩色圖像進行自動增強。Huang等[15]提出了一種基于FPGA的星上角點檢測和匹配的快速而簡單的算法框架。Qi等[16]提出了一種基于FPGA的星上圖像實時預處理（包括相對輻射校正和幾何校正）的架構(gòu)。

從國內(nèi)外研究圖像實時糾正系統(tǒng)的現(xiàn)狀來看，目前對于影像的糾正硬件系統(tǒng)集中在視頻圖像實時糾正和立體像對實時糾正、幾何糾正實時處理等方面，而針對遙感領域?qū)Φ乩砜臻g位置要求較高的正射糾正實時處理的研究較少。

鑒于以上背景，本文提出了一種基于FPGA的星上影像正射糾正平臺。由于傳統(tǒng)的正射糾正算法（共線條件方程）的復雜度高，本文對共線條件方程算法進行了優(yōu)化以便在FPGA上進行實現(xiàn)。本文所提出的基于FPGA的星上影像正射糾正平臺主要分為外方位元素求解模塊、旋轉(zhuǎn)矩陣系數(shù)計算模塊、坐標轉(zhuǎn)換模塊和插值模塊。

1 正射糾正模型

在過去的幾十年中，學者們已經(jīng)提出了許多正射糾正模型（例如文獻[17-19]）。根據(jù)影像類型和影像覆蓋區(qū)域的地形地貌特征，人們可以選擇一種適當?shù)哪Ｐ蛠磉M行遙感影像的正射糾正。本文利用基于共線條件方程的嚴格物理模型在FPGA硬件上實現(xiàn)遙感影像的正射糾正。與機載的框幅式成像方式不同，當前主流光學衛(wèi)星大多采用線陣電荷耦合器件（CCD）推掃的成像方式。線陣CCD推掃的成像方式為行中心和列平行投影的結(jié)合，每一掃描行都對應著一組外方位元素。衛(wèi)星在太空環(huán)境中的運行相對平穩(wěn)，衛(wèi)星的傳感器位置和姿態(tài)可認為是隨飛行時間而變化的。因此，在時刻，掃描行的構(gòu)像方程為：

式中和為圖像平面坐標，在時刻為0；為瞬時焦距；G、G和G為大地坐標；C()、C()和C()為時刻的投影中心的坐標；s()、e()和w()（=1，2，3）為時刻影像掃描行的旋轉(zhuǎn)矩陣中的元素。旋轉(zhuǎn)矩陣可通過（3）計算得到，

式中()、()和()分別為在本體坐標系中時刻繞、和軸旋轉(zhuǎn)的角度，即外方位元素中的角元素。

一般地，每一景線陣CCD衛(wèi)星遙感影像的外方位元素可以表示為時間的一次項函數(shù)[20-22]：

式中0、0和0為每一景影像的初始掃描行的旋轉(zhuǎn)角；C0、C0和C0為每一景影像的初始掃描行的投影中心坐標；′、′、′、′C、′C和′C為外方位元素的變化率。

圖像平面坐標可由式（5）求得

式中為掃描線的時間間隔；為CCD探測像元的大?。?為影像初始描行的成像時刻。

在進行大地坐標向圖像平面坐標轉(zhuǎn)換之前，需對內(nèi)外方位元素進行求解。內(nèi)方位元素一般可提前測定。外方位元素的詳細求解過程可參照文獻[20-21]。利用控制點，通過最小二乘平差進行求解，即可得到影像的外方位元素。

2 正射糾正模型優(yōu)化

由于傳統(tǒng)的共線條件方程的算法復雜度高，不適合用FPGA直接實現(xiàn)。因此，為了能夠更好的在FPGA上實現(xiàn)正射糾正的快速處理，本節(jié)對共線條件方程進行了優(yōu)化。

2.1 大地坐標向圖像平面坐標的轉(zhuǎn)換

在傳感器成像時，地面點、投影中心和像點處于同一直線上。根據(jù)它們的共線關系，可建立共線條件方程來獲取地面點的圖像平面坐標（，）。為了能夠在FPGA上實現(xiàn)大地坐標向圖像平面坐標的轉(zhuǎn)換，需要對共線條件方程進行優(yōu)化。優(yōu)化后的共線條件方程可分為三級運算，即

第一級：

第二級：

第三級：

式中N（=1，2，……，6）為中間變量。

2.2 圖像平面坐標向像素坐標的轉(zhuǎn)換

在獲得圖像平面坐標（，）之后，圖像平面坐標需要轉(zhuǎn)換為像素坐標（，）。圖1定義了圖像平面坐標和像素坐標系統(tǒng)。在圖1中，為圖像平面坐標原點，和分別為圖像平面坐標系統(tǒng)的橫縱坐標軸；和分別為像素坐標系統(tǒng)的橫縱坐標軸。

圖1 像素坐標系統(tǒng)和圖像平面坐標系統(tǒng)

假設CCD探測像元的大小為，那么圖像平面坐標與像素坐標有如下關系[22]：

式中i=CLM/2，j=ROW/2，（i，j）為圖像平面坐標系原點在像素坐標系中的坐標，ROW和CLM為影像的行列的大小。

2.3 雙線性插值

正射影像的像素灰度值可通過根據(jù)所得到的像素坐標（，）來確定。由于所得到的像素坐標不一定處在像素的中心，因此插值過程是必不可少的。綜合考慮插值效果、算法的復雜度以及FPGA的資源量，本文所使用的插值方法為雙線性插值方法，即

式中和為插值權(quán)重，它們的取值在（0，1）范圍內(nèi)；(，)為像素點（，）的灰度值。

雙線性插值公式在形式上很復雜。式（10）包含8次乘法、3次加法以及2次減法。由于乘法器相對于加法與減法會占用較多的硬件資源，因此式（10）需要做適當?shù)膬?yōu)化，如式（11）所示。式（11）只包含了3次乘法、3次加法和3次減法。這在一定程度上減少了插值模塊所需使用的資源。

式中 GREY1，GREY2，GREY3和GREY4為原始影像的灰度值；GREY11和GREY12為中間變量；GREY5為插值的結(jié)果；=|–int()|和=|–int()|為插值的權(quán)重，其中int()和int()為取整運算。

3 FPGA實現(xiàn)優(yōu)化后的正射糾正模型

為了實現(xiàn)星上實時正射糾正，本文提出了一種基于FPGA的正射糾正框架。如圖2所示，本文所設計的硬件結(jié)構(gòu)主要分為外方位元素求解模塊、旋轉(zhuǎn)矩陣系數(shù)計算模塊、坐標轉(zhuǎn)換模塊和插值模塊。圖2中的0和0為圖像平面坐標改正數(shù)；GC（geodetic coordinate）為大地坐標；IC（image plane coordinate）為圖像平面坐標；PC（pixel coordinate）為像素坐標；CLOCK為時鐘信號；RESET為重置信號；ENABLE為使能信號；RAM（random access memory）為隨機存取存儲器；GTI為大地坐標向圖像平面坐標轉(zhuǎn)換的模塊；ITP為圖像平面坐標向像素坐標轉(zhuǎn)換的模塊。

各個模塊的具體功能如下：

1）外方位元素求解模塊主要是利用姿態(tài)和軌道數(shù)據(jù)、控制點數(shù)據(jù)、相機參數(shù)等信息來求解外方位元素。輸出的外方位元素會被存儲在RAM中。外方位元素中的角元素作為旋轉(zhuǎn)矩陣系數(shù)計算模塊的輸入。

2）旋轉(zhuǎn)矩陣系數(shù)計算模塊根據(jù)角元素進行方向余弦的計算，然后把獲得的旋轉(zhuǎn)矩陣系數(shù)存儲在RAM中。

3）外方位元素中的線元素、旋轉(zhuǎn)矩陣系數(shù)以及大地坐標和內(nèi)方位元素會在同一時鐘周期被傳送到坐標轉(zhuǎn)化模塊中。坐標轉(zhuǎn)換模塊包含了大地坐標向圖像平面坐標轉(zhuǎn)換的模塊GTI和圖像平面坐標向像素坐標轉(zhuǎn)換的模塊ITP。

4）在同一時鐘周期獲得的像素坐標(，)會被傳送到緩存原始影像灰度的RAM中以獲取像素(，)的4個鄰域的像素的灰度值GREY1，GREY2，GREY3，GREY4。另外，像素坐標(，)還會被傳送到插值模塊中，與4個鄰域的像素的灰度值一起參與計算。最后輸出正射糾正影像的灰度值。

圖2 基于FPGA的正射糾正模型硬件結(jié)構(gòu)

3.1 外方位元素求解模塊

對于利用FPGA實現(xiàn)外方位元素的求解，我們在之前的工作已進行了相應研究，詳細信息請參照文獻[23]，在此不再贅述。

3.2 旋轉(zhuǎn)矩陣系數(shù)計算模塊

為了計算式（7）中的4、5和6，旋轉(zhuǎn)矩陣的系數(shù)，即s()、e()和w()（=1，2，3）應先根據(jù)式（3）計算出來。為了使用FPGA來計算旋轉(zhuǎn)矩陣的系數(shù)，本文設計了如圖3所示的并行計算硬件模塊。

圖3 旋轉(zhuǎn)矩陣系數(shù)計算模塊的硬件架構(gòu)

在本模塊中，s()、e()和w()（=1，2，3）可通過3個旋轉(zhuǎn)角（()，()和()）的正弦和余弦函數(shù)得到。通過使用坐標旋轉(zhuǎn)數(shù)字計算算法（Coordinate Rotation Digital Computer, CORDIC）的知識產(chǎn)權(quán)（Intellectual Property, IP）核，3個旋轉(zhuǎn)角的正弦和余弦函數(shù)可在FPGA上被使用。為了能夠在同一時鐘獲得s()、e()和w()（=1，2，3），延遲元件被加入到了硬件模塊中。在如圖3的硬件模塊中，12個乘法器和4個加法器被使用。

3.3 坐標轉(zhuǎn)換模塊

（1）大地坐標到圖像平面坐標

根據(jù)式（6）、式（7）和式（8），本文設計如圖4所示的硬件實現(xiàn)架構(gòu)來實現(xiàn)大地坐標到圖像平面坐標的轉(zhuǎn)換。

圖4 大地坐標到圖像平面坐標轉(zhuǎn)換的硬件架構(gòu)

如圖4所示，大地坐標、外方位元素中的線元素和旋轉(zhuǎn)矩陣系數(shù)在同一時鐘被接收。為了保證數(shù)據(jù)的同步性，延遲元件被加入到所設計的架構(gòu)中。在計算的過程中，所設計的架構(gòu)使用了11個乘法器、11個加法器和2個除法器。

（2）圖像平面坐標到像素坐標

由于除法器會占用FPGA中大量的資源，為了減少除法器的使用，在FPGA上實現(xiàn)圖像平面坐標到像素坐標的轉(zhuǎn)換時，式（9）需要進行適當?shù)淖冃?。由于CCD大小為常數(shù)，可將其倒數(shù)1/提前計算儲存在RAM中，因此式（9）中的除法即轉(zhuǎn)換為乘法。此外，在求（i，j）時，只需對行列的大小（ROW，CLM）進行簡單的向右移1位即可，而不需要進行除法計算。因此本文設計了如圖5所示的硬件架構(gòu)來實現(xiàn)圖像平面坐標到像素坐標的轉(zhuǎn)換。在計算的過程中，所設計的架構(gòu)使用了2個乘法器、2個加法器。像素坐標（，）會在同一時鐘周期獲得，并傳送到插值模塊中。

圖5 圖像平面坐標向像素坐標轉(zhuǎn)換的硬件架構(gòu)

3.4 插值模塊

根據(jù)式（11），本文設計了如圖6所示的插值模塊的硬件架構(gòu)。

圖6 插值模塊的硬件架構(gòu)

由于本文所使用的是雙線性插值算法，因此需要對原始圖像進行緩存。通過像素坐標（，）在緩存中來獲取像素坐標（，）的4個鄰域像素的灰度值。在圖6的插值模塊的硬件架構(gòu)中，3個乘法器、3個減法器以及5個加法器被使用。

4 實驗與分析

4.1 實驗

為了驗證本文所提出的基于FPGA的正射糾正平臺的精度和處理速度，本文選取了某地區(qū)的SPOT6數(shù)據(jù)來進行驗證。實驗區(qū)的影像大小為1 024像素×1 024像素，CCD探測像元的大小為8.337 2 μm。所選用的SPOT6影像為全色波段（450~745 nm）影像，分辨率為1.5 m。

本文所使用的硬件平臺是基于Xilinx公司的Artix-7系列的AC701 Evaluation Kit，F(xiàn)PGA的型號是Xilinx Artix-7 XC7A200T FBG676ACX1349 D4658436A ZC；設計工具為ISE4.7和System Generator；仿真工具為ModelSim SE10.1a。為了驗證本文所提出的基于FPGA的正射糾正平臺，所使用的正射糾正算法在MATLAB 2015a軟件上也被實現(xiàn)了。所使用的高性能計算機裝配了Windows 7操作系統(tǒng)，Intel(R) Core(TM) i7-4790 CPU @ 3.6GHz和8 GB的RAM。系統(tǒng)的結(jié)構(gòu)圖如圖7所示。

SDRAM（Synchronous Dynamic Random Access Memory）為同步動態(tài)隨機存儲器；FLASH為閃存；UART（Universal Asynchronous Receiver/Transmitter）為通用異步收發(fā)傳輸器；JTAG（Joint Test Action Group）為聯(lián)合測試工作組；LED（Light Emitting Diode）為發(fā)光二極管；POWER為電源。

4.2 結(jié)果與分析

在把已知參數(shù)分別輸入到基于FPGA的正射糾正系統(tǒng)和基于MATLAB的正射糾正系統(tǒng)后，實驗區(qū)的正射糾正的結(jié)果即可分別被獲?。ㄈ鐖D8所示）。

圖8 實驗區(qū)的正射糾正結(jié)果

（1）誤差分析

為了定量地評價本文所提出的方法在進行正射糾正時的精度，均方根誤差（Root-mean-square Error，RMSE）[24]被用來定量的分析本文所提出方法的糾正誤差。沿像素坐標系的軸方向的RMSE為Δ，沿像素坐標系的軸方向的RMSE為Δ，平面的RMSE為Δ，它們可分別由式（12）和式（13）計算得到。

式中′和′為由本文所提出的方法糾正得到像素坐標；i和j為由基于MATLAB的正射糾正方法得到的像素坐標；為檢查點序號，為檢查點的數(shù)量，=1，2，…，。

為了計算RMSE，在實驗區(qū)選取了22個檢查點來進行驗證。檢查點在實驗區(qū)的分布情況如圖9所示。

圖9 檢查點在實驗區(qū)的分布情況

根據(jù)式（12）和式（13），Δ，Δ，Δ的計算結(jié)果如表1所示。除了RMSE，本文同時統(tǒng)計了坐標差值的絕對值的最大值、最小值、均值以及標準差等統(tǒng)計量。如表2所示，像素坐標差值的絕對值的|′-|、|′-|坐標的最大值分別為0.67和0.57；最小值為0.002和0.001；均值分別為0.041和0.034。通過對誤差進行的分析，可以說明基于FPGA的正射糾正精度能夠滿足在實際應用中的要求。

表1 沿坐標軸和坐標軸方向的RMSE及平面的RMSE

Tab.1 The RMSE of plane coordinates along i- and j- axis, and the RMSE of plane 像素

表2 像素坐標差值的絕對值的統(tǒng)計量

Tab.2 The absolute values of difference values of image coordinates 像素

（2）處理速度的比較

星上正射糾正處理的另一個重要評價指標就是處理速度。本文使用了一種標準化度量標準，即吞吐量來評價和比較本文所提出的基于FPGA平臺的正射糾正方法與基于MATLAB平臺的正射糾正方法的處理速度。吞吐量表示的是平臺每秒鐘能處理的像素量的能力?；贔PGA平臺的正射糾正方法的吞吐量約為1.12×107像素/s；基于MATLAB平臺的正射糾正方法的吞吐量為2.58×106像素/s。在糾正實驗區(qū)的影像數(shù)據(jù)的整個過程，基于FPGA平臺的正射糾正方法分別用了9.3ms；而基于MATLAB平臺的正射糾正方法分則用了40ms。因此，基于FPGA平臺的正射糾正方法比基于MATLAB平臺的正射糾正方法快了大約4.3倍。

（3）資源利用率

資源利用率的多少是衡量硬件設計的一個重要指標。一般地，如果資源的利用率達到60% ~ 80%，這就表明所選擇的器件能滿足設計的需要。本文分別對坐標轉(zhuǎn)換模塊和插值模塊在設計時使用到的緩存器（Buffer，BUF）、輸入輸出單元（Inputs and Outputs，IOs）以及查找表（Lookup Tables，LUTs）等資源的利用率進行了分析。對于坐標轉(zhuǎn)換模塊，主要的硬件資源包括1 062個BUF、312個IOs以及36 342個LUTs。對于插值模塊，主要的硬件資源包括45 764個觸發(fā)器、291個IOs以及75 779個LUTs。寄存器在坐標轉(zhuǎn)換模塊和插值模塊中的利用率分別只有34%和24%。寄存器在兩個模塊中的利用率相對較低。然而查找表在這兩個模塊中的利用率分別為27%和56%，查找表在插值模塊的利用率是坐標轉(zhuǎn)換模塊中的查找表利用率的2倍。這主要是由插值模塊需要存儲鄰域像素的灰度引起的?？偟膩碚f，通過以上的綜合分析，這可以說明本文所選擇的FPGA器件的資源能夠滿足本文所提出的基于FPGA的正射糾正方法的要求。

5 結(jié)束語

本文提出了一種基于FPGA的正射糾正方法。通過對正射糾正模型進行優(yōu)化，并充分考慮硬件模塊內(nèi)部的潛在并行度，該方法相對于地面處理平臺的處理速度提高了約4.3倍，并能夠保證糾正精度在1個像素之內(nèi)。此外，F(xiàn)PGA器件的資源能夠滿足設計要求，例如坐標轉(zhuǎn)換模塊和插值模塊對LUTs的利用率分別為27%和56%。因此，利用FPGA來實現(xiàn)星上的實時圖像處理是可行的，具有廣闊的應用前景。

[1] ZHOU G, CHEN W, KELMELIS J, et al. A Comprehensive Study on Urban True Orthorectification[J]. IEEE Transation on Geoscience and Remote Sensing, 2005, 43: 2138-2147.

[2] KUMAR P, SRIDHARAN K. VLSI-efficient Scheme and FPGA Realization for Robotic Mapping in a Dynamic Environment[J]. IEEE Transactions on Very Large Scale Integration (VLSI) Systems, 2007, 15(1): 118-123.

[3] THOMAS U, ROSENBAUM D, KURZ F, et al. A New Software/Hardware Architecture for Real Time Image Processing of Wide Area Airborne Camera Images[J]. Journal of Real-time Image Processing, 2008, 4: 229-244.

[4] KALOMIROS J, LYGOURAS J. Design and Evaluation of A Hardware/Software FPGA-based System for Fast Image Processing[J]. Microprocessors and Microsystems, 2008, 32: 95-106.

[5] 王慶元, 王琨, 武文波. 機載高分辨率遙感圖像實時壓縮系統(tǒng)研究[J]. 航天返回與遙感, 2010, 31(5): 56-64. WANG Qingyun, WANG Kun, WU Wenbo. Study on Airborne High Resolution Remote Sensing Image Real-time Compression System[J].Spacecraft Recovery & Remote Sensing, 2010, 31(5): 56-64. (in Chinese)

[6] GREISEN P, HEINZLE S, GROSS M, et al. An FPGA-based Processing Pipeline for High-definition Stereo Video[J]. EURASIP Journal on Image and Video Processing, 2011, 2011(18): 1-13.

[7] TOMASI M, VANEGAS M, BARRANCO F, et al. Real-time Architecture for A Robust Multi-scale Stereo Engine on FPGA[J]. IEEE Transactions on Very Large Scale Integration (VLSI) Systems, 2012, 20(12): 2208-2219.

[8] Jó?WIAK L, JAN Y. Design of Massively Parallel Hardware Multi-Processors for Highly-demanding Embedded Applications[J]. Microprocessors and Microsystems, 2013, 37: 1155-1172.

[9] COLODRO-CONDE C, TOLEDO-MOREO F, TOLEDO-MOREO R, et al. Evaluation of Stereo Correspondence Algorithms and Their Implementation on FPGA[J]. Journal of Systems Architecture, 2014, 60: 22-31.

[10] MALIK A, THORNBERG B, IMRAN M, et al. Hardware Architecture for Real-time Computation of Image Component Feature Descriptors on a FPGA[J]. International Journal of Distributed Sensor Networks, 2014, 2014: 1-14.

[11] 徐芳.基于FPGA的航空CCD相機圖像畸變校正技術(shù)研究[D]. 長春: 中國科學院研究生院(長春光學精密機械與物理研究所), 2013. XU Fang. Research on Correcting Image Distortion of Aerial CCD Camera based on FPGA[D]. Changchun: University of Chinese Academy of Sciences, 2013. (in Chinese)

[12] 江潔, 張廣軍, 周富強, 等.大視場角物鏡畸變的實時數(shù)字糾正[J]. 儀器儀表學報, 2004, 25(2): 174-178. JIANG Jie, ZHANG Guangjun, ZHOU Fuqiang, et al. Distortion Correct ion of the Wide-angle Objective Lens with Real-time Digital Technology[J]. Chinese Journal of Science Instrument, 2004, 25(2): 174-178. (in Chinese)

[13] 陳文藝, 田科, 周娟.基于FPGA的實時視頻圖像幾何校正系統(tǒng)設計[J]. 電視技術(shù), 2014, 38(3): 66-69. CHEN Wenyi, TIAN Ke, ZHOU Juan. Real-time Video Images Geometric Correction System Based on FPGA[J]. Video Engineering, 2014, 38(3): 66-69.

[14] 范斌, 于起峰. 一種硬件友好型自動圖像增強算法與實現(xiàn)[J]. 航天返回與遙感, 2016, 37(6): 46-56. FAN Bin, YU Qifeng. Design and Implementation of a Hardware-friendly Automatic Image Enhancement Algorithm[J]. Spacecraft Recovery & Remote sensing, 2016, 37(6): 46-56. (in Chinese)

[15] HUANG J, ZHOU G, ZHOU X, et al. A New FPGA Architecture of Fast and BRIEF Algorithm for On-Board Corner Detection and Matching[J]. Sensors, 2018, 18: 1014-1031.

[16] QI B, SHI H, ZHUANG Y, et al.On-board, Real-Time Preprocessing System for Optical Remote-sensing Imagery[J]. Sensors, 2018, 18: 1328-1345.

[17] YANG G, ZHU X. Ortho-rectification of SPOT 6 Satellite Images Based on RPC Models[J]. Applied Mechanics and Materials, 2013, 392: 808-814.

[18] REINARTZ P, MüLLER R, SCHWIND P, et al. Orthorectification of VHR Optical Satellite Data Exploiting The Geometric Accuracy of TerraSAR-X Data[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2011, 66: 124-132.

[19] AGUILAR M, SALDA?A M, AGUILAR F. Assessing Geometric Accuracy of the Orthorectification Process from GeoEye-1 and WorldView-2 Panchromatic Images[J]. International Journal of Applied Earth Observation and Geoinformation, 2013, 21: 427-435.

[20] ZHOU G, LI R.Accuracy Evaluation of Ground Points from High-resolution Satellite Imagery IKONOS[J]. Photogrammetric Engineering and Remote Sensing, 2000, 66:1103-1112.

[21] 蘇文博. 航天線陣CCD傳感器在軌幾何定標技術(shù)研究[D]. 鄭州: 解放軍信息工程大學, 2010. SU Wenbo. Research on Techniques for On-orbit Geometric Calibration of Space Linear CCD Sensors[D]. Zhengzhou: PLA Information Engineering University, 2010.

[22] 饒艷偉, 唐新明, 王華斌, 等.SPOT HRG影像無控制正射糾正實驗與精度分析[J]. 測繪科學, 2008, 3: 82-84. RAO Yanwei, TANG Xinming, WANG Huabin, et al. The SPOT HRG Images Ortho-rectification Experiment and Pricision Analysis without GCPs[J]. Science of Surveying and Mapping, 2008, 3: 82-84.

[23] ZHOU G, JIANG L, HUANG J, et al. FPGA-based On-board Geometric Calibration for Linear CCD Array Sensors[J]. Sensors, 2018, 18: 1794-1812.

[24] REINARTZ P, MüLLER R, LEHNER M, et al. Accuracy Analysis for DSM and Orthoimages Derived from SPOT HRS Stereo Data using Direct Georeferencing[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2006, 60: 160-169.

Ortho-rectification for Remote Sensing Image Using FPGA

ZHANG Rongting1,2,3ZHOU Guoqing1,2,3*ZHOU Xiang2,3LIU Dequan3HUANG Jingjin1,3

（1 School of Precision Instrument and Opto-electronic Engineering, Tianjin University, Tianjin 300072, China）（2 Guangxi Key Laboratory for Spatial Information and Geomatics, Guilin University of Technology, Guilin, 541004, China）（3 The Center for Remote Sensing, Tianjin University, Tianjin 300072, China）

By traditional ortho-rectification method, the remote sensing (RS) imagery cannot be processed until it is downlinked to ground receiving station. Therefore the traditional method has been unable to meet the user requirements on image processing timeliness. To solve this problem, a new ortho-rectification method is proposed in the paper based on field programmable gate array (FPGA) platform, and then the (near) real-time ortho-rectification algorithm on board is implemented. The proposed platform adopts modular design, including the calculation of exterior orientation elements module, the calculation of rotation matrix module, the transformation of coordinate module, and interpolation module. SPOT6 image is used to validate the correction accuracy and the processing speed of the proposed method. Compared to the traditional ortho-rectification method, i.e. the personal computer (PC)-based ortho-rectification, the ortho-rectification results of the proposed method show that the correction accuracy is less than 1 pixel; and the processing speed is 4.3 times faster than that by PC-based method. In summary, the method using FPGA to perform ortho-rectification can improve the correction speed and accuracy.

ortho-rectification; field programmable gate array; hardware implementation; (near) real-time performance; collinear condition equation; space remote sensing

TP75

A

1009-8518(2019)01-0020-12

10.3969/j.issn.1009-8518.2019.01.003

張榮庭，男，1989年生，2015年獲桂林理工大學地質(zhì)資源與地質(zhì)工程專業(yè)碩士學位，現(xiàn)為天津大學精密儀器與光電子工程學院博士研究生，主要研究方向為攝影測量與遙感。E-mail：zrt65@tju.edu.cn。

周國清，男，1965年生，1994年獲武漢測繪科技大學（現(xiàn)為武漢大學）攝影測量與遙感專業(yè)博士學位，教授。主要研究方向為攝影測量與遙感。E-mail：gzhou@glut.edu.cn。

2018-08-18

廣西創(chuàng)新驅(qū)動發(fā)展專項（科技重大專項）（桂科AA18118038）；國家自然科學基金重點項目（41431179）；國家重點研究發(fā)展計劃（2016YFB0502500）；國家自然科學基金（41601365）；廣西空間信息與測繪重點實驗室主任開放基金（桂科能163802506，163802530）；廣西自然科學基金（2015GXNSFDA139032）。

（編輯：龐冰）