龔立雄 程雙勝 劉 永

1.重慶理工大學(xué)機械工程學(xué)院，重慶，4000542.中國船舶重工集團公司第712研究所，武漢，4300643.湖北汽車工業(yè)學(xué)院機械工程學(xué)院，十堰，442002

基于菱形搜索塊匹配技術(shù)的微機電系統(tǒng)微運動測量研究

龔立雄1程雙勝2劉 永3

1.重慶理工大學(xué)機械工程學(xué)院，重慶，4000542.中國船舶重工集團公司第712研究所，武漢，4300643.湖北汽車工業(yè)學(xué)院機械工程學(xué)院，十堰，442002

首先，分析了塊匹配運動模型和測量原理，采用最小總絕對差值設(shè)置塊匹配準(zhǔn)則，確立了菱形搜索算法的塊匹配搜索路徑。該算法通過大小模板塊匹配進行粗定位和精定位，求解微運動最佳運動矢量。然后，設(shè)計了基于計算機微視覺的微機電系統(tǒng)圖像獲取方案，并以微機電系統(tǒng)諧振器為研究對象，獲取24幅不同相位圖像，用所提出的微運動測量方法進行分析和驗證，結(jié)果表明：基于最小總絕對差值和菱形搜索算法的塊匹配技術(shù)能較好地估計和測量微機電系統(tǒng)器件的微運動矢量。

塊匹配；菱形搜索；微運動；微機電系統(tǒng)；微視覺

0 引言

微機電系統(tǒng)(micro electromechanical system，MEMS)是一種由微傳感器、執(zhí)行器、信號處理、通信接口等微型部件組成，能夠?qū)⑿畔@取、執(zhí)行進行集成，完成多個任務(wù)和功能的微型器件系統(tǒng)，具有微型化、質(zhì)量小、能耗低、響應(yīng)時間短、機械性能好等優(yōu)點，廣泛應(yīng)用于汽車、打印機、智能手機等領(lǐng)域[1-3]。由于MEMS的功能主要通過MEMS微小位移和變形來實現(xiàn)，因此對MEMS微運動的測量成為MEMS測試研究的重要內(nèi)容。目前，MEMS微運動測量技術(shù)主要有光斑干涉技術(shù)、數(shù)字全息干涉技術(shù)、顯微視覺技術(shù)等[4-6]，其中，顯微視覺測量技術(shù)因非接觸式、測量精度高、響應(yīng)速度快，已成為微運動測量的主流。將計算機微視覺測量圖像與高效圖像處理算法相結(jié)合，可以精確估計MEMS微運動平面移動位移。金翠云等[7]利用光學(xué)顯微鏡放大MEMS圖像序列，通過一系列動態(tài)圖像序列，采用光流技術(shù)估計了MEMS微結(jié)構(gòu)運動特征。REMBE等[8]建立了頻閃纖維干涉系統(tǒng)來測量MEMS微運動，該系統(tǒng)采用頻閃照明圖像和最小二乘算法處理圖像，測量MEMS的平面運動。盧清華等[9]利用計算機微視覺對MEMS運動軌跡進行標(biāo)定和測量，采用計算機微視覺和魯棒多尺度運動估計算法實現(xiàn)了MEMS高精度平面運動測量。黃贊等[10]提出了一種基于同態(tài)濾波的魯棒多尺度微運動測量算法，由粗到精逐漸迭代，精確估計微運動矢量。

塊匹配技術(shù)是一種非常實用的方法，但傳統(tǒng)的塊匹配方法計算量大、精度低，不滿足MEMS動態(tài)測量要求,因此，本文提出一種塊匹配的MEMS微運動估計方法，以最小總絕對差值匹配準(zhǔn)則和菱形搜索路徑算法求解塊匹配最佳運動矢量，并設(shè)計了MEMS微運動測量圖像獲取方案，以MEMS硅微諧振器為研究對象，以提出的微運動測量方法對MEMS諧振器圖像序列進行分析和計算。

1 塊匹配微運動測量原理

1.1塊匹配運動模型

測量和估計就是結(jié)合圖像處理技術(shù)運用某種方法對視頻圖像或圖像序列進行處理，估算圖像序列之間的運動偏移量[11-12]。塊匹配技術(shù)能同時滿足實時性和精度要求，它基于一種假設(shè)，即圖像由運動塊構(gòu)成，一個圖像塊中的所有像素都具有相同運動特征。塊匹配的基本思想是將當(dāng)前幀分成若干大小相同的塊，對每一個塊(設(shè)為當(dāng)前塊)分別在參考幀(即搜索窗)中的一定區(qū)域內(nèi)，按照既定匹配準(zhǔn)則進行搜索，尋找與之最接近的塊(即預(yù)測塊)，預(yù)測塊與當(dāng)前塊之間的位移成為運動矢量。該運動矢量可由預(yù)測塊與當(dāng)前塊的初始點坐標(biāo)差求解得到，如圖1所示。

圖1 塊匹配原理圖Fig.1 Schematic of block-matching

(1)

1.2塊匹配準(zhǔn)則及搜索路徑

1.2.1塊匹配準(zhǔn)則

各種塊匹配算法優(yōu)越的差異主要體現(xiàn)在塊匹配準(zhǔn)則及搜索策略等方面。典型的塊匹配準(zhǔn)則有最小平均絕對差值、最小均方誤差、歸一化相關(guān)函數(shù)、最小總絕對差值(the minimum sum of absolute difference，MSAD)等。相關(guān)研究表明[13-14]：最小均方誤差匹配精度高，但其平方運算量大；最小平均絕對差匹配準(zhǔn)則計算量相對較小，效率高，但匹配函數(shù)略高；而最小總絕對差匹配準(zhǔn)則計算簡單，效率最高，實用性強，其匹配效果較好、計算量少、精度高。因而，本文以最小總絕對差值來設(shè)置塊匹配準(zhǔn)則，定義為

(2)

式中,(i,j)為位移矢量；fk(s,t)、fk-1(s+i,t+j)分別為當(dāng)前幀和參考幀的灰度值；MSAD(i,j)為最小總絕對差值。

當(dāng)MSAD在搜索區(qū)域內(nèi)某一點處達到最小時，該點為最佳匹配點。

1.2.2基于菱形算法的塊匹配搜索路徑

搜索策略和路徑是運動估計中最復(fù)雜的部分，從搜索方向上看有梯度式、螺旋式;從搜索路徑上看有矩形、圓形和菱形等。現(xiàn)有運動估計算法以矩形搜索線路居多，實現(xiàn)較為容易，但搜索精度普遍不高，必須尋找更優(yōu)的搜索算法。將搜索路徑、搜索方向、搜索步長結(jié)合起來，有全匹配搜索算法、三步法、二維對數(shù)法、交叉法、菱形算法等[15]，其中全匹配算法精度高，但計算量大，不滿足實時性要求;三步法簡單、健壯、速度快，但容易陷于局部最小，對微運動估計不理想;菱形算法通過大小不等的搜索模板對圖像序列進行粗定位和精定位，提高了精度和穩(wěn)定性。綜合考慮，本文采用菱形算法進行塊匹配路徑搜索。

菱形搜索算法也稱鉆石算法，該算法采用了兩種搜索模板，即大模板(large diamond search pattern，LDSP)和小模板(small diamond search pattern，SDSP)，其中，大模板含9個檢測點，小模板含5個檢測點，如圖2所示。搜索時先用大模板計算，再用小模板匹配，尋找最優(yōu)匹配點。

(a)LDSP (b)SDSP圖2 菱形搜索法模板Fig.2 Diamond search pattern

菱形搜索算法步驟如下：

(1)將LDSP中心與搜索區(qū)域中心重合，以上文提出的MSAD匹配準(zhǔn)則進行比較，若MSAD值對應(yīng)的點位于中心點，則進行步驟(3)，否則進入步驟(2)。

(2)以步驟(1)找到的MSAD點作為中心點，用新的LDSP進行匹配，若MSAD值所對應(yīng)的點位于中心點，則進行步驟(3)，否則重復(fù)步驟(2)。

(3)以上一次找到的MSAD值對應(yīng)點作為中心點，將LDSP換成SDSP，在SDSP的5個點處計算MSAD值并比較，找出MSAD值對應(yīng)的點，該點所在位置即為對應(yīng)的最佳運動矢量的位置。

2 基于菱形搜索塊匹配的微運動測量方法

2.1計算機微視覺MEMS圖像獲取方案

機器視覺用計算機模擬生物視覺功能，用圖像創(chuàng)建和恢復(fù)現(xiàn)實世界模型，具有“看”的功能。微視覺是機器視覺在微觀領(lǐng)域的發(fā)展，在一定光照條件下，成像設(shè)備通過顯微鏡采集圖像，運用圖像處理技術(shù)預(yù)處理，采用模式識別進行特征分類，完成視覺測量工作。因MEMS微運動測量是一個動態(tài)過程，為準(zhǔn)確模擬微運動過程，本文采用頻閃成像同步控制系統(tǒng)和計算機顯微系統(tǒng)構(gòu)建MEMS微運動測量系統(tǒng)方案，總體功能框圖如圖3所示。

圖3 微視覺MEMS微運動測量總體功能框圖Fig.3 The total function diagram of micro-vision MEMS micro-motion measurement

MEMS動態(tài)測量系統(tǒng)工作原理為：對于待測MEMS，采用運放驅(qū)動器產(chǎn)生激勵促使MEMS做振蕩和平面運動，CCD或顯微相機采集MEMS運動圖像，通過數(shù)據(jù)采集卡傳輸?shù)接嬎銠C。為得到MEMS微運動清晰圖像，借助頻閃成像同步控制系統(tǒng)采集MEMS運動圖像，協(xié)調(diào)高壓運放器、頻閃控制系統(tǒng)、圖像采集卡、攝像機有序工作，得到MEMS不同相位下的圖像；然后，采用圖像處理技術(shù)進行后續(xù)處理和分析，采用相應(yīng)的運動估計算法求解MEMS微運動軌跡。整個MEMS微運動測量系統(tǒng)如圖4所示。

圖4 MEMS微運動測量硬件系統(tǒng)Fig.4 The hardware of MEMS micro-motion measurement

MEMS微運動測量系統(tǒng)硬件配置如下。①計算機：聯(lián)想揚天 T4900c；②操作系統(tǒng)：Windows 7 Service Pack 旗艦版；③電子顯微鏡：鳳凰XZJ-2003B；④波形發(fā)生器：泰克AFG1022；⑤圖像采集卡：NI PCI-6154。

2.2基于菱形搜索塊匹配的MEMS微運動測量

MEMS運動性能決定了其基本特性。塊匹配通過計算若干像素組成的像素塊的運動矢量來實現(xiàn)對物體的運動測量和估計。為驗證塊匹配技術(shù)微運動測量效果，本文以MEMS諧振器為例進行分析。首先,通過MEMS微運動測量硬件裝置，在連續(xù)光照下采集諧振器高速運動的圖像。圖5為計算機微視覺獲取的諧振器原始圖像。然后,通過頻閃成像技術(shù)得到某一驅(qū)動頻率下的MEMS諧振器運動清晰圖像序列，再利用菱形搜索算法和塊匹配準(zhǔn)則進行微運動估計。

圖5 MEMS諧振器靜態(tài)圖Fig.5 Static image of MEMS resonator

主要實驗步驟和方法如下：

(1)在MEMS諧振器靜止時，選取ROI區(qū)域作為塊匹配的搜索塊。

(2)在一定頻率驅(qū)動下，采集諧振器不同運動狀況清晰序列圖像。

圖6所示為諧振器圖像通過抖動算法將原始靜止圖像運動5×5像素位移后，運用本文所提出的菱形搜索算法和最小總絕對差值塊匹配準(zhǔn)則計算諧振器微運動的過程。由圖6可以看出，諧振器13個標(biāo)志塊在信號驅(qū)動下位移距離一致，用所提塊匹配算法測量5×5像素微運動時，誤差很小,其中，右圖顏色較深的塊(左圖亮色塊)為原始靜止塊圖像，顏色較淺的塊(左圖灰色塊)為菱形搜索塊匹配微運動測量的運動塊位置，靜止塊和運動塊的重疊部分顏色最深。圖6中箭頭方向顯示了諧振器原始圖像中不同塊的微運動方向。

圖6 塊匹配運動測量Fig.6 Measurement of block-matching motion

為進一步驗證所提算法的性能，通過波形發(fā)生器產(chǎn)生正弦信號對MEMS諧振器施加激勵，促使諧振器在一個周期內(nèi)作正弦振動，驅(qū)動頻率為23 kHz，振幅為2 μm。以15°為相位間隔采集24幅諧振器運動圖像序列。分別采用全匹配搜索法、三步法、菱形搜索算法來分析24幅動態(tài)圖像序列相對于諧振器靜止圖像的運動位移，即對應(yīng)相位下的塊匹配測量運動幅度。圖7為采用3種不同塊匹配搜索路徑算法通過擬合而成的諧振器運動幅度-相位曲線。

圖7 3種算法的微運動擬合曲線Fig.7 Micro-motion fitting curve of three different algorithm

可以看出，在正弦信號驅(qū)動下，諧振器運動也呈正弦運動變化規(guī)律。在3種塊匹配路徑搜索算法中，菱形算法精度最高，全匹配搜索算法精度次之，三步法求解諧振器微運動精度最低。以正弦信號驅(qū)動為標(biāo)準(zhǔn)，3種搜索算法的微運動測量最大誤差分別為0.314 μm、0.321 μm、0.104 μm，如表1所示。這說明基于菱形算法塊匹配技術(shù)在測量MEMS微運動時，通過大小不等的塊匹配模板進行MEMS微運動的粗定位和精定位，較其他塊匹配搜索算法具有更高精度和運算效率，具有一定優(yōu)勢。

表1 微運動測量誤差

3 結(jié)論

(1)塊匹配技術(shù)可用來估計二維運動位移，其匹配算法的優(yōu)越性主要取決于匹配準(zhǔn)則、搜索策略及尺寸選擇等方面因素。以最小總絕對差(MSAD)為匹配準(zhǔn)則和菱形路徑搜索算法進行塊匹配，測量MEMS微運動位移矢量，具有較高精度。

(2)基于顯微鏡和機器視覺，運用頻閃成像技術(shù)，拍攝微運動器件動態(tài)序列圖像，將微視覺與塊匹配技術(shù)結(jié)合的方法進行圖像處理，可以測量MEMS器件微運動，這種方法能夠?qū)崿F(xiàn)實時、高精度的微運動測量和估計。

[1] PETITGRAND S, YAHIAOUI R, DANAIE K, et al. 3D Measurement of Micromechanical Devices Vibration Mode Shapes with a Stroboscopic Interferometric Microscope[J] . Optics amp; Lasers in Engineering, 2001, 36(2):77-101.

[2] 郝永平，董福祿，張嘉易，等. 基于MEMS機構(gòu)裝配的微夾持器研究[J]. 中國機械工程，2014,25(5):596-601.

HAO Yongping，DONG Fulu，ZHANG Jiayi，et al. Study on Micro-gripper Based on MEMS Mechanism Assembly[J]. China Mechanical Engineering，2014,25(5):596-601.

[3] 謝勇軍，史鐵林，劉世元. MEMS結(jié)構(gòu)離面微運動測試系統(tǒng)設(shè)計與實現(xiàn)[J]. 計算機工程與應(yīng)用，2010,46(7):66-68.

XIE Yongjun, SHI Tielin, LIU Shiyuan. Design and Implementation of Measurement System for Out-of-plane Micro-motion of MEMS Structures[J]. Computer and Applications, 2010,46(7):66-68.

[4] REMBE C, MULLER R S. Measurement System for Full Three-dimensional Motion Characterization of MEMS[J]. Journal of Microelectromechanical Systems, 2002, 11(5)：479-488.

[5] 陽溢， 劉博文，李揚．基于運動分析的DWT- SVD域視頻水印算法[J]．重慶理工大學(xué)學(xué)報(自然科學(xué)版)，2015,29(10):132-138．

YANG Yi，LIU Bowen，LI Yang．DWT-SVD Domain Video Watermarking Algorithm Based on Motion Analysis[J]．Journal of Chongqing University of Technology(Natural Science)，2015,29(10):132-138．

[6] ASWENDT P, SCHMIDT C D, ZIELKE D, et al . ESPI Solution for Non-contacting MEMS on Wafer Testing[J]. Optics amp; Lasers in Engineering, 2003, 40(5/6):501-515.

[7] 金翠云, 靳世久, 栗大超, 等. 光流技術(shù)在微結(jié)構(gòu)平面微運動測量中的應(yīng)用[J]. 光電子·激光，2007,18(11):1359-1362.

JIN Cuiyun, JIN Shijiu, LI Dachao, et al. Application of Optical Flow Technique in Measuring In-plane Micro-motions of Micro-structures[J]. Journal of Optoelectronics·Laser, 2007,18(11):1359-1362.

[8] REMBE C, TIBKEN B, HOFER E P. Analysis of the Dynamics in Microactuators High-speed Cine Photomicrography[J]. Journal of Microelectromechanical System,2001, 10(1)：137-145.

[9] 盧清華，張憲民，范彥斌. 基于計算機微視覺的魯棒多尺度平面微運動測量[J]. 機械工程學(xué)報，2009,45(2):164-169.

LU Qinghua, ZHANG Xianmin, FAN Yanbin. Robust Multiscale Method for In-plant Micro-motion Measurement Based on Computer Micro-vision[J]. Journal of Mechanical Engineering, 2009,45(2):164-169.

[10] 黃贊，張憲民，陳忠. 基于同態(tài)濾波的魯棒多尺度微運動測量算法[J]. 儀器儀表學(xué)報，2011,11(2):426-431.

HUANG Zan, ZHANG Xianmin, CHEN Zhong. Robust Multi-scale Micro-motion Measurement Algorithm Based on Homonorphic Filtering[J]. Chinese Journal of Scientific Instrument, 2011,11(2):426-431.

[11] 陳佳，朱長仁，羅賓．一種camshift算法與 brisk 特征點相結(jié)合的運動目標(biāo)跟蹤方法[J]．重慶理工大學(xué)學(xué)報(自然科學(xué)版)，2015,29(12):112 -119．

CHEN Jia，ZHU Changren，LUO Bin. A Combination of Camshift Algorithm and Brisk Feature Point for Real Time Moving Target Tracking[J]．Journal of Chongqing University of Technology(Natural Science)，2015,29(12):112-119．

[12] 贠今天，鄧?yán)疲：陱? 輪式移動仿人護理機器人運動穩(wěn)定性分析[J].中國機械工程，2016, 27 (17): 2304-2309.

YUN Jintian，DENG Lihao，SANG Hongqiang. Analysis of Motion Stability of a Mobile Humanoid Nursing Robot[J]. China Mechanical Engineering，2016, 27 (17): 2304-2309.

[13] 趙英男，吳知，金士偉. 基于核的最小均方誤差改進算法及其應(yīng)用[J]. 計算機工程，2013,39(1):179-182.

ZHAO Yingnan, WU Zhi, JIN Shiwei. An Improved Kernel-based Minimum Mean Square Error Algorithm and Its Application[J]. Computer Engineering, 2013,39(1):179-182.

[14] 王魯平，馬峰，韓建濤. 基于距離加權(quán)平均絕對差的模板漂移抑制算法[J]. 中南大學(xué)學(xué)報(自然科學(xué)版)，2012,43(10):3894-3899.

WANG Luping, MA Feng, HAN Jiantao. A Template Drift Suppression Algorithm Based on Distance MAD[J].Journal of Central South University(Science and Technology), 2012,43(10):3894-3899.

[15] 張莎，田逢春，譚洪濤. 基于下采樣的快速塊匹配搜索算法及降噪應(yīng)用[J]. 計算機應(yīng)用，2010,30(10): 2819-2822.

ZHANG Sha, TIAN Fengchun, TAN Hongtao.Fast Block-matching Search Algorithm Based on Down-sampling and Its Application in Denoising[J]. Journal of Computer Applications, 2010, 30(10): 2819-2822.

(編輯王旻玥)

作者簡介：龔立雄，男，1978年生。重慶理工大學(xué)機械工程學(xué)院副教授、博士。主要研究方向為視覺圖像檢測、先進制造及能效優(yōu)化。E-mail：herogong2001@163.com。程雙勝，男，1980年生。中國船舶重工集團公司第712研究所高級工程師。劉永，男，1976年生。湖北汽車工業(yè)學(xué)院機械工程學(xué)院講師、博士研究生。

ResearchonMEMSMicro-motionMeasurementsBasedonDiamondSearchBlock-matchingTechnology

GONG Lixiong1CHENG Shuangsheng2LIU Yong3

1.College of Mechanical Engineering，Chongqing University of Technology，Chongqing,400054 2.Wuhan Marine Electric Propulsion Research Institute,CSIC,Wuhan,430064
3.School of Mechanical Engineering，Hubei Automotive Industries Institute，Shiyan,Hubei,442002

Firstly, the model of block-matching motion and measurement principles were analyzed, and the algorithm of diamond search-based block-matching path search was established using the minimum sum of absolute difference(MSAD) to set block-matching criterion. The algorithm of diamond search-based block-matching located roughly or precisely by large diamond search pattern (LDSP) or small diamond search pattern (SDSP), and to compute the best motion vector of micro-motion. Next, MEMS image acquisition programme of computer micro-vision was designed, and 24 resonators image of different phase were analyzed and tested by the proposed micro-motion measurement method. The results show that block-matching technology based on MSAD and diamond search algorithm may well estimate and measure micro-motion vectors of MEMS devices.

block-matching; diamond search; micro-motion; micro electromechanical system(MEMS); micro-vision

劉建英，男，1990年生。山東理工大學(xué)機械工程學(xué)院碩士研究生。主要研究方向為柔性欠驅(qū)動機器人動力學(xué)與控制。王效岳(通信作者)，男，1961年生。山東理工大學(xué)機械工程學(xué)院教授。E-mail: Wangxy@sdut.edu.cn。宮金良，男，1976年生。山東理工大學(xué)機械工程學(xué)院副教授。

TP391.41

10.3969/j.issn.1004-132X.2017.22.015

2016-11-28

教育部人文社科研究項目(15YJCZH049);重慶市教委科學(xué)技術(shù)研究項目(KJ1400908);重慶市基礎(chǔ)與前沿研究項目(cstc2017jcyjAX0343，cstc2016jcyjA0385);重慶市教委人文社科研究項目(15SKG133)