曹陽，丁一岷

（國網(wǎng)嘉興供電公司，浙江嘉興 314001）

當(dāng)前機(jī)器人在自動(dòng)化生產(chǎn)線上得到了廣泛的應(yīng)用，機(jī)械臂位姿有效檢測是生產(chǎn)線自動(dòng)化程度和生產(chǎn)效率提高的關(guān)鍵技術(shù)之一[1]。若要對工件進(jìn)行自動(dòng)化抓取和包裝，必須實(shí)現(xiàn)機(jī)械臂位姿的自動(dòng)估計(jì)。傳統(tǒng)使用的關(guān)鍵性技術(shù)是基于目標(biāo)特性約束的激光測距和單目攝像機(jī)估計(jì)技術(shù)，該技術(shù)利用機(jī)械臂末端的三點(diǎn)式激光測距傳感器進(jìn)行位姿估計(jì)，但易受距離影響，估計(jì)方法穩(wěn)定性差；使用基于目標(biāo)特征約束的單眼照相機(jī)位姿估計(jì)法，根據(jù)提取的對接圓和輪廓特征估計(jì)出機(jī)械臂的位置和姿態(tài)初始值，但易受噪聲影響，估計(jì)精度低。針對這一問題，設(shè)計(jì)了基于雙目視覺的機(jī)械臂位姿估計(jì)及目標(biāo)自動(dòng)定位系統(tǒng)。

1 系統(tǒng)硬件結(jié)構(gòu)設(shè)計(jì)

雙目視覺采用非經(jīng)典收斂式雙目結(jié)構(gòu)，系統(tǒng)由上、下兩個(gè)處理單元組成，每個(gè)處理單元處理通道的圖像數(shù)據(jù)[2]。下處理器采用DSP 智能攝像機(jī)，上處理器采用PC 主機(jī)[3]。系統(tǒng)硬件結(jié)構(gòu)如圖1 所示。

圖1 系統(tǒng)硬件結(jié)構(gòu)

如圖1 所示，該攝像機(jī)是以DSP 為核心的圖像處理平臺(tái)，可以完成圖像的采集和處理[4]。相機(jī)采用FPGA 實(shí)現(xiàn)CCD 的時(shí)序控制和數(shù)據(jù)采集，同一外部控制信號(hào)觸發(fā)兩相機(jī)進(jìn)行同步圖像采集。采用以太網(wǎng)技術(shù)，實(shí)現(xiàn)了攝像機(jī)與主機(jī)之間的通信，即攝像機(jī)之間的圖像傳輸，最后由上位機(jī)獲得機(jī)械臂的姿態(tài)數(shù)據(jù)并控制其移動(dòng)[5-7]。

1.1 高壓柜上按鈕

高壓柜上的按鈕是低壓電器，可手動(dòng)或自動(dòng)復(fù)位[8-9]。按鈕通常是在電路中發(fā)出一條啟動(dòng)或停止指令，以控制接觸器、繼電器等線圈的電流，圖2 中顯示了它的結(jié)構(gòu)[10]。

由圖2 可知，按鈕會(huì)有不同的標(biāo)志和顏色。一般來說，紅色代表停止，綠色代表開啟。急停鍵是紅色的蘑菇頭，必須配備金屬保護(hù)環(huán)[11]。扣圈應(yīng)高于按鈕蓋，以防止誤觸按鈕導(dǎo)致誤操作。高壓柜上按鈕操作過程為：通電后按停止鍵，松開后再關(guān)閉。按下啟動(dòng)鍵關(guān)閉，釋放后繼續(xù)斷開[12]。

圖2 高壓柜上按鈕結(jié)構(gòu)

1.2 FPGA

FPGA 是適用于數(shù)字集成電路的通信協(xié)議芯片，其基本結(jié)構(gòu)如圖3 所示。

圖3 FPGA芯片基本結(jié)構(gòu)

由圖3 可知，F(xiàn)PGA 的內(nèi)部組件包含了可配置邏輯塊（CLB）、寄存器（IOB）、顏色轉(zhuǎn)換模塊（CB）、布線資源結(jié)構(gòu)模塊（SB）等，這些模塊可以組合使用，通過可編程序邏輯資源連接多個(gè)模塊，形成FPGA 電路，具有高速并行計(jì)算速度快、功耗低的優(yōu)點(diǎn)。

2 系統(tǒng)軟件部分設(shè)計(jì)

2.1 紋理圖像和三維點(diǎn)云配準(zhǔn)

為了引導(dǎo)機(jī)械臂抵達(dá)指定目標(biāo)位置并完成操作任務(wù)，需要利用雙目視覺將操作目標(biāo)的空間位置信息傳遞給機(jī)械臂[13-14]。利用雙目攝像機(jī)進(jìn)行立體定標(biāo)，獲得系統(tǒng)內(nèi)外參數(shù)。通過攝像機(jī)捕獲雙目圖像，根據(jù)系統(tǒng)內(nèi)外參數(shù)進(jìn)行立體校正[15]。經(jīng)修正的雙目圖像進(jìn)行立體匹配，由此獲得視差圖[16]。由此構(gòu)建雙目視覺模型如圖4 所示。

圖4 雙目視覺模型

由圖4 可知，兩臺(tái)相機(jī)像平面嚴(yán)格向前方平行線對準(zhǔn)，兩臺(tái)物理焦距f一致的相機(jī)之間的基線距離為T，像元大小為a。在三維立體空間中的某點(diǎn)A(x,y,z)在兩臺(tái)相機(jī)成像平面中的映射點(diǎn)分別為O1和O2，對應(yīng)雙目視覺模型中的坐標(biāo)分別為(a1,v)和(a2,v)，由此可得到雙目視覺差為：

采用二維特征匹配方法，建立紋理圖像和校正后的左雙目圖像的對應(yīng)關(guān)系。具體的匹配過程如下：從圖像中提取特征點(diǎn)，通過特征點(diǎn)的匹配來求解單應(yīng)性矩陣，并將其轉(zhuǎn)化為同一坐標(biāo)系。

1）特征點(diǎn)匹配

設(shè)紋理圖像中的某點(diǎn)像素坐標(biāo)為(x,y)，與其相對應(yīng)的左目像素坐標(biāo)為(x′,y′)，由此得到紋理圖像與左目像素齊次坐標(biāo)模式下對應(yīng)關(guān)系：

式（2）中，W表示單應(yīng)性矩陣；λ表示映射尺度因子，是一個(gè)常數(shù)。

2）單應(yīng)性矩陣求解

單應(yīng)性矩陣的計(jì)算公式為：

式（3）中，單應(yīng)性矩陣W是通過特征點(diǎn)匹配后計(jì)算得到的，通過式（2）可得到紋理圖像與雙目視覺對應(yīng)的關(guān)系。

3）三維坐標(biāo)與紋理圖像匹配

三維立體空間中的某點(diǎn)A(x,y,z)坐標(biāo)與紋理圖像中二維坐標(biāo)(x,y)匹配關(guān)系為：

式（4）中，Q-1表示雙目視覺重建的投影逆矩陣；WD表示單應(yīng)性矩陣中的逆投影結(jié)構(gòu)，計(jì)算公式為：

式（5）中，采用左雙目匹配的橋形圖，可以得到匹配紋理圖像的二維坐標(biāo)和雙目三維坐標(biāo)點(diǎn)云模型的關(guān)系。通過對匹配關(guān)系的確定，將單視紋理圖像映射到雙目視覺模型，得到目標(biāo)中心的姿態(tài)信息。

2.2 目標(biāo)旋轉(zhuǎn)中心和方向向量確定

由于機(jī)器人本身位置定位存在一定誤差，變電站所內(nèi)光照情況也會(huì)發(fā)生變化，因此不同操作任務(wù)下拍攝的圖像會(huì)存在較大差別。為了排除光線變化、位置變動(dòng)以及柜體表面相似外觀測點(diǎn)的干擾，采用基于模板匹配的粗定位在紋理圖中定位目標(biāo)的大致位置，再進(jìn)一步根據(jù)目標(biāo)模板圖像，識(shí)別物體位姿。

2.2.1 目標(biāo)模板圖像形成

構(gòu)建目標(biāo)模板圖像庫模塊，針對目標(biāo)的三維模型，利用球形攝像機(jī)對目標(biāo)視場進(jìn)行多角度、多距離的投影。以目標(biāo)三維模型的重心為基準(zhǔn)，設(shè)定坐標(biāo)系的原點(diǎn)，該點(diǎn)記為P。轉(zhuǎn)化空間坐標(biāo)，將基準(zhǔn)坐標(biāo)系轉(zhuǎn)化為以觀測點(diǎn)為P′原點(diǎn)的坐標(biāo)系，兩個(gè)坐標(biāo)系原點(diǎn)之間的距離為Z軸。之后從以P′點(diǎn)為原點(diǎn)的坐標(biāo)系中獲取三維模型投影目標(biāo)模板圖像，記錄該目標(biāo)的三維位置P′點(diǎn)到目標(biāo)三維模型之間的距離，由此生成目標(biāo)模板圖像數(shù)據(jù)集。

2.2.2 機(jī)械臂位姿識(shí)別

將目標(biāo)模板圖像放入存儲(chǔ)中，然后，對經(jīng)過預(yù)處理的二維目標(biāo)圖像進(jìn)行目標(biāo)檢測和識(shí)別，并采用相似性度量方法將模板圖像與源圖像進(jìn)行比較，由此計(jì)算機(jī)械臂位姿坐標(biāo)：

式（6）中，ori(O,r)表示目標(biāo)在模板圖像上r橫坐標(biāo)梯度；ori(I,c+r)表示目標(biāo)在二維圖像上c+r橫坐標(biāo)梯度；c表示目標(biāo)模板圖像中心點(diǎn)。在堆疊相同對象的二維圖像時(shí)，根據(jù)最終計(jì)算結(jié)果的值來選擇得分最高的對應(yīng)位置。

2.3 剔除噪點(diǎn)區(qū)域

利用3×3 鄰域高斯模板對圖像數(shù)據(jù)進(jìn)行平滑輸入，對二維高斯函數(shù)進(jìn)行采樣得到高斯模版，在圖像處理中得到廣泛應(yīng)用。給出圖像數(shù)據(jù)g(i,j)的特定表達(dá)式如下：

經(jīng)過濾波平滑后的圖像數(shù)據(jù)g(i,j)對圖像中噪聲的侵襲具有一定的魯棒性，利用該方法提取方向紋理特征，機(jī)械臂位姿估計(jì)及定位結(jié)果更加精準(zhǔn)。

3 實(shí) 驗(yàn)

3.1 實(shí)驗(yàn)裝置

實(shí)驗(yàn)裝置是基于數(shù)字處理器智能相機(jī)的雙目視覺平臺(tái)，使用UR5 機(jī)械臂，如圖5 所示。

圖5 機(jī)器人機(jī)械臂實(shí)物圖

使用數(shù)字處理器智能相機(jī)采集相關(guān)圖像內(nèi)容，利用標(biāo)定參數(shù)校正，將校正后的圖像發(fā)送到相機(jī)中，由此完成雙目圖像視差估計(jì)，并將結(jié)果傳回到PC 主機(jī)。利用數(shù)據(jù)統(tǒng)計(jì)結(jié)果，實(shí)現(xiàn)目標(biāo)位姿估計(jì)。

3.2 實(shí)驗(yàn)數(shù)據(jù)分析

使用機(jī)械臂精確控制目標(biāo)的位移和旋轉(zhuǎn)運(yùn)動(dòng)，得到姿態(tài)剛體變換參數(shù)信息，即位姿。實(shí)驗(yàn)選用焦距為8 mm 的鏡頭，工作距離為450 mm，檢測的物體為35 mm×20 mm×20 mm 矩形塊，一共獲取60 張圖。實(shí)驗(yàn)測試集如表1 所示。

表1 實(shí)驗(yàn)測試集

3.3 實(shí)驗(yàn)結(jié)果與分析

分別使用激光測距和單目攝像機(jī)估計(jì)技術(shù)Q1、單眼照相機(jī)位姿估計(jì)法Q2 和基于雙目視覺機(jī)械臂位姿估計(jì)及目標(biāo)自動(dòng)定位系統(tǒng)Q3 對機(jī)械臂運(yùn)動(dòng)坐標(biāo)展開對比分析，結(jié)果如圖6 所示。

圖6 機(jī)械臂運(yùn)動(dòng)坐標(biāo)估計(jì)精度對比分析

由圖6 可知，使用激光測距和單目攝像機(jī)估計(jì)技術(shù)在從1 處到2 處的運(yùn)動(dòng)軌跡是曲線型的，變化幅度較大，尤其是在坐標(biāo)點(diǎn)為（40.5,-17,26.5）時(shí)，差別最大；使用單眼照相機(jī)位姿估計(jì)法在從1 處到2 處的運(yùn)動(dòng)軌跡是曲線型的，變化幅度比第一種方法要小，但與預(yù)期軌跡差別較大，尤其在坐標(biāo)點(diǎn)為（41.2,-16,28）時(shí)，差別最大；使用基于雙目視覺機(jī)械臂位姿估計(jì)及目標(biāo)自動(dòng)定位系統(tǒng)從1 處到2 處的運(yùn)動(dòng)軌跡與預(yù)期軌跡基本一致，說明使用該系統(tǒng)機(jī)械臂運(yùn)動(dòng)坐標(biāo)估計(jì)結(jié)果較為精準(zhǔn)。

4 結(jié)束語

文中基于雙目視覺的機(jī)械臂位姿估計(jì)及目標(biāo)自動(dòng)定位系統(tǒng)，利用雙目視覺引導(dǎo)機(jī)械臂完成操作任務(wù)，采用基于模板匹配的粗定位在紋理圖中定位目標(biāo)的大致位置，根據(jù)目標(biāo)模板圖像，識(shí)別物體位姿，解決了傳統(tǒng)定位系統(tǒng)定位精準(zhǔn)度低的問題。