沈 躍，朱嘉慧，劉 慧，崔業(yè)民，張炳南

?

基于彩色和深度信息結(jié)合-means聚類算法快速拼接植株圖像

沈 躍1，朱嘉慧1，劉 慧1※，崔業(yè)民2，張炳南1

（1. 江蘇大學電氣信息工程學院，鎮(zhèn)江 212013；2. 南通廣益機電有限責任公司，南通 226631）

圖像拼接可以建立寬視角的高分辨率圖像，對實現(xiàn)農(nóng)業(yè)智能化有重要作用。基于Kinect傳感器的圖像拼接方法利用彩色和深度雙源信息，能夠有效避免圖像缺失、亮暗差異、重影等拼接錯誤，但是存在拼接時間較長和目標植株不明顯等情況。針對這一問題，該文提出一種基于Kinect傳感器彩色和深度信息的目標植株圖像快速拼接方法。首先用-means聚類算法和植株深度信息提取彩色圖像中有效植株區(qū)域，再采用SURF（speeded up robust features）算法進行特征點提取，利用相似性度量進行特征點匹配并根據(jù)植株深度數(shù)據(jù)去除誤匹配，由RANSAC（random sample consensus）算法尋找投影變換矩陣，最后采用基于縫合線算法的多分辨率圖像融合方法進行拼接。室內(nèi)外試驗結(jié)果表明：該文圖像拼接方法更能突顯出目標植株且極大縮短了拼接時間，該方法圖像拼接時間只需3.52 s（室內(nèi)）和7.11 s（室外），較基于深度和彩色雙信息特征源的Kinect植物圖像拼接方法時間縮短了8.62 s（室內(nèi)）和38.56 s（室外），且平均匹配準確率達96.8%。該文拼接后圖像信息熵、清晰度、互信息、空間頻率平均分別為6.34、50.36、11.70、11.28，圖像質(zhì)量較傳統(tǒng)方法均有提高。該研究可為監(jiān)測農(nóng)業(yè)植株生長狀態(tài)、精確噴灑藥物提供參考。

圖像處理；算法；機器視覺；-means聚類；SURF算法；圖像融合；彩色和深度信息

0 引 言

農(nóng)業(yè)智能化是近年來農(nóng)業(yè)信息技術(shù)研究的主要方向和發(fā)展趨勢。對農(nóng)業(yè)果實植株進行檢測、田間管理、農(nóng)用機器人導航等田間工作，需要獲取整塊農(nóng)田作物的生長情況，因此圖像拼接技術(shù)具有較高的實用價值[1-4]。曹楠等[5]等提出的基于SIFT（scale-invariant feature transform）特征匹配的圖像無縫拼接算法是一種較為傳統(tǒng)的圖像拼接方法，雖然繼承了SIFT算法的魯棒性，且消除拼接縫，但是拼接后圖像可能存在重影、缺失等情況，拼接精度和時間也有待提高。赫更新等[6]提出SURF（speeded up robust features）與RANSAC（random sample consensus）組合圖像拼接算法可實現(xiàn)圖像快速拼接，是一種加快圖像拼接速度的圖像拼接方法，但其匹配精度不能滿足作業(yè)需求。沈躍等[7]提出基于深度和彩色雙信息特征源的Kinect植物圖像拼接方法，能夠有效改善圖像缺失、重影等拼接錯誤，且拼接精度高，但是其拼接時間較長，在農(nóng)田作業(yè)時無法滿足實時性需求。因此，本研究針對文獻[7]的圖像拼接方法進行改進以提高圖像拼接的效率。

本文在文獻[7]研究的基礎上，提出基于Kinect傳感器彩色和深度信息的目標植株圖像快速拼接方法，通過Kinect V2.0獲取彩色圖像和植株三維數(shù)據(jù)[8]，根據(jù)植株深度數(shù)據(jù)和K-means聚類算法得到彩色圖像中有效植株區(qū)域，采用SURF算法對有效區(qū)域進行特征點提取，再利用相似性度量的方法對特征點進行匹配，在進行特征點匹配對篩選的過程中，提出采用左右位置深度距離不變的方法去除誤匹配，通過RANSAC算法尋找圖像間的最佳投影變換矩陣，再利用基于最佳縫合線的多分辨率融合的方法對待拼接圖像進行融合，從而獲取整體目標圖像。

1 材料與方法

1.1 彩色圖像和深度數(shù)據(jù)采集

為了采集植株彩色圖像和深度信息，搭建了數(shù)據(jù)采集平臺，平臺包括Kinect 2.0傳感器、PC機、相機支架、滑臺以及待測植株[7]。Kinect傳感器固定于相機支架或滑臺上，通過USB延長線接口連至PC機，待測植株距Kinect傳感器大約1 500 mm～1 800 mm。利用運動滑塊攜帶Kinect傳感器以0.5 m/s速度勻速前進，運動方向與植株所在平面平行，由于滑臺是水平的，所以Kinect進行水平直線運動，通過MATLAB調(diào)用Kinect每隔0.6 s獲取1次植株彩色圖像和深度距離信息并保存，對不同的植株圖像共進行50次試驗，每次試驗共采集圖像20幅，圖像大小均為1 920×1 080像素。

1.2 彩色圖像目標植株區(qū)域提取

1.2.1 深度數(shù)據(jù)預處理

由于Kinect拍攝的植株圖像包含復雜背景，在進行特征點提取時會提取到很多不在目標植株上的特征點，導致特征點提取時間增長，因此，去除植株背景是十分有必要的。在自然環(huán)境中，目標植株圖像的背景中常常含有大量干擾植物，本研究采用深度信息與彩色圖像相結(jié)合的方法提取出目標植株區(qū)域。

Kinect傳感器深度數(shù)據(jù)記錄的是待拍攝物體與傳感器之間的距離，經(jīng)常被應用到人機交互領(lǐng)域，即能夠?qū)D像中的人從背景中提取出進行開發(fā)應用[9-10]。本試驗充分利用傳感器的這一特性，通過深度圖像的檢測范圍的限制，對待檢測的植株樹木的深度特征進行初步識別[11]。由于Kinect識別的最佳距離是1 500～1 800 mm，所以將目標植株放置于傳感器前方1 500～1 800 mm范圍內(nèi)，在實際應用可將kinect固定于行駛的小車上，小車距植株1 500～1 800 mm即可。從而通過距離的限制初步將目標植株與背景分離，程序設置距離內(nèi)的區(qū)域像素值為1，將距離外的區(qū)域像素值為0。

1.2.2-means聚類算法

聚類分析算法[12-14]是數(shù)據(jù)挖掘的一個重要算法，其中，-means聚類算法在進行數(shù)據(jù)集處理的效率非常高，特別是針對大數(shù)據(jù)集，且相對簡單，-means聚類算法工作過程為：首先從個數(shù)據(jù)對象任意選擇個對象作為初始聚類中心；而對于所剩下其他對象，則根據(jù)它們與這些聚類中心的相似度，分別將它們分配給與其最相似的（聚類中心所代表的）聚類；然后再計算每個所獲新聚類的聚類中心（該聚類中所有對象的均值）；不斷重復這一過程直到標準測度函數(shù)開始收斂為止[15-16]。根據(jù)本文預處理后獲取的效果圖，只需要獲取目標植株所在的圖像區(qū)域，因此試驗中選取其聚類數(shù)2就能夠得到最好的分割效果。

此時得到的分割后圖像會存在很大誤差，尤其是在室外試驗中，而圖像分割誤差越大，拼接后圖像誤差越大。所以為了保證后續(xù)圖像拼接準確率，本文保留了植株所在的矩形區(qū)域。在得到的二值圖像的基礎上，至上往下對每一行進行求和，直至找到第一個非空白行為止，記為第行，至下往上對每一行進行求和，直至找到第一個非空白行為止，記為第行；至左往右對每一列進行求和，直至找到第一個非空白列為止，記為第列，至右往左對每一列進行求和，直至找到第一個非空白列為止，記為第列；在原彩色圖像上截取出第行到第行，第列到第列的圖形區(qū)域，此時得到的即是提取出的植株所在的矩形區(qū)域。處理后圖像如圖1所示。

a. 初始圖像 a. Original imageb. 去除背景后圖像 b. Image without complex background

圖1a是Kinect拍攝到的初始圖像，圖1b是去除復雜背景后的彩色圖像，其中黑色部分是被去除的無目標植株的部分，保留了植株所在的矩形區(qū)域。

1.3 植株彩色圖像初步匹配

1.3.1 SURF特征點提取

對于圖像的匹配算法而言，能夠找到具有高魯棒性的特征點是其關(guān)鍵，SURF[17-18]（speeded up robust features）算法的速度是SIFT（scale-invariant feature transform）算法的3倍左右，并且在多幅圖片下具有更好的穩(wěn)定性[19]。

SURF算法主要分為4部分：生成尺度空間、檢測關(guān)鍵點、分配關(guān)鍵點方向、特征點描述子生成[20-21]。比起SIFT算法，SURF算法通過使用Hessian矩陣[22]和降維的特征描述子來增加執(zhí)行效率。SURF算法提取到的特征點如圖2所示。

注：圖中圓圈代表特征點的尺度，圓圈內(nèi)十字交叉點即為特征點。

1.3.2 相似性度量特征點匹配

相似性度量，即綜合評定2個事物之間相近程度的一種度量，可利用相似性度量進行特征點匹配。本文采用算法簡單實現(xiàn)效率高的歐氏距離作為2幅圖中的相似度量。將1幅圖像中的某個關(guān)鍵點和另1幅圖像中與其距離最近的前2個關(guān)鍵點相比，若比值ratio小于某個閾值，則接受這1對匹配點。經(jīng)多次試驗發(fā)現(xiàn)，當取閾值為0.6時，存在的誤匹配較少。圖3是特征點匹配圖。

注：圖中直線為2幅圖中特征點匹配對的連線。

1.4 圖像融合

1.4.1 Kinect深度信息誤匹配消除

從圖3中可以看出通過相似性度量得到潛在匹配對中不可避免會產(chǎn)生一些錯誤匹配，這會使拼接后圖像發(fā)生缺失、錯位等情況。因此需要對錯誤匹配進行處理。

本文采用文獻[7]中利用深度信息去除誤匹配的方法。Kinect傳感器僅進行水平平移，所以同一點在不同位置的深度距離相同。若匹配到的2個特征點深度距離相同，則保留此匹配，否則去除該匹配。由此得到的匹配對正確率較高。

1.4.2 RANSAC算法尋找最佳單應性矩陣

單應性矩陣描述的是針對同一事物，在不同的視角下拍攝的圖像之間的關(guān)系。本文采用文獻[7]中RANSAC算法尋找最佳單應性矩陣[23-24]，RANSAC[25]算法目的是找到最優(yōu)的參數(shù)矩陣，使得滿足該矩陣的數(shù)據(jù)點個數(shù)最多，矩陣大小為3×3，通常令33=1，其變換形式如下

式中(,)表示目標圖像角點位置，()為場景圖像角點位置，為尺度參數(shù)。

1.4.3 基于最佳縫合線的多分辨率圖像融合

圖像融合以圖像配準為基礎，實現(xiàn)圖像自然平滑過渡。本文使用基于最佳縫合線的多分辨率算法進行圖像拼接。

在2幅圖像重疊區(qū)域的差值圖像上，顏色、結(jié)構(gòu)強度差值最小的一條線被稱為理想的縫合線[26-27]。

由投影變換矩陣可以得到2幅圖像水平平移的像素量，2個位置的坐標系歸一化到同一個坐標系中，將2幅圖像重疊的部分作差運算生成一幅差值圖像；對差值圖像從重疊區(qū)域的第一行出發(fā)，向下擴展，對每行計算縫合線強度值到最后一行為止，然后將所有選中的點連接起來作為最佳縫合線。

在求得最佳縫合線之后進行多分辨率融合拼接[28-29]，步驟如下：

1）根據(jù)拼接后圖像的大小，生成一幅模板圖像，將縫合線左側(cè)填充0，右側(cè)填充255，形成一副黑白模板圖像。

2）將原始2幅圖像、擴展到拼接后圖像的大小，擴展部分填充0。

3）生成模板的高斯圖像G，以及經(jīng)擴展的、的拉普拉斯圖像L、L。

4）在每一層上分別進行融合，求得融合后的拉普拉斯圖像fusion，像素值計算公式為

式中代表第幾層；(,)代表像素點坐標。

5）對于融合后的拉普拉斯圖像fusion，從最高層開始差值擴展，并與其下一層圖像相加，重復此過程直至與最后一層圖像相加完為止，得到最終需要的基于最佳縫合線的多分辨率融合圖像。

1.5 改進的基于Kinect傳感器彩色和深度信息的目標植株圖像快速拼接

本研究基于Kinect傳感器彩色和深度信息的目標植株圖像快速拼接流程圖如圖4所示。

圖4 基于彩色和深度信息結(jié)合K-means聚類算法快速拼植株圖像接流程圖

第1步，Kinect獲取不同角度的彩色圖像和深度信息，對獲取到的深度信息進行范圍限制，然后利用-means算法提取出彩色圖像中有效植株矩形區(qū)域。

第2步，用SURF算法進行關(guān)鍵點搜索，再采用相似性度量的方法進行特征點匹配。

第3步，用多幅圖像的深度距離不變性消除誤匹配，對得到的匹配對采用RANSAC算法尋求2幅圖之間的最佳投影變換矩陣。

第4步，采用基于最佳縫合線的多分辨率圖像融合算法對圖像進行融合，最終實現(xiàn)了圖像的精確拼接。

文獻[7]所提出的圖像拼接方法沒有分割出有效植株區(qū)域，彩色圖像復雜的背景給圖像拼接造成很大干擾，并且本文采用的SURF特征點提取方法比文獻[7]中采用的SIFT特征點提取速度更快，最后本文采用基于最佳縫合線的多分辨率圖像融合，相比文獻[7]中最佳縫合線算法，本文融合算法使圖像融合更為平滑，盡可能地解決了因為亮暗差異導致的拼接線較為明顯的問題。因此本文圖像拼接方法更能突顯出目標植株，且極大縮短了拼接時間。

2 試驗設計與結(jié)果分析

2.1 試驗設計

為了驗證本文方法的精確性和實時性，設計了室內(nèi)與室外試驗，試驗所用計算機主機配置CPU為Intel Core i7，主頻為2.60 GHz，內(nèi)存為8GB，操作系統(tǒng)為Windows 10，程序編寫運行環(huán)境為MATLAB R2016a。試驗場景如圖 5所示。

圖5 室內(nèi)外試驗場景圖

圖5a是室內(nèi)試驗場景圖，將Kinect傳感器固定在一個6 m長的滑臺上進行試驗，滑臺距離地面高度1 500 mm，綠色植株與試驗滑臺的垂直距離為1 500～1 800 mm，當運動滑塊以0.5 m/s速度勻速前進時，攜帶Kinect傳感器以同樣速度移動，每隔0.6 s用MATLAB獲取1次植株彩色圖像和深度距離信息并保存。圖采集圖形共耗時12 s，共采集圖像20幅，圖像大小均為1 920×1 080像素。圖5b室外試驗場景圖，室外試驗在植株培育基地進行，由于室外試驗條件的限制，沒有在滑臺上進行試驗，而是將Kinect固定在相機支架上，水平移動相機支架，用MATLAB獲取植株彩色圖像和深度距離信息并保存。

2.2 評價指標

采用一些客觀評價指標對圖像融合質(zhì)量進行評價，由于不存在理想的標準參考圖像，因而采用基于融合圖像自身統(tǒng)計特性以及反映融合圖像與源圖像之間關(guān)系的性能指標客觀地評價圖像的融合效果。

1）信息熵（information entropy，IE）

信息熵[30]是用來衡量一個隨機變量出現(xiàn)的期望值的一種指標。當一個變量的信息熵越大時，這個變量出現(xiàn)的情況也就越多，也就是包含的信息量越大。說明融合效果越好。計算公式如下

2）清晰度（clarity）

又稱平均梯度，其通過相鄰2像素灰度差的平方反映圖像細節(jié)反差程度和紋理變化特征，計算公式如下

式中()表示圖像對應像素（）的灰度值，為圖像清晰度計算結(jié)果。清晰度值越大，表明圖像越清晰，融合效果越好。

3）互信息（mutual information，MI）

互信息是用于衡量2個域變量之間的依賴性的一個指標。表示待融合圖像、與融合圖像之間的互信息，互信息越大，說明融合圖像從源圖像中提取的信息越多,融合的效果也越好。互信息的計算公式如下

式中p(,,)、p(,)分別為融合圖像與原圖像之間、2幅原圖像之間的聯(lián)合灰度分布。表示融合后圖像，表示融合后圖像像素數(shù)，表示原始圖像像素數(shù)，p表示灰度值為的所有像素在整體圖像中所占的比例。

4）空間頻率（spatial frequency，SF）

空間頻率測量的是像素值的變化速度，反映了圖像整體活躍程度，而與像素本身值的大小沒有關(guān)系，可以評價圖像灰度的變化情況。

式中RF為空間行頻率；CF為空間列頻率，且

式中表示像素大小，（）表示圖像對應像素()的灰度值。

SF值越大表明拼接圖像融合并非是重疊區(qū)簡單的疊加，而是2幅圖像的過渡融合。

2.3 結(jié)果與分析

2.3.1 室內(nèi)試驗

順序抽取3個連續(xù)時間點獲取的3張彩色圖像作為待拼接圖像，如圖6a所示。用限制深度距離的范圍，程序設置距離為1 500～1 800 mm內(nèi)的區(qū)域像素值為1，距離外的區(qū)域像素值為0。再對處理后的彩色圖像采用-means聚類算法分割出目標植株，將彩色圖像轉(zhuǎn)換成二值圖像進行展現(xiàn)，減小數(shù)據(jù)量，突顯出感興趣目標的輪廓。最后根據(jù)得到的二值圖像分割出目標植株所在的最小矩形區(qū)域。處理后圖像如圖6b所示。

a. 原始圖像 a. Original image b. 提取的目標植株區(qū)域 b. Target plant area extracted

圖6b是提取出的植株所在矩形區(qū)域，圖中黑色部分即是采用上述方法去除掉的目標植株外的背景區(qū)域。在進行試驗時，這部分平均共耗時2.30 s。

SURF算法提取到特征點分別為143、158、153個，根據(jù)相似性度量的方法得到特征點匹配對117和94對，此時得到的特征點匹配對存在一些誤匹配，利用深度信息共消除誤匹配對23和18對（見表1），通過RANSAC算法尋求投影變換矩陣，2種方法的投影變換矩陣分別為

最后分別采用文獻[7]中最佳縫合線算法和本文中基于最佳縫合線的多分辨率圖像融合算法對3幅待融合圖像進行處理，結(jié)果如圖7所示。

表1 3種不同拼接方法對比

Table 1 Comparison of 3 different mosaic method methods

試驗組 Test groups算法 Algorithm試驗次數(shù) Times of test特征點匹配 Feature points matching時間 Time/s 匹配數(shù) Matching number消除的誤匹配對數(shù) Mismatching eliminated正確匹配對 Correct matching匹配準確率 Accuracy of matching/% 文獻[5]50140－12488.614.04 室內(nèi)Indoor文獻[7]1172311396.612.14 本文94189196.83.52 文獻[5] 502 178－1 98891.356.32 室外Outdoor文獻[7]1 2399391 18095.245.67 本文98032893395.27.11

a. 文獻[7]方法的圖像拼接 a. Image mosaic result by method in literature[7] b. 本文方法圖像拼接 b. Image mosaic result by proposal method

圖7 室內(nèi)試驗圖像拼接對比

Fig.7 Image mosaic comparison of indoor test

圖7b中黑色區(qū)域為去除掉的部分背景。從圖中可以看出采用2種方法得到的拼接后圖像均沒有產(chǎn)生重影、缺失等明顯拼接錯誤，這是因為室內(nèi)試驗中光照較為均勻，2種圖像拼接方法均適用。試驗數(shù)據(jù)表明：同樣3幅待拼接圖像下，文獻[5]圖像拼接方法平均耗時14.04 s，平均匹配準確率為88.6%（見表1）；文獻[7]拼接方法平均耗時12.14 s，平均匹配準確率為96.6%；本文圖像拼接方法平均耗時1.32 s，平均匹配準確率為96.8%，試驗總耗時平均為3.52 s，由此得出與文獻[5]圖像拼接方法相比，文獻[7]和本文方法匹配準確率平均提高8個百分點左右，和文獻[7]相比，本文圖像拼接方法極大減少了圖像拼接時間（減少8.62 s），提高了圖像拼接效率，在進行室內(nèi)圖像拼接時能更滿足作業(yè)需求。

2.3.2 室外試驗

順序抽取3個連續(xù)時間點獲取的3張彩色圖像作為待拼接圖像，如圖8a所示，限制深度距離，采用-means聚類算法和植株深度信息提取出有效植株矩形區(qū)域，處理后圖像如圖8b所示。

a. 原始圖像 a. Original image b. 提取的目標植株區(qū)域 b. Target plant area extracted

圖8b是提取出的植株所在矩形區(qū)域，圖中黑色部分即是采用上述方法去除掉的目標植株外的背景區(qū)域。在進行試驗時，這部分平均共耗時2.81 s。

對處理后的彩色圖像和三維數(shù)據(jù)分別用文獻[7]的圖像拼接方法和本文改進后拼接方法進行處理，SURF算法提取到特征點分別為1 445、1 718、1 680個，根據(jù)相似性度量的方法得到特征點匹配對1 223和984對，利用深度信息共消除誤匹配對931和327對，通過RANSAC算法尋求投影變換矩陣，2種方法的投影變換矩陣分別為

圖9是分別采用本文方法和文獻[7]方法的試驗效果對比圖。

從圖9a中可以看出，在對亮暗差異較大的圖像進行融合時，出現(xiàn)了分割線明顯的情況，且縫合線兩側(cè)圖像的曝光差異很大，而圖9b中圖像平滑過渡，不會出現(xiàn)曝光差異。試驗數(shù)據(jù)表明：文獻[5]圖像拼接方法耗時56.32 s，匹配準確率為91.3%（見表1）；文獻[7]拼接方法耗時45.67 s，匹配準確率為95.2%；本文圖像拼接方法耗時4.3 s，試驗總耗時7.11 s，匹配準確率為95.2%。由此得出文獻[7]和本文方法匹配準確率提高3.9個百分點左右，并且與文獻[7]相比本文圖像拼接方法極大減少了圖像拼接時間38.56 s。

圖9 室外試驗圖像拼接對比

基于SIFT特征匹配的圖像無縫拼接方法（即文獻[5]）圖像拼接方法、基于深度和彩色雙信息特征源的Kinect植物圖像拼接方法（即文獻[7]）和本文拼接方法的拼接后圖像質(zhì)量對比分析如表2所示。

表2 不同拼接方法圖像質(zhì)量對比

從表2中可以看出，室內(nèi)試驗中，文獻[5]、文獻[7]和本文圖像拼接方法得到的融合圖像的信息熵平均為6.24、6.35和6.38，本文的信息熵最大，包含的信息量越大；融合圖像的清晰度平均為47.56、49.32和50.15，本文方法的清晰度最大，圖像最清晰；融合圖像的互信息平均為10.03、10.52和11.56，本文方法的互信息最大，融合圖像從源圖像中提取的信息越多；融合圖像的空間頻率平均為9.21、9.89和11.32，本文方法的空間頻率最大，說明拼接圖像融合并非是重疊區(qū)簡單的疊加；室外試驗中，本文方法信息熵、清晰度、互信息和清晰度均最大，因此，其圖像融合效果最好。

3 結(jié) 論

本文針對復雜背景的精確圖像拼接，提出一種基于Kinect傳感器彩色和深度信息的目標植株圖像快速拼接方法。先利用深度信息去除部分背景，再采用-means聚類算法提取有效植株區(qū)域，對有效植株區(qū)域采用SURF算法進行特征點提取，利用相似性度量的方法進行特征點匹配，根據(jù)深度距離信息篩除誤匹配對，再引入RANSAC算法得到投影變換矩陣，最后采用基于最佳縫合線的多分辨率圖像融合算法進行圖像融合。試驗結(jié)果表明：

1）本文基于Kinect傳感器彩色和深度信息的目標植株圖像快速拼接方法耗時較短。室內(nèi)試驗中，沈躍等（2018）方法（基于深度和彩色雙信息特征源的Kinect植物圖像拼接方法拼）耗時12.14 s，本文方法耗時3.52 s；室外試驗中，沈躍等（2018）方法接耗時45.67 s，本文方法耗時7.11 s。因此本文方法更能滿足實時作業(yè)的需求。

2）基于Kinect采集到的彩色圖像和三維數(shù)據(jù)對植株進行圖像拼接，室內(nèi)試驗中，沈躍等（2018）方法圖像匹配準確率為96.6%，本文方法圖像匹配準確率為96.8%；室外試驗中，沈躍等（2018）方法圖像匹配準確率為95.2%，本文方法圖像匹配準確率為95.2%。因此本文方法依然保持了很高的拼接精確率。

3）室內(nèi)外試驗中，沈躍等（2018）方法在對亮暗差異較大的圖像進行拼接時縫合線較為明顯，且縫合線兩側(cè)圖像的曝光差異很大，但是本文方法拼接后圖像過渡平滑，無明顯亮暗差異。

綜上所述，本文基于Kinect傳感器彩色和深度信息的目標植株圖像快速拼接方法耗時較短，能有效解決光照亮暗差異帶來的問題，且更能突顯出目標植株，圖像匹配率準確率高，更能滿足室內(nèi)外作業(yè)要求。該方法也可用于農(nóng)業(yè)植株生長狀態(tài)的監(jiān)測、藥物肥料的精確噴灑以及病蟲害的及時防治等農(nóng)田作業(yè)中。

[1] Zhang W, Guo B, Li M, et al. Improved seam-line searching algorithm for UAV image mosaic with optical flow[J]. Sensors, 2018, 18(4): 1210－1219.

[2] Guo S, Sun S, Guo J. The application of image mosaic in information collecting for an amphibious spherical robot system[C]//IEEE International Conference on Mechatronics and Automation. IEEE, 2016: 1547－1552.

[3] 姚立健，周高峰，倪忠進，等. 基于尺度不變特征轉(zhuǎn)換算子的水果表面圖像拼接方法[J]. 農(nóng)業(yè)工程學報，2015，31(9)：161－166. Yao Lijian, Zhou Gaofeng, Ni Zhongjin, et al. Matching method for fruit surface image based on scale invariant feature transform algorithm[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE),2015, 31(9): 161－166. (in Chinese with English abstract)

[4] 周志艷，閆夢璐，陳盛德，等. Harris角點自適應檢測的水稻低空遙感圖像配準與拼接算法[J]. 農(nóng)業(yè)工程學報，2015，31(14)：186－193. Zhou Zhiyan, Yan Menglu, Chen Shengde, et al. Image registration and stitching algorithm of rice low-altitude remote sensing based on harris corner self-adaptive detection[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2015, 31(14): 186－193. (in Chinese with English abstract)

[5] 曹楠，王萍. 基于SIFT特征匹配的圖像無縫拼接方法[J]. 計算機與應用化學，2011，28(2)：242－244. Cao Nan，Wang Ping. Seamless image stitching based on SIFT feature matching[J]. Computer and Applied Chemistry, 2011, 28(2): 242－244. (in Chinese with English abstract)

[6] 赫更新，馬嘉文，張西克，等. SURF與RANSAC 組合圖像拼接算法[J]. 應用科技，2017，44(10)：198－205.He Gengxin, Ma Jiawen, Zhang Xike, et al. An improved image mosaic algorithm based on SURF and RANSAC[J]. Applied Science and Technology, 2017, 44(10): 198－205. (in Chinese with English abstract)

[7] 沈躍，朱嘉慧，劉慧，等. 基于深度和彩色雙信息特征源的Kinect植物圖像拼接[J]. 農(nóng)業(yè)工程學報，2018，34(5)：176－182.Shen Yue, Zhu Jiahui, Liu Hui, et al. Plant image mosaic based on depth and color dual information feature source from Kinect[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2018, 34(5): 176－182.(in Chinese with English abstract)

[8] Khoshelham K, Elberink S O. Accuracy and resolution of Kinect depth data for indoor mapping application[J]. Sensors, 2012, 12(2): 1437－1454.

[9] 何東健，邵小寧，王丹，等. Kinect獲取植物三維點云數(shù)據(jù)的去噪方法[J]. 農(nóng)業(yè)機械學報，2016，47(1)：331－336. He Dongjian, Shao Xiaoning, Wang Dan, et al. Denoising method of 3D point cloud data of plants obtained by kinect[J]. Transactions of the Chinese Society for Agricultural Machinery, 2016, 47(1): 331－336. (in Chinese with English abstract)

[10] Smisek J, Jancosek M, Pajdla T. 3D with Kinect[C]//IEEE International Conference on Computer Vision Workshops. IEEE Computer Society, 2011: 1154－1160.

[11] 沈躍，潘成凱，劉慧，等. 基于改進SIFT-ICP算法的Kinect植株點云配準方法[J]. 農(nóng)業(yè)機械學報，2017，48(12)： 183－189.Shen Yue, Pan Chengkai, Liu Hui, et al. A method of improved SIFT-ICP plant point cloud registration based on Kinect[J]. Transactions of the Chinese Society for Agricultural Machinery, 2017, 48(12): 183－189. (in Chinese with English abstract)

[12] 沈躍，徐慧，劉慧，等. 基于-means 和近鄰回歸算法的 Kinect 植株深度圖像修復[J]. 農(nóng)業(yè)工程學報，2016，32(19)：188－194. Shen Yue, Xu Hui, Liu Hui, et al. Kinect scanning plant depth image restoration based K-means and K-nearest neighbor algorithms[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2016, 32(19): 188－194. (in Chinese with English abstract)

[13] Chao G. Discriminative-means laplacian clustering[J]. Neural Processing Letters, 2018(8): 1－13.

[14] Ula? Yurtsever, Hayrettin Evirgen, Mustafa Cihat Avunduk. A new augmented-means algorithm for seed segmentation in microscopic images of the colon cancer[J]. Tehnicki Vjesnik, 2018, 25(2): 34－40.

[15] El-Shorbagy M A, Ayoub A Y, El-Desoky I M, et al. A novel genetic algorithm based-means algorithm for cluster analysis[C]//International Conference on Advanced Machine Learning Technologies and Applications. Springer, Cham, 2018: 92－101.

[16] Malinen M I, Mariescu-Istodor R, Franti P.-means*: Clustering by gradual data transformation[J]. Pattern Recognition, 2014, 47(10): 3376－3386.

[17] Watada J, Zhang H, Melo H, et al. SURF algorithm-based panoramic image mosaic application[C]//International Conference on Intelligent Information Hiding and Multimedia Signal Processing. Springer Cham, 2017: 349－358.

[18] Dong Q, Liu J H, Zhou Q F. Improved SURF algorithm used in image mosaic[J]. Journal of Jilin University, 2017, 47(5): 1644－1652.

[19] 趙曉華. 基于SURF特征點的圖像拼接技術(shù)研究[J]. 艦船電子工程，2018，38(4)：78－83. Zhao Xiaohua. Research on image mosaic technology based on SURF feature points[J]. Ship Electronic Engineering, 2018, 38(4): 78－83. (in Chinese with English abstract)

[20] Fan P, Cheng W U, Yang R, et al. An improved SURF infrared image mosaic method based on BRISK[J]. Infrared Technology, 2018, 31(17): 168－174.

[21] Nam S H, Kim W H, Mun S M, et al. A SIFT features based blind watermarking for DIBR 3D images[J]. Multimedia Tools & Applications, 2018: 1－40.

[22] 陳敏, 湯曉安. SIFT與SURF特征提取算法在圖像匹配中的應用對比研究[J]. 現(xiàn)代電子技術(shù)，2018，41(7)：41－45. Chen Min, Tang Xiaoan. Comparison study on application of SIFT and SURF feature extraction algorithms in image matching[J]. Modern Electronics Technique, 2018, 41(7): 41－45. (in Chinese with English abstract)

[23] Dai X L, Deng S. Image mosaic technology based on improved SIFT and RANSAC[J]. Information. & Communications, 2017, 83(6): 142－150.

[24] Du H, Xu Z, Ding Y. The fast lane detection of road using RANSAC algorithm[J]. International Conference on Applications and Techniques in Cyber Security and Intelligence. 2018(7): 1－7.

[25] Ge Y, Gao C, Liu G D. An improved RANSAC image stitching algorithm based similarity degree[C]//International Conference on Multimedia Modeling. Springer International Publishing, 2016, Duke University, Durham, America: ASME, c2016: 185－196.

[26] Li Aiguo, Zhou Shuai, Wang Rui. An improved method for eliminating ghosting in image stitching[C]//Intelligent Human-Machine Systems and Cybernetic, Zhe Jiang University , Zhe Jiang, China: IHMSC, 2017: 415－418.

[27] 秦緒佳，王琪，王慧玲，等. 基于最佳縫合線的序列遙感圖像拼接融合方法[J]. 計算機科學，2015，42(10)：306－310.

Qin Xujia, Wang Qi, Wang Huiling, et al. Image fusion method based on best seam-line for serial remote sensing images mosaic[J]. Computer Science, 2015, 42(10): 306－310. (in Chinese with English abstract)

[28] 谷雨，周陽，任剛，等. 結(jié)合最佳縫合線和多分辨率融合的圖像拼接[J]. 中國圖象圖形學報，2017，22(6)：842－851. Gu Yu, Zhou Yang, Ren Gang, et al. Image stitching by combining optimal seam and multi-resolution fusion[J]. Journal of Image and Graphics, 2017, 22(6): 842－851. (in Chinese with English abstract)

[29] 李偉. 像素級圖像融合方法及應用研究[D]. 廣州：華南理工大學，2006.

Li Wei. A Dissertation Submitted for the Degree of Doctor of Philosophy[D]. Guangzhou: South China University of Technology, 2006. (in Chinese with English abstract)

[30] 萬國挺. 圖像拼接技術(shù)與質(zhì)量評價方法研究[D]. 西安：西安電子科技大學，2012.

Wan Guoting. Study on Image and Quality Assessment[D]. Xi’an, Xidian University, 2012. (in Chinese with English abstract)

Rapid target plant image mosaic based on depth and color information from Kinect combining-means algorithm

Shen Yue1, Zhu Jiahui1, Liu Hui1※, Cui Yemin2, Zhang Bingnan1

(1.212013,; 2.226631,)

Image mosaic can establish high resolution images with wide viewing angle, which is very important for realizing agricultural intelligence. Because of the light or wind and some other factors, traditional image mosaic methods have some disadvantages, such as dislocation, missing and long mosaic time. The method of plant image mosaic based on depth and color dual information feature source from Kinect has high accuracy, but it cannot meet the real-time requirement. It is difficult to meet the requirements of the reliability of agricultural vehicle applications by using image feature element method for image mosaic.Aiming at this problem, in this paper, we proposed a method of feature plant image mosaic based on color and depth information of Kinect sensor. First of all, the effective plant parts of color image were obtained by-means algorithm and plant depth information. SURF (speeded-up robust features) algorithm was used to extract the effective parts, because the speed of SURF algorithm is three times of SIFT (scale-invariant feature transform) algorithm. It is helpful to reduce the number of feature points matching and improve the speed and accuracy of feature point matching.Thirdly, feature points matches were gotten by similarity measure. But some wrong matches existed with this method. Too many mismatches may result in mosaic errors. Therefore, a solution was needed to remove mismatches to improve the accuracy of the matches.From the nature of Kinect, if Kinect moves horizontally, the depth data of a fixed point is the same. Based on this characteristic, some mismatches would be removed. Then the RANSAC (random sample consensus) algorithm was used to find the projection transformation matrix. The RANSAC algorithm uses the least possible points to estimate the model and then as far as possible to expand scope of the influence of the model. The projection transformation matrix is more accurate than image mosaic method reported in literature of Shen et al (2018) on account of the removing of mismatches. Finally, the multi-resolution image fusion method based on the suture line algorithm was used. The method was used for image fusion. From indoor and outdoor test, the mosaic method based on color and depth dual information feature source had obvious advantages, it can effectively overcome the light, wind and other environmental factors and avoid mosaic errors such as the loss of image and the difference of brightness. In the indoor test, the mosaic method of this article took 3.52 s, the accuracy of matches was 96.8%, in comparison with traditional method of 14.04 s with the accuracy of matches of 88.6%, and with image mosaic method reported in literature hat uses 12.14 s with the accuracy of matches of 96.6%. In the outdoor test, the mosaic method of this article took 7.11 s, the accuracy of matches was 95.2%, compared with the traditional method which takes 56.32 s, with the accuracy of matches of 91.3%, and with image mosaic method reported in literature that takes 45.67 s with the accuracy of matches of 95.2%. So, the mosaic method in this article used less time than the traditional method and method in literature. The data of mosaic accuracy showed that the average matching accuracy of the method in this article was 96.8%, and the average accuracy was higher than traditional image mosaic. So, this method can be further applied in other occasions of image mosaic. It can realize precise spraying of drug fertilizers and the control of pests and diseases based on information collected by Kinect.

image processing; algorithms; machine vision;-means clustering; SURF algorithm; image fusion; color and depth information

沈 躍，朱嘉慧，劉 慧，崔業(yè)民，張炳南.基于彩色和深度信息結(jié)合-means聚類算法快速拼接植株圖像[J]. 農(nóng)業(yè)工程學報，2018，34(23)：134－141. doi：10.11975/j.issn.1002-6819.2018.23.016 http://www.tcsae.org

Shen Yue, Zhu Jiahui, Liu Hui, Cui Yemin, Zhang Bingnan. Rapid target plant image mosaic based on depth and color information from Kinect combining-means algorithm[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2018, 34(23): 134－141. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2018.23.016 http://www.tcsae.org

10.11975/j.issn.1002-6819.2018.23.016

TP391；S24

A

1002-6819(2018)-23-0134-08

2018-08-04

2018-09-04

江蘇省國際科技合作項目（BZ2017067）；江蘇省重點研發(fā)計劃（BE2018372）；江蘇省自然科學基金（BK20181443）；鎮(zhèn)江市重點研發(fā)計劃（NY2018001）；江蘇高校青藍工程資助

沈 躍，博士，教授，主要從事農(nóng)業(yè)電氣化與自動化、嵌入式系統(tǒng)與控制等研究。Email：shen@ujs.edu.cn

劉 慧，博士，副教授，主要從事農(nóng)業(yè)電氣化與自動化、智能控制與信號處理等研究。Email：amity@ujs.edu.cn

中國農(nóng)業(yè)工程學會高級會員：劉 慧（E041200772S）、沈 躍（E041200771S）。