楊保健，楊登登，陳楷強，吳華峰，張大君

基于機器視覺的肉桂表皮整形方法研究

楊保健1，楊登登1，陳楷強1，吳華峰2，張大君3

（1.五邑大學 智能制造學部，廣東 江門 529020；2.深圳市翔創(chuàng)自動化有限公司，廣東 深圳 518104；3.羅定市寶桂天然香料科技有限公司，廣東 羅定 527245）

肉桂系嶺南名貴中藥材，其樹干上因修剪側丫后留下的結疤是樹干最堅硬的地方，在后續(xù)肉桂剝皮過程中會損壞剝皮刀具，故需提前清除。利用Halcon設計了一個基于歸一化互相關系數(shù)方法的肉桂表皮結疤識別算法，并在Visual Studio上進行軟件設計，上位機將肉桂樹結疤的坐標信息傳輸給PLC，通過軸、軸和軸的聯(lián)動實現(xiàn)對結疤的修整。實驗結果表明，利用該方法修整一個寬度約20 mm左右的疤平均用時14 s，與手工祛疤相比，效率提高了57.1%，且修整光潔度良好。

肉桂；結疤；機器視覺；可編程控制器；整形；算法

剝皮是肉桂生產(chǎn)環(huán)節(jié)中的重要一環(huán)，楊保健[1]等人研發(fā)了一種用于肉桂樹剝皮的機器，使得剝皮效率比手工剝皮提升了87.5%。然而在肉桂的剝皮過程中，肉桂樹結疤的地方會使剝皮刀具受阻，因為結疤的位置是肉桂樹最堅硬的地方，故需要對結疤的位置進行提前整形，才能順利剝下皮。據(jù)實地統(tǒng)計，桂樹上結疤的概率達95%，幾乎每根桂樹均有分布結疤。

查閱相關文獻后，發(fā)現(xiàn)目前還沒有肉桂去除結疤的相關文獻。針對這一難題，設計了一個基于機器視覺的肉桂表皮整形機構，能夠對肉桂樹上的結疤進行整形，使剝皮更加順利。

1 實驗平臺搭建

1.1 總體結構設計

肉桂表皮整形機構采用40 mm×40 mm的國標鋁型材搭建而成，主要結構由三個獨立運動軸系（軸、軸、軸）和刀具總成組成，如圖1所示。

1.工業(yè)相機；2.鏡頭；3.條形光源；4.配電箱；5.梅花頂尖；6.刀具總成；7.橫向進給機構；8.縱向進給機構；9.尾追。

兩個絲桿模組的滑塊十字相連，實現(xiàn)桂皮表皮整形機構的刀具進給，構成機器的軸和軸；主軸由步進電機驅動，配以梅花頂尖和尾頂，構成機器的軸。通過這三個運動軸系，可將刀具總成移至肉桂樹結疤部位。通過工業(yè)相機配合光源和光源數(shù)字控制器對肉桂樹進行拍照，每旋轉90°拍攝一次。

1.2 刀具總成設計

刀具總成如圖2所示。木工銑刀有多個刀齒，利用工件與銑刀的相對運動，各刀齒依次切去桂皮的凸起。木工弧形銑刀弧寬為50.8 mm，可整形98.5 mm直徑以內(nèi)的肉桂樹。相比于切削金屬的銑刀，齒數(shù)少且具有更大的容屑空間[2]。

1.鋁合金頂板；2.法蘭軸承；3.鋁合金側板；4.電機軸夾頭；5.直流電機；6.木工弧形銑刀。

2 實驗方案設計

首先，選取結疤的數(shù)量和形態(tài)具有代表性的肉桂樹樣本一批；其次，采集各樣本結疤的圖片，利用Halcon里面的create_ncc_model算子，完成對結疤的采集。最后，對目標肉桂進行拍照和處理。

整個結疤檢測和刀具去疤流程如圖3所示。

圖3 肉桂表皮整形流程圖

3 視覺算法設計

視覺算法設計采用Halcon進行算法設計，該軟件擁有一套完善的機器視覺算法包[3]，降低了視覺算法的設計難度，方便用戶進行操作。

本文利用Halcon設計了一個基于歸一化互相關系數(shù)方法（Normalized Cross Correlation，NCC）[4-5]的肉桂表皮結疤識別程序。通過提前采集一些肉桂表皮的結疤，即可對肉桂表皮的結疤進行識別和定位。該算法不同于圖像邊緣特征的圖像匹配算法（Shape-Based Matching，SBM）[6]，可以有效降低光照對圖像比較結果的影響，而且NCC最終結果在[-1,1]之間，如果NCC值接近1，則表示相關性很高。

歸一化互相關系數(shù)法是比較兩組數(shù)據(jù)是否有相似關系的判斷方法，計算公式為：

3.1 算法分析

軸以間歇轉動的方式，每旋轉90°相機拍攝一次照片，調用open_framegrabber和grab_image算子對肉桂進行拍照，共拍攝四次，如圖4所示。

依次對每張照片進行如下操作：

（1）肉桂樹輪廓識別：調用threshold進行閾值分割，調用opening_circle進行開運算除去孤立的小點、毛刺，調用closing_circle進行閉運算消除內(nèi)部孔洞，調用fill_up填充連通區(qū)域孔以得到閉合區(qū)域，調用gen_contour_ region_xld生成肉桂樹的輪廓[7-8]，如圖5所示。

（2）肉桂樹輪廓線擬合并記錄下輪廓坐標：調用fit_rectangle2_contour_xld算子將肉桂樹不規(guī)則的輪廓線擬合為矩形，如圖6所示，調用segment_contours_xld[9]分割輪廓，利用select_shape_xld將下輪廓篩選出來，將下輪廓的坐標記錄下來。

圖5 獲取肉桂輪廓

圖6 擬合輪廓

（3）歸一化互相關匹配，尋找相似的實例：調用find_ncc_models算子尋找與模板相似的實例，并調用算子dev_display_ncc_matching_ results將其顯示出來。尋找結疤如圖7所示。

若第一張圖像尋找到相似的實例，則記錄該實例的中心坐標，并在第二張圖像的肉桂下輪廓線坐標中尋找與篩選到的實例相等的縱坐標，獲取肉桂下輪廓線縱坐標對應的橫坐標，此時獲取的坐標是像素坐標，需將該橫坐標與篩選到的實例的縱坐標通過提前標定將像素坐標轉換到世界坐標，即可得到肉桂樹結疤的位置。

圖7 尋找結疤

若第一張圖找到結疤，便會在第一張圖顯示該疤到刀具總成的橫向距離，并在第二張圖顯示該疤的縱向距離（下一張圖相對于前一張圖旋轉了90°，可看出縱向距離），以此類推，按此依次在四個圖像中找出結疤的位置，效果如圖8所示，該肉桂有3個結疤，并在圖中顯示刀具總成應移動的橫向和縱向距離，上位機會將該位置坐標依次傳輸給PLC，即可將刀具總成依次移動到肉桂樹結疤的位置并進行整形。

圖8 識別結果

3.2 軟件設計

Halcon擁有全面的視覺處理庫，能夠解決很多圖像問題，但是不能形成圖形化界面[10]，需聯(lián)合C#進行人機界面設計，設計軟件使用Visual Studio[11-12]，該軟件是目前最強大的集成開發(fā)環(huán)境之一。人機界面如圖9所示。

通過人機交互界面，可以對肉桂表皮整形機構進行控制，可將拍照結果和結疤識別結果顯示到界面中，利用串口通信將結疤的位置信息傳輸給PLC，根據(jù)指令，控制步進電機和直流電機，做出相應的動作。

3.3 PLC控制系統(tǒng)設計

根據(jù)肉桂整形的流程和輸入輸出點數(shù)，可編程控制器選用三菱FX3U-16MT，對繼電器、步進電機、直流電機等電器元件進行控制。

（1）I/O口參數(shù)分配

X0為急停按鈕；X1、X3、X2分別為軸的正轉、反轉限位、近點信號；X4、X6、X5分別為軸的正轉、反轉限位、近點信號。Y0、Y1、Y2分別連接軸、軸、軸的脈沖信號，Y3、Y4、Y5分別連接軸、軸、軸的脈沖信號方向，Y6連接中間繼電器，中間繼電器連接直流接觸器，直流接觸器連接直流電機。I/O口參數(shù)分配如表1所示。

由于PLC輸出端承受的功率有限，無法直接驅動一個15 A的大電流電機，故需要用直流接觸器來接通電機，大電流觸點需要很大的閉合壓力，故接觸器的電磁線圈功率很大，由于PLC驅動不了，需要通過繼電器來橋接，繼電器的電磁線圈功率一般在1 W以下，PLC可以直接驅動，而繼電器觸點可以帶動接觸器去驅動電機。在這個過程中，繼電器起到了承上啟下的作用。

圖9 人機界面

表1 I/O口參數(shù)分配

（2）控制設計

PLC程序流程圖如圖10所示。當機器視覺識別并定位到結疤部位時，上位機通過通信將四個數(shù)據(jù)D1（刀具總成到結疤右側的方向距離）、D2（刀具總成到結疤的方向距離）、D3（結疤的方向的寬度）、D5（結疤所在的角度）傳輸給PLC相應的數(shù)據(jù)寄存器（D1～D5在上位機已轉化為相應的脈沖數(shù)）。

由于PLC程序較長，下面僅對軸旋轉進行介紹。上位機傳輸完上面四個數(shù)據(jù)后，會讓輔助繼電器M51置為1，形成自鎖電路，通過絕對定位DRVA指令，讓軸旋轉，由于相機與刀具總成所在位置垂直，旋轉角度即為相機拍攝時已旋轉的角度再加90°，肉桂樹結疤處便可正對刀具總成。軸旋轉梯形圖如圖11所示。

圖10 PLC程序流程圖

圖11 A軸旋轉梯形圖

當旋轉結束后，特殊輔助繼電器M8029會接通一瞬，使通信標志M55置位，并斷開自鎖。當上位機檢測到輔助繼電器M55置位后，說明肉桂樹旋轉已經(jīng)完成。

4 實驗結果分析

圖12和圖13分別為肉桂整形效果表面和側面前后對比，可以看出，整形前結疤部位凸起明顯，整形后凸起被完全銑削掉，由此可見，該方法可以完整地去除結疤。

與手工祛疤所需時間進行比較。結果表明：手工去除一個寬度20 mm左右的疤達到可順利剝皮所需時間大約為22 s，而肉桂表皮整形機構去除一個寬度20 mm左右的疤大約需要14 s，祛疤效率提升了57.1%，且木工銑刀呈弧狀，整形后該部位仍為弧形，對后續(xù)剝皮十分有利。

圖12 肉桂整形效果表面前后對比

圖13 肉桂整形效果側面前后對比

5 結束語

本文基于Halcon，設計了歸一化互相關系數(shù)方法（NCC）的肉桂表皮結疤識別算法，并用Visual Studio進行軟件設計，結合PLC設計了肉桂表皮整形機構。該方法可實現(xiàn)自動祛疤，相較于人工，工作效率提升了57.1%，且整形后該部位仍為弧形，對后續(xù)剝皮十分有利。該方法可以高效且完整地去除肉桂樹上的結疤。

[1]楊保健，楊登登，曹明軒. 肉桂樹剝皮機及關鍵部件設計[J]. 機械，2021，48（4）：20-25.

[2]曹平祥，郭曉磊. 木工銑刀裝夾技術與方法[J]. 林產(chǎn)工業(yè)，2009，36（6）：50-53.

[3]譚星凱，陳潤康，劉穎君. 基于機器視覺的噴碼檢測系統(tǒng)設計[J]. 機械工程師，2016（10）：67-68.

[4]JiangangLin，LinJiangang，WangDongxing，et al. Surface defect detection of machined parts based on machining texture direction[J]. Measurement Science and Technology，2021，32（2）.

[5]Fan Yang，YuzengWang，ShibingWang，et al. Wood Veneer Defect Detection System Based on Machine Vision[C]. Proceedings of the 2018 International Symposium on Communication Engineering & Computer Science （CECS 2018），2018：423-428.

[6]謝暉，吳先鋒，付山，等. 基于Halcon的電表銘牌缺陷檢測系統(tǒng)[J]. 現(xiàn)代制造工程，2021（2）：119-126.

[7]陳獻明. 基于機器學習的木材表面缺陷圖像檢測及應用[D]. 哈爾濱：東北林業(yè)大學，2020.

[8]范佳楠，劉英，楊雨圖，等. 機器視覺在木材缺陷檢測領域應用研究進展[J]. 世界林業(yè)研究，2020，33（3）：32-37.

[9]劉維平，李海柱，秦建峰，等. 基于halcon機器視覺的幾何元素提取方法[J]. 電子世界，2019（16）：16-17.

[10]張偉超，肖中俊，嚴志國. 基于HALCON二維碼識別技術的AS/RS設計[J]. 齊魯工業(yè)大學學報，2019，33（4）：53-57.

[11]張寶愿，陳樺，張耿，等. 基于HALCON的注射器針頭缺陷檢測方法[J]. 軟件，2020，41（11）：190-193.

[12]羅福強，白忠建，楊劍. Visual C#. NET程序設計教程[M]. 北京：人民郵電出版社，2012.

Study on the Finishing Method of Cinnamon Epidermis Based on Machine Vision

YANG Baojian1，YANG Dengdeng1，CHEN Kaiqiang1，WU Huafeng2，ZHANG Dajun3

( 1.Faculty of Intelligent Manufacturing, Wuyi University, Jiangmen 529020, China; 2.Shenzhen Xiangchuang Automation Co., Ltd., Shenzhen518104, China; 3.Luoding Baogui Natural Flavor Technology Co., Ltd., Luoding 527245, China )

Cinnamon is a rare Chinese herbal medicine in Lingnan area. The hardest part of its trunk is the scar left after pruning, which causes damage to the peeling tools, so it needs to be removed early. In this paper, Halcon is used to design a cinnamon skin scar recognition algorithm based on the normalized cross correlation number method, and the software is designed in Visual Studio. The upper computer transits the location information of the cinnamon tree scar to PLC, performs the scar reshape through the linkage of the X-axis, Y-axis and A-axis. The result show that it takes about 14 seconds to remove a scar with a width of about 20mm by using this method. Compared with manual scar removal, the efficiency is increased by 57.1%, and the finish is good.

cinnamon；scarring；machine vision；PLC；finishing；algorithm

TP2

A

10.3969/j.issn.1006-0316.2022.08.011

1006-0316 (2022) 08-0069-07

2021-10-13

廣東大學生科技創(chuàng)新培育專項資金項目（pdjh2020b0603）；江門市基礎與理論科學研究類科技計劃項目（2019JC01012）；五邑大學2020年度校級大學生創(chuàng)新創(chuàng)業(yè)訓練計劃項目（202011349123）；2019年五邑大學學生創(chuàng)新創(chuàng)業(yè)項目（2019CX53）

楊保健（1982－），男，湖北隨州人，博士，講師，主要研究方向為智能裝備技術等，Email：kurt.yang@163.com。