李麗宏，張明路，孫凌宇 ，張建華，魏 智

（1.河北工業(yè)大學(xué)機(jī)械工程學(xué)院，天津 300130；2.河北工程大學(xué)信息與電氣工程學(xué)院，河北 邯鄲 056038）

隨著微機(jī)電系統(tǒng)（MEMS）技術(shù)的不斷發(fā)展，機(jī)械電子產(chǎn)品的集成化和小型化使許多零部件的尺寸日趨微細(xì)化，從而帶動(dòng)了微細(xì)加工技術(shù)的快速發(fā)展.在微細(xì)加工的各個(gè)環(huán)節(jié)中，由于操作工具或被操作對(duì)象的微小特性，為了控制微操作臺(tái)對(duì)目標(biāo)進(jìn)行操作，必須采用基于顯微鏡頭的圖像采集處理系統(tǒng)，即顯微視覺伺服控制技術(shù).顯微視覺已成為微操作、微加工獲取操作信息的最主要的技術(shù)手段之一[1-2].針對(duì)上述情況，在20世紀(jì)80年代，國內(nèi)外學(xué)者相繼開展了基于計(jì)算機(jī)視覺的宏/微雙驅(qū)動(dòng)操作、加工技術(shù)的開發(fā)研究.1982年，由美國IBM公司研制成功的第1臺(tái)掃描隧道顯微鏡STM，除可對(duì)樣品表面形貌和物理性質(zhì)進(jìn)行檢測(cè)外，還可用于對(duì)表面進(jìn)行納米級(jí)微細(xì)加工.美國麻省理工學(xué)院采用計(jì)算機(jī)微視覺系統(tǒng)實(shí)現(xiàn)了微運(yùn)動(dòng)參數(shù)的實(shí)時(shí)檢測(cè).德國Karlsruhe大學(xué)過程控制和機(jī)器人研究實(shí)驗(yàn)室利用顯微平臺(tái)作為裝配平臺(tái)，采用視覺反饋，另用鼠標(biāo)和操作桿來控制，完成半自動(dòng)裝配過程.日本積極利用國外技術(shù)并結(jié)合自身優(yōu)勢(shì)，在基于顯微視覺的微細(xì)加工、微操作方面發(fā)展速度較快.哈爾濱工業(yè)大學(xué)對(duì)變倍顯微鏡下的目標(biāo)識(shí)別、跟蹤和伺服控制技術(shù)進(jìn)行了研究，為微細(xì)加工、微操作的半自動(dòng)化和全自動(dòng)打下了技術(shù)基礎(chǔ).華中科技大學(xué)利用顯微視覺技術(shù)構(gòu)建了三機(jī)械手協(xié)同控制的微裝配、微操作加工系統(tǒng)[3－8].采用顯微視覺技術(shù)為微細(xì)加工過程提供定性或定量評(píng)判，己經(jīng)成為微機(jī)械制造的重要檢測(cè)手段，顯微視覺檢測(cè)系統(tǒng)將給微細(xì)加工等技術(shù)帶來嶄新的技術(shù)飛躍.本課題在上述研究基礎(chǔ)上，擬研制一套面向微細(xì)加工的顯微視覺系統(tǒng).此系統(tǒng)同時(shí)結(jié)合力覺傳感器信息控制微細(xì)加工過程，能檢測(cè)與控制工具與加工工件之間的三維空間距離，完成微細(xì)加工操作過程，操作者可以通過用戶圖形界面對(duì)操作對(duì)象進(jìn)行操作.這樣不僅提高了微細(xì)加工的質(zhì)量，而且也提高了微細(xì)加工的效率.

1 顯微視覺系統(tǒng)方案

顯微視覺硬件系統(tǒng)簡圖如圖1所示.

圖1 顯微系統(tǒng)簡圖Fig.1 Sketch of micro-vision system

該系統(tǒng)設(shè)計(jì)方案如下:

（1）此系統(tǒng)由CCD攝像機(jī)、圖像采集卡、適配器、步進(jìn)馬達(dá)調(diào)焦臺(tái)、運(yùn)動(dòng)控制卡、光學(xué)顯微鏡、LED環(huán)型照明光源組成.

（2）操作現(xiàn)場(chǎng)經(jīng)顯微鏡、CCD攝像機(jī)采集圖像，輸入計(jì)算機(jī)中，計(jì)算機(jī)根據(jù)此圖像計(jì)算自動(dòng)聚焦評(píng)價(jià)函數(shù)值，并得出步進(jìn)馬達(dá)調(diào)焦臺(tái)驅(qū)動(dòng)量，從而控制調(diào)焦臺(tái)運(yùn)動(dòng)量，依此采集到最清晰圖像.

（3）根據(jù)采集到的最清晰圖像，經(jīng)圖像去噪、圖像分割、目標(biāo)識(shí)別等圖像處理技術(shù)，判斷刀具與加工工件之間的接觸情況.

（4）視覺與力覺混合控制加工操作過程.實(shí)驗(yàn)平臺(tái)上有KISTLER力覺傳感器，在顯微視覺系統(tǒng)出現(xiàn)遮擋等情況，無法對(duì)目標(biāo)位置進(jìn)行精確測(cè)量而喪失了伺服控制能力的時(shí)候，可以借助微力覺傳感器來判斷刀具和工件間的接觸情況，進(jìn)而實(shí)現(xiàn)精確定位.當(dāng)?shù)额^與加工工件距離較遠(yuǎn)時(shí)，此過程由顯微視覺系統(tǒng)控制；當(dāng)?shù)额^與加工工件距離很近和接觸后，采用顯微視覺與微力覺混合控制策略，操作控制過程如圖2所示.

圖2 操作控制過程Fig.2 Process of operational control

2 自動(dòng)聚焦技術(shù)

2.1 聚焦評(píng)價(jià)函數(shù)

系統(tǒng)處理的圖像是顯微圖像，因此，圖像在被放大的同時(shí)，噪聲也被放大了.針對(duì)噪聲也被放大的情況，不能采用一般的聚焦評(píng)價(jià)函數(shù)處理過程，必須采用改進(jìn)的聚焦評(píng)價(jià).在顯微圖像中有散粒噪聲和高斯噪聲2種類型的噪聲，用中值濾波方法對(duì)散粒噪聲進(jìn)行處理，采用雙邊濾波處理方式對(duì)高斯噪聲進(jìn)行降噪.為進(jìn)一步降低噪聲的影響，采用分水嶺方法對(duì)圖像進(jìn)行過分割，即把濾波后的圖像分成若干內(nèi)部連通并且具有一定灰度相似性的小區(qū)域塊，將小區(qū)域塊的灰度均值作為該區(qū)域內(nèi)像素的灰度值.這樣一方面可以讓每小區(qū)域塊自適應(yīng)地降低噪聲的影響，另一方面還能加強(qiáng)圖像的局部相關(guān)性.對(duì)含噪聲的圖像，區(qū)域均值更能反映圖像的真實(shí)灰度值，從而進(jìn)一步抑制噪聲的影響.最后采用SML聚焦評(píng)價(jià)函數(shù)作為聚焦評(píng)判依據(jù)，SML聚焦評(píng)價(jià)函數(shù)是在空域聚焦函數(shù)中性能表現(xiàn)較好的聚焦函數(shù)，如式（1）所示.

為了驗(yàn)證上述處理方法，本文采集了37幅從模糊到清晰再到模糊的圖像系列，即采集了37幅模糊→清晰→模糊的圖像序列.圖3（a）為圖像序列的第19幅圖像，對(duì)此顯微刀具圖像人為增加了強(qiáng)散粒噪聲，如圖 3（b）所示；圖 3（c）為濾波后圖像，因?yàn)樵肼曁珡?qiáng)，所以濾波后的圖像還是存在噪聲；對(duì)圖3（c）中的圖像進(jìn)行分水嶺分割，分割圖像塊如圖3（d）所示；對(duì)圖3（d）中分割的每圖像塊，用其區(qū)域塊均值代替此區(qū)域塊內(nèi)的像素值，結(jié)果如圖 3（e）所示.對(duì)圖 3（e）中圖像利用SML函數(shù)進(jìn)行聚焦評(píng)價(jià)函數(shù)的計(jì)算.

圖3 圖像處理Fig.3 Picture processing

如果按照常規(guī)處理，對(duì)濾波后的圖像序列（即圖3（c）圖像序列）直接進(jìn)行SML聚焦評(píng)價(jià)函數(shù)處理，仿真曲線如圖4所示.

從圖4中可以看出，此處理過程不滿足聚焦評(píng)價(jià)函數(shù)的性能指標(biāo)，即不滿足單調(diào)性、單峰性、評(píng)價(jià)函數(shù)峰值兩側(cè)的斜率絕對(duì)值比較大等指標(biāo)要求，同時(shí)從圖中最大峰值得出最佳清晰圖像為第21幅圖像，與無強(qiáng)噪聲影響圖像得出的結(jié)果不一致，無強(qiáng)噪聲影響的結(jié)果為第20幅圖像是最清晰圖像，其仿真結(jié)果如圖5所示.因此，需對(duì)強(qiáng)噪聲圖像的評(píng)價(jià)函數(shù)進(jìn)行改進(jìn)，使其滿足評(píng)價(jià)函數(shù)性能指標(biāo)，同時(shí)使其與無噪聲圖像序列仿真結(jié)果相一致.

改進(jìn)自動(dòng)聚焦處理過程如下:

教師不能夠忽視非智力因素的影響。以教師為主，將學(xué)生放在被動(dòng)地位的傳統(tǒng)教育模式。這樣，學(xué)生只能通過反復(fù)記憶記住知識(shí)。而多媒體與教學(xué)相結(jié)合的話，憑借多媒體其信息技術(shù)的內(nèi)容和特點(diǎn)，能夠很大程度上提升學(xué)生的學(xué)習(xí)效率，對(duì)非智力因素的培養(yǎng)起到了很大的作用。

（1）讀取圖像，把彩色圖像轉(zhuǎn)換為灰度圖像；

圖4 強(qiáng)噪聲圖像序列仿真Fig.4 Simulation of image sequence with strong noise

圖5 無強(qiáng)噪聲圖像序列仿真Fig.5 Simulation of image sequence without strong noise

（2）采用中值濾波和雙邊濾波處理方法進(jìn)行去噪；

（3）使用分水嶺算法對(duì)圖像進(jìn)行過分割；

（4）對(duì)分水嶺分割后的圖像，提取每小區(qū)域的灰度均值，用此灰度均值代替各小區(qū)域內(nèi)像素的灰度值；

（5）在上述處理的基礎(chǔ)上，進(jìn)行SML聚焦評(píng)價(jià)函數(shù)的自動(dòng)聚焦.

按照上述步驟進(jìn)行聚焦評(píng)價(jià)函數(shù)的計(jì)算，即對(duì)圖3（e）序列圖像進(jìn)行仿真，仿真結(jié)果如圖6所示.

圖6 改進(jìn)評(píng)價(jià)函數(shù)仿真Fig.6 Simulation of improved evaluation function

從圖6中可以看出，各方面性能指標(biāo)明顯優(yōu)于圖4中常規(guī)處理方法；同時(shí)，從圖6中得出，最佳清晰圖像為第20幅圖像，與無強(qiáng)噪聲影響圖像序列得出的結(jié)果是一致的.從而驗(yàn)證了此改進(jìn)評(píng)價(jià)函數(shù)方法是有效的，精度接近于無強(qiáng)噪聲影響圖像的仿真結(jié)果.

2.2 搜索策略

將原有的數(shù)據(jù)點(diǎn)作為“基準(zhǔn)數(shù)據(jù)”進(jìn)行插值運(yùn)算，估算出基準(zhǔn)點(diǎn)之間其他點(diǎn)的函數(shù)值，可以得到離散函數(shù):

式中:t為插值密度，可以根據(jù)需要適當(dāng)設(shè)定.

得到一幀圖像并計(jì)算出FSML（x），在（2）式的離散函數(shù)值中順序查找，直至滿足:

可得:x ≈ i·t，鏡頭運(yùn)動(dòng)（i·t）距離即可聚焦.

以改進(jìn)的SML評(píng)價(jià)函數(shù)為實(shí)驗(yàn)數(shù)據(jù)點(diǎn)，同時(shí)以這些點(diǎn)作為插值基準(zhǔn)樣點(diǎn)，選擇精度較高的三次樣條插值方法對(duì)聚焦實(shí)現(xiàn)曲線進(jìn)行平滑處理.如果本聚焦系統(tǒng)的焦深用Z表示，插值密度用t表示，應(yīng)有t＜Z，但是若t過小，不但不能提高聚焦精度，反而會(huì)因?yàn)椴檎掖罅繑?shù)據(jù)而降低聚焦速度，所以設(shè)定的t值一定要適中.

如無法用簡單的數(shù)學(xué)模型如多項(xiàng)式或高斯函數(shù)對(duì)聚焦曲線進(jìn)行準(zhǔn)確描述，插值法求離散函數(shù)F（x）不失為一種實(shí)現(xiàn)定位法的通用、實(shí)用而且有效的方式.

3 刀頭與加工工件的識(shí)別

為了監(jiān)測(cè)刀頭與工件之間的距離，首先需要把刀頭、工件從整幅圖像中分割出來，本系統(tǒng)采用改進(jìn)的otsu閾值分割方法.把刀頭、工件從圖像中分割后，需要對(duì)刀頭和加工工件進(jìn)行識(shí)別，識(shí)別方法可以有模板匹配、不變矩、廣義hough變換等識(shí)別理論方法.相對(duì)于模板匹配、廣義hough變換等識(shí)別方式，不變矩理論更加適用于顯微成像系統(tǒng).經(jīng)典的不變矩理論僅具有平移和旋轉(zhuǎn)不變性，不具有縮放不變性，所以需要對(duì)其進(jìn)行改進(jìn)，改進(jìn)后的不變矩理論具有平移、旋轉(zhuǎn)和縮放不變性，因而相比于其他識(shí)別方法更加適用于顯微成像系統(tǒng).

Hu[10]提出的不變矩理論對(duì)于連續(xù)數(shù)據(jù)具有平移、旋轉(zhuǎn)和縮放不變性，但是對(duì)于離散數(shù)據(jù)只具有平移和旋轉(zhuǎn)不變性，不具有縮放不變性.而本系統(tǒng)采集到計(jì)算機(jī)中的圖像是離散數(shù)據(jù)，所以必須對(duì)不變矩進(jìn)行修正；同時(shí)，為了計(jì)算速度快，不是讓目標(biāo)區(qū)域的所有像素參與計(jì)算，而是對(duì)其進(jìn)行邊緣檢測(cè)，對(duì)檢測(cè)后的圖像再進(jìn)行矩計(jì)算.

設(shè) φ1、φ2、φ3、φ4、φ5、φ6、φ7為 Hu 提出的 7 個(gè)矩，對(duì)其進(jìn)行修正，形成下面6個(gè)相對(duì)矩:

以圖3的刀具圖像為例，對(duì)此圖像進(jìn)行平移、旋轉(zhuǎn)與縮放，計(jì)算公式（4）中的相對(duì)矩，以驗(yàn)證其具有平移、旋轉(zhuǎn)、縮放不變性.在此，以計(jì)算 ψ1、ψ2、ψ3為例進(jìn)行驗(yàn)證，如表1所示，從而驗(yàn)證了其具有平移、旋轉(zhuǎn)和縮放不變性.

表1 相對(duì)矩Tab.1 Relative invariant moment

對(duì)分割完畢的圖像進(jìn)行相對(duì)矩計(jì)算，得出其特征值并與標(biāo)準(zhǔn)特征值進(jìn)行比較，從而識(shí)別出刀具與工件，更有利于顯微操作，從而控制其操作精度.

4 結(jié)束語

本系統(tǒng)面向微細(xì)加工，在力覺傳感器的基礎(chǔ)上，加入顯微視覺系統(tǒng)，共同控制微小加工工件與微小刀具之間的距離，共同完成微細(xì)加工過程.針對(duì)顯微圖像在圖像放大的同時(shí)噪聲也放大的特點(diǎn)，采用了改進(jìn)的聚焦評(píng)價(jià)函數(shù)處理方法，即對(duì)圖像進(jìn)行中值和雙邊濾波后，采用分水嶺算法對(duì)圖像進(jìn)行過分割，從而分割成多個(gè)小區(qū)域，并用每個(gè)區(qū)域內(nèi)的灰度均值代替此區(qū)域內(nèi)每個(gè)像素的灰度值，從而抑制噪聲的影響；再采用SML聚焦評(píng)價(jià)函數(shù)進(jìn)行自動(dòng)聚焦處理；在搜索方式上，為了避免回程間隙而損失定位精度，采用精度較高的三次樣條插值定位方法；采用相對(duì)邊界矩對(duì)目標(biāo)進(jìn)行識(shí)別，同時(shí)本顯微視覺系統(tǒng)結(jié)合力覺傳感器共同控制刀具與加工工件之間的三維距離，從而準(zhǔn)確、快速、安全地完成微細(xì)操作控制過程.

[1]GEORGIEV Atanas，ALLEN Peter K，MEZOUAR Youcef.Microrobtic crystal mounting using computer vision[J].Pattern Recognition Letters，2007，20:199-206.

[2]宋 宇.面向微操作的微小型機(jī)器人視覺伺服技術(shù)研究[D].哈爾濱:哈爾濱工業(yè)大學(xué)，2007.

[3]鄭漢卿，王伯雄，余 超，等.基于自動(dòng)調(diào)焦顯微視覺的MEMS運(yùn)動(dòng)測(cè)量技術(shù)[J].清華大學(xué)學(xué)報(bào):自然科學(xué)版，2007，47（2）:177-180.

[4]吳建華.高效率的微器件自動(dòng)裝配技術(shù)研究[D].合肥:中國科學(xué)技術(shù)大學(xué)，2007.

[5]孫 杰，袁躍輝，王傳永.數(shù)字圖像處理自動(dòng)圖像聚焦算法的分析和比較[J].光學(xué)學(xué)報(bào)，2007，27（1）:35-39.

[6]TANSEL Ibrahim N，GRISSO Benjamin L，SINGH Gurjiwan.Wear estimation by testing the elastic behavior of tool surface[J].Internationa l Journal of Machine Tools&Manufacture，2011，51:745-752.

[7]TEYSSIEUX D，EUPHRASIE S，CRETIN B.MEMS in-plane motion/vibration measurement system based CCD camera[J].Measurement，2011，44:2205-2216.

[8]WANG H P，VASSEUR C，CHRISTOV N，et al.Vision servoing of robot systems using piecewise continuous controllers and observers[J].Mechanical Systems and Signal Processing，2012，33:132-141.

[9]宗光華，孫明磊，畢樹生，等.顯微視覺自動(dòng)聚焦研究[J].光學(xué)學(xué)報(bào)，2005，25（9）:1225-1231.

[10]LI Lihong，JIA Dongli，CHEN Xiangguo，et al.A fast discrete invariant moment algorithm and its application on pattern recognition[C]//The 6th World Congress on Intelligent Control and Automation.Dalian:Institute of Electrical and Electronics Engineers，2006:9773-9777.