何新宇,趙時(shí)璐,張 震,趙天宇
(1.沈陽(yáng)大學(xué)機(jī)械工程學(xué)院,遼寧 沈陽(yáng) 110000;2.華晨寶馬汽車(chē)有限公司,遼寧 沈陽(yáng) 110000)
智能化產(chǎn)業(yè)已逐步進(jìn)入到我們的生活中,隨著人們對(duì)于生活產(chǎn)品質(zhì)量要求的提高,智能工廠也逐步走入到工業(yè)化企業(yè)之中。我國(guó)制造實(shí)業(yè)現(xiàn)還處于發(fā)展戰(zhàn)略階段,使用機(jī)器視覺(jué)技術(shù)是我國(guó)生產(chǎn)制造業(yè)快速向智能化產(chǎn)業(yè)轉(zhuǎn)化的一個(gè)有效途徑。對(duì)于工業(yè)化產(chǎn)業(yè)而言,充分利用機(jī)器視覺(jué)較強(qiáng)的現(xiàn)場(chǎng)適應(yīng)能力,達(dá)到高效率和高精度的檢測(cè)結(jié)果;再對(duì)機(jī)器視覺(jué)使用進(jìn)行檢測(cè)成本預(yù)測(cè),若使用機(jī)器視覺(jué)技術(shù)成本小于人工成本,則技術(shù)實(shí)施可行;如若成本高于人工成本,則需重新對(duì)技術(shù)實(shí)施計(jì)劃進(jìn)行改善控制成本;因此,如何準(zhǔn)確利用機(jī)器視覺(jué)技術(shù)對(duì)于我國(guó)工業(yè)制造實(shí)業(yè)來(lái)說(shuō)意義非凡。
機(jī)器視覺(jué)的主要功能是替代人在一些比較危險(xiǎn)或者人眼視覺(jué)難以觀測(cè)的工作環(huán)境下進(jìn)行檢測(cè)的技術(shù)[1]。這項(xiàng)技術(shù)不僅快速實(shí)現(xiàn)了生產(chǎn)產(chǎn)品高效率、高精度的生產(chǎn)節(jié)奏,同時(shí)保證了操作者的人身安全,是一項(xiàng)不可多得的智能化技術(shù)。但一套完整的機(jī)器視覺(jué)系統(tǒng)是比較復(fù)雜的,不僅包含圖像采集、圖像處理、數(shù)字模擬技術(shù)、智能判斷等軟件技術(shù),同時(shí)還需電光源照明、機(jī)械控制穩(wěn)定及執(zhí)行等硬件控制;那么,如何準(zhǔn)確的設(shè)計(jì)出一款嚴(yán)謹(jǐn)性好、精確度高的視覺(jué)產(chǎn)品來(lái)實(shí)現(xiàn)人們對(duì)于工業(yè)化產(chǎn)品高技術(shù)要求,是我們當(dāng)下仍需努力研究的。
機(jī)器視覺(jué)是由多個(gè)領(lǐng)域交叉結(jié)合出來(lái)的新型技術(shù),涉及光學(xué)成像原理、人工智能、圖像處理以及仿生科學(xué)等等科學(xué)。文獻(xiàn)[2]可知我們工業(yè)化生產(chǎn)中所使用的機(jī)器視覺(jué),主要是由相機(jī)、光源、鏡頭、圖像采集卡、圖像處理的軟件、PLC、輸出系統(tǒng)等組成。雖然選擇一個(gè)機(jī)器視覺(jué)的子系統(tǒng)是比較簡(jiǎn)單的,但搭建一個(gè)通用性好的整體機(jī)器視覺(jué)系統(tǒng)是比較困難的的,這需涉及多方面的子系統(tǒng)的選擇。
2.1.1 相機(jī)
目前應(yīng)用于智能化視覺(jué)系統(tǒng)中的相機(jī)一般是:嵌入式系統(tǒng)與機(jī)器視覺(jué)系統(tǒng)相結(jié)合的工業(yè)相機(jī)。常見(jiàn)的工業(yè)相機(jī)根據(jù)圖像傳感器模式可分為CCD、CMOS 兩種。CCD 芯片是典型的固體成像,這種圖像模式是集光電的轉(zhuǎn)換形成電荷并儲(chǔ)存,如圖1(a)所示。后在驅(qū)動(dòng)脈沖推動(dòng)下不斷轉(zhuǎn)移并放大輸出信號(hào),形成輸出圖像;CMOS 芯片是具有動(dòng)態(tài)成像特點(diǎn)的圖像傳感器,CMOS 芯片是將圖像信號(hào)讀取電路、圖像放大信號(hào)器、轉(zhuǎn)換器以及控制器合于一體并集在一塊芯片上的圖像傳感器,不僅具有良好的集成性、高傳輸性,還具有局部區(qū)域訪問(wèn)并編程算法的優(yōu)點(diǎn),如圖1(b)所示。
圖1 相機(jī)類型Fig.1 Camera Type
CCD 相機(jī)需將存儲(chǔ)信息進(jìn)行同步信號(hào)控制后進(jìn)行轉(zhuǎn)移,轉(zhuǎn)移信息及輸出讀取信息需要有三組不同的電源及時(shí)鐘控制電路同時(shí)輔助輸出,整個(gè)過(guò)程比較麻煩。而CMOS 相機(jī)經(jīng)過(guò)光電轉(zhuǎn)換后,可直接輸出信號(hào),過(guò)程比較簡(jiǎn)單,價(jià)錢(qián)相對(duì)來(lái)說(shuō)比較低廉,在工業(yè)生產(chǎn)中應(yīng)用比較廣泛。
2.1.2 鏡頭
機(jī)器視覺(jué)中鏡頭的主要作用就是調(diào)制光束,將所得的圖像定像在圖像傳感器上,鏡頭的選擇將直接影響整個(gè)機(jī)器視覺(jué)系統(tǒng),所以合理的選擇鏡頭型號(hào),設(shè)計(jì)出安裝位置是機(jī)器視覺(jué)系統(tǒng)硬件部分的重要環(huán)節(jié)[3]。但由不同的工業(yè)環(huán)境制造出來(lái)的鏡頭也有很大的差別,因此價(jià)格也具有很大差距。
工業(yè)視覺(jué)中對(duì)于鏡頭的選擇,主要取決于鏡頭的焦距、光圈值、景深及分辨率。選取鏡頭時(shí),首先我們要確定相機(jī)類型及傳感器尺寸,還需確定拍攝距離后利用式(1)及式(2)輔助來(lái)計(jì)算焦距確定鏡頭的選擇。
式中:f—焦距;WD—工作距離;PMAG—鏡頭放大倍數(shù);Hi—相機(jī)傳感器靶面尺寸;Ho—視野高度。
常用的CCD 相機(jī)芯片尺寸,如表1 所示。
表1 相機(jī)芯片尺寸Tab.1 Camera Chip Size
2.1.3 照明
對(duì)機(jī)器視覺(jué)來(lái)說(shuō),照明目的是使觀測(cè)者可忽略那些不需要的信息,使某一被測(cè)特征點(diǎn)變得明顯。為更好達(dá)到目的,需考慮現(xiàn)場(chǎng)環(huán)境情況、周?chē)欠翊嬖诜垂怏w,光源與被測(cè)物體之間的關(guān)系等,最終在確認(rèn)光源是否選取時(shí)還需考慮的一個(gè)因素就是光譜。把光譜的特性有效的利用在視覺(jué)系統(tǒng)中,盡可能的做到突出特征點(diǎn)以確保整個(gè)系統(tǒng)亮度。
光源類型有很多種,如自然光、白熾燈、熒光燈、LED 等等,在視覺(jué)系統(tǒng)中常選用穩(wěn)定性強(qiáng)、壽命長(zhǎng)的LED 光源,通常將LED按照光源外形進(jìn)行分類,如表2 所示。不同的視覺(jué)系統(tǒng),需要的光源也是有差異性的,由于光源的種類多樣性,在機(jī)器視覺(jué)系統(tǒng)的研究設(shè)計(jì)中,還需考慮光源與被測(cè)物之間的關(guān)系后方可對(duì)光源進(jìn)行選擇。
表2 LED 光源對(duì)比Tab.2 Comparison of LED Light Sources
文獻(xiàn)[4]提出選擇合適的光源后,不僅需要合理利用照明光譜以及照明的方向性,來(lái)設(shè)計(jì)視覺(jué)系統(tǒng),同時(shí)需對(duì)整個(gè)視覺(jué)系統(tǒng)的使用壽命考慮,這樣設(shè)計(jì)出來(lái)的機(jī)器視覺(jué)系統(tǒng)能清晰的反應(yīng)出被測(cè)物的特征,還能有效控制整個(gè)視覺(jué)系統(tǒng)的耐久性。
2.1.4 圖像采集
圖像采集主要是對(duì)被測(cè)物進(jìn)行圖像信號(hào)采集,并將這種信號(hào)轉(zhuǎn)換成數(shù)據(jù)文件保存在電腦上的一個(gè)過(guò)程。而在機(jī)器視覺(jué)系統(tǒng)中,采集的圖像是否合格,影響元素會(huì)有多種,如鏡頭的選擇、照明情況、相機(jī)的選擇、檢測(cè)位置等。如文獻(xiàn)[5-6]中指出為了有效的進(jìn)行邊緣的采集,需對(duì)已采集到的灰度圖像進(jìn)行二值化處理,即將收集到的灰度圖像分解成灰度值極大的兩張圖像后需進(jìn)行填充處理,最后進(jìn)行邊緣提取,利用對(duì)被測(cè)物體的邊緣提取與被測(cè)物體背景進(jìn)行分離,凸顯被測(cè)邊緣,有效進(jìn)行圖像采取。
機(jī)器視覺(jué)系統(tǒng)一般會(huì)根據(jù)檢測(cè)的內(nèi)容、形式、檢測(cè)項(xiàng)大小而改變其內(nèi)部結(jié)構(gòu),但總體上基本是大同小異。機(jī)器視覺(jué)一般是以圖像信號(hào)中的高度、面積、位置等為特征點(diǎn),根據(jù)事先在軟件算法中所設(shè)定的合格范圍進(jìn)行對(duì)比,判別是否合格后再以目視化圖像的形式顯示出的一個(gè)過(guò)程[7],如圖3 所示。
圖2 機(jī)器視覺(jué)工作原理圖Fig.2 The Principle Diagram of the Machine Vision
隨著被測(cè)物在輸送帶傳送,到達(dá)攝像機(jī)的位置,視覺(jué)系統(tǒng)利用固定位置開(kāi)始進(jìn)行檢測(cè),通過(guò)照明系統(tǒng)即光源(該光源為可調(diào)節(jié)式光源,可調(diào)節(jié)光源亮度、角度及光源位置的高度),照射被測(cè)物體使其達(dá)到亮度,再利用觸發(fā)圖像采集的光電傳感器自動(dòng)進(jìn)行觸發(fā),計(jì)算機(jī)通過(guò)主控程序連接的信息數(shù)據(jù)庫(kù)得到圖像,計(jì)算機(jī)將所得圖像信號(hào)轉(zhuǎn)換為數(shù)字信號(hào),獲得檢測(cè)結(jié)果,并進(jìn)行分析。將所得結(jié)果利用數(shù)字I/O 傳送到PLC 中,控制器將所得結(jié)果通過(guò)現(xiàn)場(chǎng)總線接口傳送到執(zhí)行機(jī)構(gòu),執(zhí)行機(jī)構(gòu)將以目視化結(jié)果呈現(xiàn)在屏幕上,最終完成檢測(cè)的這一效果。
在汽車(chē)生產(chǎn)線中,利用延時(shí)拍攝方法對(duì)車(chē)身特定位置進(jìn)行拍攝測(cè)量,通過(guò)以太網(wǎng)的方式傳輸給數(shù)據(jù)庫(kù)進(jìn)行統(tǒng)計(jì)分析,并及時(shí)將所得問(wèn)題數(shù)據(jù)與報(bào)警同步進(jìn)行展示[8]?;跈C(jī)器視覺(jué)檢測(cè)車(chē)身特定位置缺陷的實(shí)現(xiàn),能夠有效的記錄、分析實(shí)時(shí)生產(chǎn)問(wèn)題,快速對(duì)問(wèn)題進(jìn)行判斷,具有可擴(kuò)展性,對(duì)多個(gè)車(chē)型均可適用。但此設(shè)備在初期具有一次性投資較大,測(cè)量數(shù)據(jù)大等缺點(diǎn),而且對(duì)于工作精度要求很高。
系統(tǒng)在線檢測(cè),如圖3 所示。此系統(tǒng)是基于機(jī)器視覺(jué)對(duì)車(chē)身下底盤(pán)膠堵檢測(cè),使用白熾燈光源照射底面,工業(yè)相機(jī)拍攝下底盤(pán)全面位置,根據(jù)拍攝圖片進(jìn)行二值化分類后,相應(yīng)算法對(duì)被測(cè)物的判定位置進(jìn)行檢測(cè),最終輸出判定結(jié)果。
圖3 機(jī)器視覺(jué)在車(chē)身下底盤(pán)的檢測(cè)應(yīng)用Fig.3 Application of Machine Vision in Detection of Underbody Ch.
此系統(tǒng)的應(yīng)用前期需采集大量的圖片數(shù)據(jù)進(jìn)行驗(yàn)證算法,費(fèi)時(shí)費(fèi)力。但若視覺(jué)系統(tǒng)穩(wěn)定進(jìn)行運(yùn)行,將可以在同一時(shí)間段對(duì)同一車(chē)輛的不同位置的縫隙、平整度進(jìn)行分析,確保生產(chǎn)車(chē)輛的一致性,消除人工檢測(cè)誤差,適用于大批量生產(chǎn)的質(zhì)量控制。
生活中,隨處可見(jiàn)物品上有一層光亮的物品,那是生產(chǎn)過(guò)程中為了某一項(xiàng)性能而進(jìn)行的鍍膜,但均勻的薄膜厚度主要由三方面決定:自身的工藝設(shè)備,薄膜厚度傳感器以及螺栓位置的控制。隨著生產(chǎn)量的加大,收到調(diào)節(jié)螺栓控制的方法已無(wú)法滿足生產(chǎn)需求。為此基于機(jī)器視覺(jué)系統(tǒng)進(jìn)行螺栓定位控制系統(tǒng)應(yīng)用,在不同螺栓位置處進(jìn)行標(biāo)記,在實(shí)際測(cè)量過(guò)程中不斷跟新位置追蹤,確定螺栓可適應(yīng)位置,以達(dá)到準(zhǔn)確螺栓位置檢測(cè),實(shí)現(xiàn)控制剖面均勻薄膜生產(chǎn),如圖4 所示。
圖4 機(jī)器視覺(jué)薄膜生產(chǎn)中應(yīng)用Fig.4 Application of Machine Vision in Film Production
研究過(guò)程中發(fā)現(xiàn)在輸入端采集到很清晰的圖像,就人眼可以很清晰辨別,但利用機(jī)器視覺(jué)技術(shù)識(shí)別過(guò)程中還需考慮以下的幾個(gè)問(wèn)題:
(1)外界因素。外界光源的穩(wěn)定性、物體本體的顏色和形狀、相機(jī)與物體之間的角度及位置等,任何一方的變動(dòng)都會(huì)對(duì)圖像的采集產(chǎn)生很大的影響。
(2)數(shù)據(jù)量。無(wú)論是彩色圖像還是灰度圖像,均會(huì)輸出大量的信息,軟件中只需在儲(chǔ)存卡內(nèi)運(yùn)行我們需要的信息;而硬件上需選擇較大轉(zhuǎn)換存儲(chǔ)空間,采集到的信息能快速與標(biāo)準(zhǔn)數(shù)據(jù)庫(kù)進(jìn)行對(duì)比,實(shí)現(xiàn)類似于人眼的一個(gè)機(jī)器視覺(jué)系統(tǒng)。
(3)圖像的多重含義。一張二維圖,可能是由不同的兩張三維圖像投影出來(lái),機(jī)器視覺(jué)很難分辨還原出原型,如何快速、準(zhǔn)確的判定目標(biāo),提高圖像的分辨處理的速度是我們目前亟須解決的問(wèn)題[9]。
近幾年,機(jī)器視覺(jué)技術(shù)雖然有了一些發(fā)展,但是目前的發(fā)展過(guò)程中還是存在了一些問(wèn)題,未來(lái)的主要研究重點(diǎn)應(yīng)在下面幾部分開(kāi)展:(1)硬件的合理選擇。使用精密度高的硬件可以有效的提高整個(gè)機(jī)器視覺(jué)系統(tǒng)的精密性,但存在某些特殊性能的產(chǎn)品,需要精度限定在某一范圍內(nèi),只有合理的選擇硬件才能有效的發(fā)揮出該機(jī)器視覺(jué)系統(tǒng)的最大優(yōu)勢(shì)。(2)軟件的研究。軟件的設(shè)計(jì)是整個(gè)機(jī)器視覺(jué)系統(tǒng)核心技術(shù),軟件的精確研究能高效的調(diào)動(dòng)機(jī)械部分的配合并能夠減小硬件的磨損。(3)模塊化建設(shè)。將整個(gè)機(jī)器視覺(jué)系統(tǒng)的運(yùn)行進(jìn)行單元模塊化分類,這樣能大大的提高整個(gè)機(jī)器視覺(jué)系統(tǒng)的設(shè)計(jì)進(jìn)程,同時(shí)各單元出現(xiàn)的問(wèn)題也可快速得到解決。
伴隨著電子計(jì)算機(jī)以及半導(dǎo)體技術(shù)的快速發(fā)展,機(jī)器視覺(jué)也需不斷更新系統(tǒng)的程序。機(jī)器視覺(jué)雖然發(fā)展才短短幾十年,但發(fā)展的速度卻很驚人,由最開(kāi)始一些簡(jiǎn)單的視覺(jué)應(yīng)用已經(jīng)向復(fù)雜的識(shí)別、自動(dòng)檢測(cè)等方面發(fā)展。這里對(duì)機(jī)器視覺(jué)的基本結(jié)構(gòu)、關(guān)鍵技術(shù)、生產(chǎn)生活中應(yīng)用和發(fā)展趨勢(shì)做了介紹,并預(yù)測(cè)機(jī)器視覺(jué)技術(shù)將成為科學(xué)技術(shù)上最具發(fā)展力的檢測(cè)技術(shù)之一。