葉啟迪 陳俊龍 陳培基

廣東東軟學(xué)院 計(jì)算機(jī)學(xué)院 廣東 佛山 528200

引言

圖書館作為一種公共文化事業(yè)，皆以搜索、整理、收藏圖書資料以供閱讀，參考。肩負(fù)包括開發(fā)信息資源，社會(huì)教育，對(duì)人文文化遺產(chǎn)的保護(hù)等繁多的職務(wù)。大部分圖書館都會(huì)引入一套獨(dú)立的圖書管理系統(tǒng)，對(duì)書籍進(jìn)行規(guī)律性分類和存放，達(dá)到一定的管理效果。但是如果執(zhí)行地區(qū)及其圖書量過大，這種管理系統(tǒng)便會(huì)出現(xiàn)圖書分類工作累積，無法及時(shí)反饋和處理等問題，其中最為明顯的是放置圖書量巨大以及圖書錯(cuò)位放置。

針對(duì)上述問題，本文進(jìn)行了對(duì)智能協(xié)助圖書管理的深入研究，研發(fā)完成了一套基于AI的視覺輔助機(jī)械臂抓取放置圖書的機(jī)械裝置，在無須用戶干擾的基礎(chǔ)上解決圖書擺放和整理的問題，協(xié)助區(qū)塊化地區(qū)進(jìn)行以書籍放置和存儲(chǔ)，減少人力資源不必要的浪費(fèi)。

1 圖書管理輔助助手的總體設(shè)計(jì)方案

該機(jī)械裝置分為機(jī)械臂執(zhí)行系統(tǒng)，圖像處理系統(tǒng)以及循跡避障系統(tǒng)。

執(zhí)行部分即機(jī)械臂本體，具備4個(gè)自由度包括X軸，Y左軸，Y右軸，Z軸，分別安置4個(gè)無刷電機(jī)控制，且在末端配備了真空泵來控制吸盤去實(shí)現(xiàn)物體抓取[1]。

圖1 系統(tǒng)整體運(yùn)行流程圖

圖像處理則是采用了USB智能攝像頭模組進(jìn)行圖像采集和處理，并將處理后的圖像信息傳輸?shù)綐漭?，利用攝像機(jī)獲取的信息進(jìn)行目標(biāo)定位和識(shí)別處理，再讓機(jī)械臂以一定的角度對(duì)定位的目標(biāo)進(jìn)行有效的抓取和搬運(yùn)。

循跡避障主要是運(yùn)用超聲波通過比較和計(jì)算距離來避障，運(yùn)用保存在云端數(shù)據(jù)庫中的圖書館地圖數(shù)據(jù)在樹莓派中進(jìn)行深度學(xué)習(xí)完成自動(dòng)循跡。

系統(tǒng)的具體操作如下：采用OpenCV攝像頭模塊，將其固定在機(jī)械臂末端并且連接上計(jì)算機(jī)，機(jī)械臂隨后進(jìn)行遍歷掃描，攝像頭對(duì)整個(gè)區(qū)域進(jìn)行掃描，定位目標(biāo)中心坐標(biāo)，樹莓派則將目標(biāo)待抓取位置的三維坐標(biāo)通過串口通信給Robin 3D打印主板，再由主板控制機(jī)械臂運(yùn)動(dòng)到指定目標(biāo)位置進(jìn)行抓取[2]。

2 圖書管理輔助助手的硬件設(shè)計(jì)

2.1 機(jī)械臂結(jié)構(gòu)搭建

機(jī)械結(jié)構(gòu)以FSL40XYZ系列的多軸絲桿直線模組為主體，機(jī)械臂末端在運(yùn)動(dòng)過程中則是保存水平，運(yùn)用真空泵進(jìn)行對(duì)目標(biāo)抓取。實(shí)際使用過程中，使用Gcode數(shù)控編程語言對(duì)機(jī)械臂進(jìn)行協(xié)同控制。

圖2 功能結(jié)構(gòu)圖

2.2 視覺系統(tǒng)設(shè)計(jì)

視覺掃描系統(tǒng)主要使用openCV自帶的攝像頭，樹莓派組成。攝像頭機(jī)構(gòu)采用大小為45×36×30cm的openCV，采取的照片分辨率為640×480。在此環(huán)境下，規(guī)定攝像頭所取得的圖像的笛卡爾坐標(biāo)系的原點(diǎn)在左下角，以此向上為Y軸正方向，右為X軸正方向。

2.3 循跡避障設(shè)計(jì)

選用HC-SR04超聲波模塊，模塊自動(dòng)發(fā)送 8 個(gè) 40khz 的方波，自動(dòng)檢測(cè)是否有信號(hào)返回。聲波經(jīng)過障礙物反射后，被接收部位接收。通過IO口ECHO 輸出一個(gè)高電平，超聲波從發(fā)射到返回的時(shí)間相當(dāng)于高電平持續(xù)的時(shí)間，通過比較時(shí)間間隔來完成障礙比較和距離測(cè)試。

測(cè)試距離=(高電平時(shí)間×聲速(340M/S))/2。

3 圖書管理輔助助手的軟件部分

3.1 目標(biāo)識(shí)別以及定位

圖書的識(shí)別模塊采用了OpenCV攝像頭模塊，攝像頭安放在升降平臺(tái)上。OpenCV是Intel公司開發(fā)的開源計(jì)算機(jī)視覺算法庫，OpenCV擁有豐富的函數(shù)功能以及強(qiáng)大的圖像和矩陣運(yùn)算能力，再加上其開源的特性，如果處理得當(dāng)，就可以不需要添加新的外部支持也能夠完整地編譯鏈接生成執(zhí)行程序，所以成為機(jī)器人實(shí)時(shí)識(shí)別算法庫的最佳選擇[3]。

基于圖書館中的圖書種類豐富，且沒有統(tǒng)一的電子識(shí)別標(biāo)準(zhǔn)，本文所研發(fā)的基于AI的圖書管理輔助機(jī)器人對(duì)于圖書的識(shí)別暫定采用指定模型的圖書。圖書模型為長16cm，寬12cm，高3cm的規(guī)則長方體。不同圖書采用不同顏色的長方體進(jìn)行代替。

通過OpenCV對(duì)不同顏色的圖書進(jìn)行識(shí)別，可以識(shí)別出不同種類的圖書信息，并將數(shù)據(jù)傳輸?shù)綐漭晌⑻幚砥髦羞M(jìn)行處理。在進(jìn)行目標(biāo)定位時(shí)，通過一系列的圖像預(yù)處理，使用圖像平滑對(duì)圖書縫隙進(jìn)行檢測(cè)，再通過直線檢測(cè)和邊緣處理識(shí)別出圖書與圖書之間的空隙位置信息，通過圖像上圖書與機(jī)械臂的距離和所要寄存書架進(jìn)行比較，再進(jìn)行計(jì)算距離，從而精確控制圖書與機(jī)械臂之間的距離，保證了圖書的準(zhǔn)確抓取。

3.2 目標(biāo)圖像數(shù)據(jù)處理

3.2.1 顏色分割算法。在對(duì)目標(biāo)圖像數(shù)據(jù)處理時(shí)，我們采用了顏色分割算法。在如今的顏色分割算法設(shè)計(jì)中，常常將灰度圖像分割法應(yīng)用在不同的顏色空間上，并且可以直接地應(yīng)用在每個(gè)顏色分量上，其結(jié)果通過一定的方式再進(jìn)行組合，就可以獲取到最后的分割結(jié)果。

使用顏色閾值二值化法對(duì)彩色的圖像進(jìn)行顏色分割。在三維直角坐標(biāo)系當(dāng)中，由一組顏色閾值上下限所包圍著的空間是一個(gè)長方體形狀,長方體內(nèi)的每個(gè)點(diǎn)坐標(biāo)對(duì)應(yīng)著一組顏色值。HSV或Lab顏色空間被用于描述人眼對(duì)顏色的感受，由閾值上下限形成的長方體形狀中更多地包含了目標(biāo)的顏色，而且更少地包含了其他的顏色[4]。相對(duì)于RGB顏色空間，由于在實(shí)際操作中，RGB顏色表示容易受到強(qiáng)光、弱光、陰影等因素的影響，所以選擇在HSV或者Lab顏色空間中進(jìn)行顏色分割。

因?yàn)镺penCV默認(rèn)是采用BGR顏色空間，因此讀取圖像后，先將圖像轉(zhuǎn)換為Lab或HSV顏色空間,并且使用inRange函數(shù)把圖像二值化，最后使用形態(tài)學(xué)操作去除噪聲，從而完成顏色分割。對(duì)于各種識(shí)別任務(wù),要轉(zhuǎn)換到HSV還是Lab空間還得從實(shí)驗(yàn)效果中確定。

3.2.2 利用輪廓的幾何特征識(shí)別目標(biāo)。顏色分割算法會(huì)將具有特定顏色的區(qū)域篩選出來，而對(duì)于這些區(qū)域，提取區(qū)域的輪廓并分析它的幾何特征，來進(jìn)行進(jìn)一步的篩選，從而識(shí)別出目標(biāo)。輪廓檢測(cè)是基于在目標(biāo)區(qū)域邊緣上的像素灰度變化比較劇烈，通過檢測(cè)出不同區(qū)域的邊緣來解決圖像分割的問題。

采用findContours()函數(shù)提取出二值圖中的所有輪廓，然后利用相關(guān)的函數(shù)得到輪廓的幾何參數(shù)。在二值圖中，尺寸最大的區(qū)域通常來說就是所要的目標(biāo)。對(duì)于物料大小來說，由于近大遠(yuǎn)小，輪廓面積最大的通常是最近的物料。于是，利用輪廓的幾何特征就可以將目標(biāo)辨別出來。如果識(shí)別到目標(biāo),輸出的坐標(biāo)為目標(biāo)對(duì)角線交點(diǎn)的坐標(biāo),如果沒有識(shí)別到目標(biāo)，則輸出的坐標(biāo)就為(-1,-1)。

3.2.3 顏色復(fù)查算法。為了辨別出是否抓取到的是正確的物料，由主控制系統(tǒng)發(fā)送一條指令和物料的坐標(biāo)，讓識(shí)別系統(tǒng)檢查這個(gè)坐標(biāo)附近的顏色。采用前面識(shí)別任務(wù)的閾值作顏色分割，因此對(duì)于顏色正確的物料,二值圖中這個(gè)坐標(biāo)附近的像素點(diǎn)應(yīng)該為白色。實(shí)際做法是計(jì)算在給定的坐標(biāo)周圍一定區(qū)間內(nèi)，白色像素點(diǎn)所占有的比例，以應(yīng)對(duì)因?yàn)槎祱D質(zhì)量出現(xiàn)不佳的情況。

3.3 目標(biāo)抓取以及放置

基于對(duì)目標(biāo)圖像處理，通過顏色分割算法進(jìn)行分類書本。目標(biāo)書本放置在機(jī)器人的存儲(chǔ)器中，通過顏色分割算法的分類，掃描之后存放在存儲(chǔ)器中?；诖鎯?chǔ)器的大小，設(shè)立一個(gè)基坐標(biāo)系含有存儲(chǔ)器的X、Y、Z軸的信息，設(shè)立該坐標(biāo)系的軸長時(shí)以常用的厘米（cm）作為單位。通過基坐標(biāo)系的X、Y、Z軸判斷機(jī)械臂的目前所在的位置，同時(shí)基于書本所在的存儲(chǔ)器的基坐標(biāo)系中的四個(gè)頂點(diǎn)的位置坐標(biāo)，通過計(jì)算算出四個(gè)頂點(diǎn)的中心坐標(biāo)，該坐標(biāo)即為書本的中心坐標(biāo)，以書本的中心坐標(biāo)作為機(jī)械臂的目標(biāo)位置移動(dòng)機(jī)械臂，在移動(dòng)過程中實(shí)時(shí)捕獲機(jī)械臂當(dāng)前位置，利用PD算法的控制，使其更加平滑的移動(dòng)至目標(biāo)位置。

基于圖書館的書本種類較多，大小不一致，則可以通過基礎(chǔ)坐標(biāo)系的X軸來確定其厚度。利用其坐標(biāo)差的算出書本的厚度，為了更加便捷的控制機(jī)械臂，計(jì)算出的書本厚度去除小數(shù)點(diǎn)再加上2得出機(jī)械臂張開的長度。通過PD控制打開機(jī)械臂之后，基于存儲(chǔ)的Y軸信息可以得出書本的長度，以此可以計(jì)算出機(jī)械臂需要移動(dòng)的距離，通過PD控制移動(dòng)機(jī)械臂至目標(biāo)位置，對(duì)目標(biāo)書本實(shí)施抓取操作。

基于抓取的功能，在抓取到物體時(shí)，轉(zhuǎn)換到另一個(gè)基坐標(biāo)系——書架。基于書架的整體框架的基本一致，所以對(duì)書架在框架也設(shè)立一個(gè)基坐標(biāo)系，實(shí)現(xiàn)機(jī)械臂放置的操作。鑒于書架的大小已經(jīng)超出了機(jī)械臂的工作范圍，需要移動(dòng)機(jī)器人進(jìn)行工作，這就導(dǎo)致了設(shè)定在書架基坐標(biāo)系的機(jī)器整體運(yùn)動(dòng)更加復(fù)雜并且效率變低。為了提高效率，放置的精度提升就要加入大地坐標(biāo)系，一般情況下大地坐標(biāo)系和基坐標(biāo)系是重合的，但是可以利用大地坐標(biāo)系控制機(jī)器人的移動(dòng)進(jìn)而輔助機(jī)械臂動(dòng)作，實(shí)現(xiàn)放置的功能。

3.4 機(jī)械循跡避障

對(duì)于大工作區(qū)，我們可以建立一個(gè)基于大地坐標(biāo)系進(jìn)行定義的用戶坐標(biāo)系。通過把圖書館該層平面設(shè)定為機(jī)器人的工作區(qū)，同時(shí)為該工作區(qū)建立一個(gè)用戶坐標(biāo)系，設(shè)立以米（m）為單位的X、Y、Z軸的基礎(chǔ)坐標(biāo)系，對(duì)于不同書本的放置位置在用戶坐標(biāo)系中都會(huì)進(jìn)行標(biāo)記，機(jī)器人基于自己的初始坐標(biāo)，計(jì)算與目標(biāo)位置的距離和位置差算出路徑，進(jìn)行移動(dòng)到達(dá)目的地。

計(jì)算與目標(biāo)位置的路徑，在用戶坐標(biāo)系中是以直線表示的。鑒于直線行走會(huì)碰到障礙物，導(dǎo)致無法到達(dá)目的地，所以在用戶坐標(biāo)系控制機(jī)器人移動(dòng)的基礎(chǔ)上，給機(jī)器人加入了避障的功能，通過HC-SR04超聲波模塊持續(xù)發(fā)送40KHz的方波，通過計(jì)算高電平持續(xù)的時(shí)間完成對(duì)障礙物的檢測(cè)，而高電平持續(xù)的時(shí)間也就是機(jī)器人與障礙物之間的距離，通過計(jì)算可以得出障礙物在用戶坐標(biāo)系中的坐標(biāo)，鑒于超聲波傳感器的發(fā)送與接收為扇形的，為了接收到更加精確的障礙物信息加入CCD攝像頭輔助超聲波傳感器對(duì)障礙物進(jìn)行判斷，同時(shí)設(shè)置超聲波傳感器的檢測(cè)距離閾值，防止超聲波扇形過大，導(dǎo)致對(duì)障礙物檢測(cè)精度降低，同時(shí)防止過遠(yuǎn)距離的無關(guān)障礙物，對(duì)機(jī)器人的移動(dòng)進(jìn)行干擾。

鑒于機(jī)器人完成避障操作后，會(huì)導(dǎo)致機(jī)器人偏離路徑，所以在機(jī)器人移動(dòng)時(shí)，實(shí)時(shí)捕獲機(jī)器人的當(dāng)前位置，把機(jī)器人當(dāng)前的位置設(shè)定為初始位置，利用用戶坐標(biāo)系，實(shí)時(shí)更新與目標(biāo)位置的路徑。在更新移動(dòng)路徑時(shí)要把檢測(cè)到的障礙物坐標(biāo)加進(jìn)去減少因障礙物與路徑的沖突，同時(shí)基于圖書館書架規(guī)整的擺放方式，可以給在用戶坐標(biāo)系中設(shè)立圈定一個(gè)圖書區(qū)的范圍，在機(jī)器人在圖書區(qū)的移動(dòng)就改成在沿邊移動(dòng)待移動(dòng)到平行坐標(biāo)地點(diǎn)時(shí)在進(jìn)行縱向移動(dòng)至目標(biāo)位置，有效地減少機(jī)器人在圖書區(qū)無效移動(dòng)增加其工作效率。

4 結(jié)束語

隨著每季度發(fā)布新書的數(shù)量越來越多，中小學(xué)在假期要求孩子閱讀的刊物在增加，維護(hù)圖書館的工作壓力也與日俱增，圖書管理員需要經(jīng)常檢查是否有書籍放錯(cuò)位置或者損壞等等情況。并且每日的讀者人流量大，導(dǎo)致的還書數(shù)目眾多，這些都會(huì)增加圖書館管理員的工作負(fù)擔(dān)。為了響應(yīng)國家的號(hào)召，研發(fā)此產(chǎn)品，產(chǎn)品本身也不需要過多的人工干預(yù)，是一款真正的智能化產(chǎn)品。