鄧明杰,陳志榮

（寧波工程學(xué)院 理學(xué)院,浙江 寧波 315211）

0 引言

通過(guò)對(duì)圖書(shū)館等眾多公共學(xué)習(xí)場(chǎng)所的座位管理模式及現(xiàn)狀調(diào)查發(fā)現(xiàn)，這些場(chǎng)所長(zhǎng)期存在“難尋位”、“亂占位”等現(xiàn)象，極大地降低了座位利用率。這種教育資源的不平衡使很多同學(xué)對(duì)圖書(shū)館失去了興趣，也使圖書(shū)館喪失了其原本的職能與功能[1]。

目前高校圖書(shū)館應(yīng)用的座位管理系統(tǒng)其核心技術(shù)主要為：?jiǎn)纹瑱C(jī)紅外感應(yīng)、RFID等讀卡器控制以及利用圖書(shū)館門(mén)禁控制等[2]。以上幾種方法雖然實(shí)現(xiàn)了對(duì)座位使用狀態(tài)的監(jiān)管，但依舊存在不足。譬如，單片機(jī)紅外探測(cè)和RFID讀卡器控制技術(shù)，憑借安裝在座位上的硬件設(shè)備來(lái)識(shí)別座位使用狀態(tài)，其缺點(diǎn)是安裝設(shè)備投入成本較高、沒(méi)有提供在線預(yù)約等可視化終端操作及后期難以維護(hù)等。此外，基于門(mén)禁系統(tǒng)的座位管理系統(tǒng)，依靠門(mén)禁刷卡的方式僅僅能管理人員出入，無(wú)法保證館內(nèi)座位資源的分配，在座位精確管理方面顯得力不從心[3]。

因此本文設(shè)想通過(guò)新興的機(jī)器視覺(jué)和深度學(xué)習(xí)等人工智能技術(shù)，充分利用圖書(shū)館內(nèi)已有的高清網(wǎng)絡(luò)攝像頭來(lái)實(shí)現(xiàn)對(duì)座位的精確監(jiān)管，并將整個(gè)系統(tǒng)部署到用戶多、操作方便、實(shí)用性強(qiáng)的微信公眾平臺(tái)上，打造一個(gè)完整的、實(shí)時(shí)性的智能座位管理系統(tǒng)。

1 技術(shù)關(guān)鍵

實(shí)現(xiàn)座位管理的核心技術(shù)是視頻畫(huà)面提取與目標(biāo)圖像檢測(cè)技術(shù)。利用圖書(shū)館內(nèi)的高清監(jiān)控?cái)z像頭獲得指定場(chǎng)景區(qū)域的實(shí)時(shí)監(jiān)控畫(huà)面，并在固定時(shí)間間隔內(nèi)對(duì)視頻流進(jìn)行單幀截取，獲得實(shí)時(shí)畫(huà)面靜態(tài)圖像，然后使用目標(biāo)圖像檢測(cè)技術(shù)將實(shí)時(shí)畫(huà)面輸入到訓(xùn)練好的深度學(xué)習(xí)模型中，判斷實(shí)時(shí)圖像中的座位使用情況，生成座位使用情況記錄表，并以此為基礎(chǔ)實(shí)現(xiàn)后臺(tái)座位資源的實(shí)時(shí)監(jiān)管。

1.1 目標(biāo)識(shí)別算法設(shè)計(jì)

該系統(tǒng)主要以YOLOv3目標(biāo)識(shí)別算法為核心來(lái)實(shí)現(xiàn)對(duì)座位狀態(tài)的識(shí)別。YOLO算法把目標(biāo)區(qū)域預(yù)測(cè)和目標(biāo)類別預(yù)測(cè)合二為一，將目標(biāo)識(shí)別問(wèn)題轉(zhuǎn)化為目標(biāo)區(qū)域預(yù)測(cè)和類別預(yù)測(cè)的回歸問(wèn)題[4]。

首先采用回歸模型（如滑窗CNN）一次得出全圖像的邊框標(biāo)注，同時(shí)將輸入的圖像劃分為S×S個(gè)小格子，如果某個(gè)物體中心位置坐標(biāo)位于一個(gè)格子內(nèi)，那么該格子就負(fù)責(zé)該區(qū)域內(nèi)的物體檢測(cè)工作。然后采用非極大值抑制基于每個(gè)格子得到經(jīng)過(guò)篩選之后的邊框進(jìn)行輸出[5]。該過(guò)程示意如圖1所示。

圖1 YOLO目標(biāo)圖像檢測(cè)過(guò)程示意圖

每一個(gè)格子輸出B個(gè)Bounding box，即包含物體的矩形區(qū)域信息，以及C個(gè)物體屬于某種類別的概率值信息：

Bounding box信息包含x，y，w，h，confidence這5個(gè)數(shù)據(jù)值。其中x，y分別表示當(dāng)前格子檢測(cè)到的物體中心坐標(biāo)。w，h是Bounding box的寬高[5]。confidence表示當(dāng)前的Bounding box內(nèi)是否包含物體以及預(yù)測(cè)的準(zhǔn)確程度。定義為：

若該Bounding box內(nèi)檢測(cè)到物體，則Pr（Object）=1，否則Pr（Object）=0。其中，表示預(yù)測(cè)框與真實(shí)值之間的交集面積。網(wǎng)絡(luò)全連接層的最終輸出維度是S×S（B×5+C）。

YOLO的Loss函數(shù)主要是使用均方和誤差來(lái)優(yōu)化模型參數(shù)的，即

其中，coordError表示預(yù)測(cè)數(shù)據(jù)與標(biāo)定數(shù)據(jù)之間的坐標(biāo)誤差，iouError表示IOU誤差，classError表示分類誤差[6]。

由于這3項(xiàng)數(shù)值對(duì)神經(jīng)網(wǎng)絡(luò)loss的貢獻(xiàn)度不一樣，并且在計(jì)算iouError時(shí)分為某個(gè)物體的中心坐標(biāo)“在網(wǎng)格中”和“不在網(wǎng)格中”兩種情況，因此分別代入λcoord=5和λnoobj=0.5，以此來(lái)修正coordError和IOU誤差。因此有如下計(jì)算公式：

其中，x，y，w，C，p表示網(wǎng)絡(luò)預(yù)測(cè)值，x^，y^，w^，C^，p^表示標(biāo)注值。表示物體在網(wǎng)格i中，分別表示物體“落入”和“未落入”網(wǎng)格i的第j個(gè)Bounding box中[6]。

本文提出的座位管理系統(tǒng)通過(guò)高清網(wǎng)絡(luò)攝像頭捕捉圖書(shū)館各時(shí)段、各區(qū)域、各角度的座位單幀實(shí)時(shí)畫(huà)面，快速構(gòu)建深度學(xué)習(xí)數(shù)據(jù)集。深度學(xué)習(xí)技術(shù)能夠自動(dòng)學(xué)習(xí)數(shù)據(jù)各個(gè)層次的抽象特征，更好地反映數(shù)據(jù)的本質(zhì)特征，極大地提高了識(shí)別準(zhǔn)確率和效率。利用YOLOv3訓(xùn)練得到的模型，可以從監(jiān)控視頻流中自動(dòng)識(shí)別并標(biāo)注出座位的位置信息和使用狀態(tài)，極大程度地提高了管理的自動(dòng)化程度和效率。

1.2 圖像處理流程

1.2.1 模板圖像處理

模板圖像是指從監(jiān)控視頻流中截取到的單幀圖像，主要用于深度學(xué)習(xí)模型的訓(xùn)練和測(cè)試?？紤]到監(jiān)控視頻中采集到的有效數(shù)據(jù)量過(guò)小，可能會(huì)導(dǎo)致過(guò)擬合現(xiàn)象，可以采取鏡像翻轉(zhuǎn)、添加椒鹽噪聲、分割圖、添加光照等方法擴(kuò)充數(shù)據(jù)集。本文使用軟件LabelImg標(biāo)注出模板圖像中座位的位置信息和使用狀態(tài)，每張圖像的標(biāo)注數(shù)據(jù)存放于對(duì)應(yīng)的.txt文件中。為保證訓(xùn)練圖像標(biāo)注的質(zhì)量，標(biāo)記時(shí)要注意標(biāo)注方框大小合適、位置合適，需要豐富多視角的素材，目標(biāo)被遮擋也要標(biāo)注，避免遺漏小目標(biāo)等。

1.2.2 實(shí)時(shí)圖像處理

實(shí)時(shí)圖像是座位管理系統(tǒng)每隔一定時(shí)間從視頻監(jiān)控系統(tǒng)采集到的監(jiān)控視頻流中自動(dòng)提取的單幀視頻畫(huà)面，將其輸入到訓(xùn)練好的深度學(xué)習(xí)模型中檢測(cè)座位信息并判斷其使用狀態(tài)。

1.2.3 座位狀態(tài)識(shí)別

利用YOLOv3網(wǎng)絡(luò)對(duì)實(shí)時(shí)圖像和模板圖像數(shù)據(jù)進(jìn)行分析比對(duì)，得出以下幾種可能的判斷結(jié)果：

①書(shū)桌有書(shū)，座椅有人——使用中

②書(shū)桌無(wú)書(shū)，座椅無(wú)人——空閑

③書(shū)桌有書(shū)，座椅無(wú)人——待定

④書(shū)桌無(wú)書(shū)，座椅有人——使用中[7]

針對(duì)以上情況中的第③點(diǎn)，系統(tǒng)為該座位標(biāo)記一個(gè)累加事件，當(dāng)連續(xù)3次出現(xiàn)該情況，則判定該座位為占座現(xiàn)象，系統(tǒng)將自動(dòng)釋放該座位資源，并及時(shí)反饋至小程序端和管理員端，通知管理員對(duì)座位進(jìn)行清理，方便下一位讀者使用。此外，管理系統(tǒng)會(huì)在該違規(guī)占座者的賬戶信息中記錄本次違規(guī)事件，以供學(xué)校執(zhí)行相應(yīng)的懲罰機(jī)制，該過(guò)程示意如圖2所示。

圖2 系統(tǒng)自動(dòng)識(shí)別占座行為流程圖

1.3 系統(tǒng)測(cè)試結(jié)果

本系統(tǒng)在某場(chǎng)所進(jìn)行測(cè)試后得到的模型收斂效果如圖3所示，系統(tǒng)測(cè)試得到的識(shí)別效果如圖4所示。從該結(jié)果可以看出系統(tǒng)的收斂性較好，識(shí)別的準(zhǔn)確程度較高，測(cè)試圖中得到的識(shí)別準(zhǔn)確率達(dá)到了100%。

圖3 模型測(cè)試收斂效果

圖4 系統(tǒng)識(shí)別測(cè)試結(jié)果

2 座位管理小程序設(shè)計(jì)

小程序端用綠色、紅色和黃色圖標(biāo)表示座位空閑、使用中和未開(kāi)放3種狀態(tài)，用戶可以選擇、預(yù)約或取消座位。后臺(tái)自動(dòng)更改相應(yīng)座位的使用狀態(tài)表：用戶正常使用座位時(shí)后臺(tái)自動(dòng)鎖定座位狀態(tài)；若用戶離開(kāi)座位且未手動(dòng)釋放已占用的座位資源，系統(tǒng)在確認(rèn)座位處于占座情況后，將自動(dòng)釋放當(dāng)前座位資源以方便其他用戶選擇座位，同時(shí)記錄占座用戶的違規(guī)信息。

2.1 系統(tǒng)基本功能

座位管理小程序的工作功能模塊如圖5所示，初步總結(jié)出以下幾點(diǎn)基本服務(wù)功能：1)賬號(hào)綁定；2)座位預(yù)約；3)位置圖示；4)掃碼簽到；5)失約查詢；6)空座查詢；7)預(yù)約信息；8)取消預(yù)約。以上幾種功能可以基本實(shí)現(xiàn)對(duì)圖書(shū)館座位的管理，且具有較強(qiáng)的可操作性。

圖5 圖書(shū)館座位管理系統(tǒng)功能模塊圖

2.2 用戶使用流程

讀者登錄微信小程序后進(jìn)行學(xué)號(hào)綁定，即可獲得圖書(shū)館座位的分區(qū)圖示。讀者選擇自己喜歡的空閑座位即可進(jìn)行座位的預(yù)約或直接使用。1)直接使用座位時(shí)系統(tǒng)工作流程如圖6所示；2)若用戶選擇座位預(yù)約，則需要在預(yù)約時(shí)間的30 min內(nèi)掃碼簽到，否則視為放棄預(yù)約，系統(tǒng)將開(kāi)放該座位的預(yù)約限制，方便其他用戶使用，整個(gè)流程如圖7所示；3)若用戶選擇的座位已經(jīng)被他人提前預(yù)約，但目前還未到預(yù)約的使用時(shí)間，系統(tǒng)則會(huì)提示當(dāng)前用戶：該座位已在某時(shí)間被預(yù)約，若繼續(xù)選擇使用該座位，需在他人預(yù)約時(shí)間前15 min停止使用該座位。小程序會(huì)在預(yù)約時(shí)間前15 min發(fā)送提示信息給當(dāng)前使用者，提醒其歸還當(dāng)前座位，另尋它座。

圖6 用戶選擇座位并直接使用流程圖

圖7 用戶選擇座位并預(yù)約流程圖

當(dāng)用戶離開(kāi)圖書(shū)館時(shí)根據(jù)自身需求選擇暫時(shí)離開(kāi)(30 min)或永久離開(kāi)（釋放座位），系統(tǒng)會(huì)根據(jù)用戶的操作更新座位使用狀態(tài)表并實(shí)時(shí)反饋至小程序端，以供后來(lái)的讀者參考使用。

3 結(jié)語(yǔ)

為實(shí)現(xiàn)座位的精準(zhǔn)化管理，本文提出了基于深度學(xué)習(xí)目標(biāo)圖像檢測(cè)技術(shù)解決座位及時(shí)釋放問(wèn)題。該設(shè)計(jì)無(wú)需安裝大型硬件設(shè)施，以低成本實(shí)現(xiàn)高精度的座位監(jiān)管，適用于高校圖書(shū)館以及其他各類社會(huì)公共學(xué)習(xí)場(chǎng)所，具有較強(qiáng)的適用性和較高的實(shí)用價(jià)值。根據(jù)測(cè)驗(yàn)結(jié)果可以看出，本文設(shè)計(jì)的座位管理系統(tǒng)精確率較高，完全滿足對(duì)座位的實(shí)時(shí)監(jiān)管，但由于測(cè)試數(shù)據(jù)集中涉及的環(huán)境較為單一，實(shí)際應(yīng)用到更為復(fù)雜多變的環(huán)境下進(jìn)行識(shí)別時(shí)還需改進(jìn)。