羌棟強(qiáng) 王雅楠 張 蝶

（江蘇商貿(mào)職業(yè)學(xué)院，江蘇南通，226011）

0 引言

近年隨著圖書(shū)館的高速發(fā)展，傳統(tǒng)人工操作和管理模式與智慧圖書(shū)館發(fā)展目標(biāo)產(chǎn)生了越發(fā)鮮明的沖突。在傳統(tǒng)的工作模式下，圖書(shū)館工作人員將大量的精力和時(shí)間消耗在圖書(shū)的分類(lèi)、整理、搬運(yùn)等重復(fù)性的工作上。雖然圖書(shū)館的信息化系統(tǒng)已經(jīng)實(shí)現(xiàn)了圖書(shū)典藏和自助查詢(xún)等工作，但有一些工作例如圖書(shū)盤(pán)點(diǎn)、讀者咨詢(xún)、閱覽區(qū)巡視等工作仍需要借助人工才能完成，這與智慧圖書(shū)館的發(fā)展目標(biāo)是背道相馳的。機(jī)器人在機(jī)械制造、航空航天、應(yīng)急救援等行業(yè)領(lǐng)域中作為一種高效的自動(dòng)化設(shè)備發(fā)揮了強(qiáng)大的輔助作用。近幾年，國(guó)外的一些研究機(jī)構(gòu)已初步嘗試了對(duì)圖書(shū)館機(jī)器人的可行性探究，并且有一些成功的案例，例如英國(guó)國(guó)家圖書(shū)館建立的“高科技藏書(shū)庫(kù)”系統(tǒng)，可由機(jī)器人獨(dú)立完成700多萬(wàn)冊(cè)圖書(shū)的全部檢索和保管，其中任一環(huán)節(jié)都無(wú)需圖書(shū)館工作人員的參與，一定程度上解放了工作人員的雙手。日本早稻田大學(xué)、德國(guó)洪堡大學(xué)、美國(guó)猶他州大學(xué)、芝加哥大學(xué)等享譽(yù)世界的名校也建立了類(lèi)似的圖書(shū)館機(jī)器人管理系統(tǒng)。

為此，本項(xiàng)目計(jì)劃設(shè)計(jì)一個(gè)面向讀者的智能尋書(shū)機(jī)器人，應(yīng)用于圖書(shū)館日常管理和服務(wù)中，以期解決當(dāng)前圖書(shū)館工作人員工作內(nèi)容單一、勞動(dòng)強(qiáng)度大、服務(wù)效率低等問(wèn)題，讓圖書(shū)館工作人員能夠從重復(fù)繁瑣的工作中解脫出來(lái)，把更多的時(shí)間精力利用在學(xué)科服務(wù)、文獻(xiàn)整理開(kāi)發(fā)與研究和舉辦各類(lèi)讀者活動(dòng)上。

1 研究現(xiàn)狀

通過(guò)可視化文獻(xiàn)分析軟件Cite Space對(duì)2010-2020年圖書(shū)館領(lǐng)域AI研究的528篇核心期刊和CSSCI期刊分析后發(fā)現(xiàn)，在國(guó)內(nèi)圖書(shū)館機(jī)器人研究方面，大多是從書(shū)庫(kù)管理和圖書(shū)館信息管理等方面引入機(jī)器人概念的可行性進(jìn)行探討，很少?gòu)臋C(jī)器人應(yīng)用的角度闡述具體涉及的相關(guān)技術(shù)

在機(jī)器人應(yīng)用領(lǐng)域，深圳圖書(shū)館的IM機(jī)器人通過(guò)分析用戶(hù)咨詢(xún)信息，使機(jī)器人對(duì)自身知識(shí)庫(kù)自主進(jìn)行更新維護(hù)，從而達(dá)到為用戶(hù)提供更有針對(duì)性的回答的效果。朗蒙特圖書(shū)館機(jī)器人項(xiàng)目則是可以通過(guò)個(gè)性化編程，利用面部表情和肢體動(dòng)作打破溝通障礙，與自閉癥兒童進(jìn)行互動(dòng)交流。

在智慧圖書(shū)館內(nèi)引入機(jī)器人，可以突破原有的工作模式，圖書(shū)館員的工作效率得到顯著提高，同時(shí)豐富了用戶(hù)獲取信息的渠道，為智慧圖書(shū)館建設(shè)打下良好的基礎(chǔ)。但現(xiàn)有的研究主要是側(cè)重于在圖書(shū)館的單一事務(wù)中引入機(jī)器

。人技術(shù)，面向圖書(shū)館的專(zhuān)業(yè)型綜合類(lèi)機(jī)器人的開(kāi)發(fā)與研究則較少。

隨著信息化的不斷發(fā)展，國(guó)內(nèi)越來(lái)越多的圖書(shū)館開(kāi)始普及物聯(lián)網(wǎng)、室內(nèi)導(dǎo)航、大數(shù)據(jù)分析等相關(guān)信息技術(shù)，基本形成了立體化、智能化、信息化的綜合環(huán)境，為機(jī)器人技術(shù)在圖書(shū)館各領(lǐng)域的應(yīng)用提供了深度融合的環(huán)境。相對(duì)于一些發(fā)達(dá)國(guó)家圖書(shū)館而言，我國(guó)在機(jī)器人技術(shù)應(yīng)用的廣度和深度有所差距，一般都是用于圖書(shū)館單一業(yè)務(wù)上，例如：參考咨詢(xún)?nèi)藱C(jī)互動(dòng)、圖書(shū)分揀、圖書(shū)搬運(yùn)等工序，而沒(méi)有一個(gè)技術(shù)完備包含圖書(shū)館全業(yè)務(wù)的綜合性機(jī)器人系統(tǒng)。在這一領(lǐng)域雖然國(guó)內(nèi)外提出了一些設(shè)計(jì)思路，但大多是停留在概念設(shè)計(jì)階段，國(guó)內(nèi)在圖書(shū)館綜合性服務(wù)機(jī)器人研究上基本上空白，本項(xiàng)目的選題具有一定的創(chuàng)新性。

2 面向讀者的機(jī)器人的功能設(shè)計(jì)

2.1 系統(tǒng)整體需求分析

要形成完整的需求方案，需要對(duì)圖書(shū)館面向讀者的業(yè)務(wù)流程進(jìn)行分析，查找現(xiàn)有流程缺陷并進(jìn)行優(yōu)化，形成完善的需求方案。面向讀者的智能尋書(shū)機(jī)器人功能需求如圖1所示。

圖1 面向讀者的智能尋書(shū)機(jī)器人功能需求

在實(shí)現(xiàn)上述過(guò)程中，要充分考慮面向讀者的機(jī)器人各項(xiàng)功能以及各項(xiàng)功能的實(shí)現(xiàn)方式，面向讀者的尋書(shū)機(jī)器人功能結(jié)構(gòu)圖如圖2所示。

圖2 面向讀者的智能尋書(shū)機(jī)器人功能結(jié)構(gòu)圖

2.2 智能尋書(shū)功能設(shè)計(jì)

2.2.1 人臉識(shí)別模塊

在機(jī)器人工作中，第一步也是最為關(guān)鍵的一步是要識(shí)別用戶(hù)，與圖書(shū)管理系統(tǒng)進(jìn)行比對(duì)，匹配到讀者基本信息，從而給該讀者更多的個(gè)性化服務(wù)，判斷該讀者更多的信息進(jìn)行數(shù)據(jù)分析，讓服務(wù)更加智能化，而不是簡(jiǎn)單人機(jī)互動(dòng)。人臉識(shí)別模塊結(jié)構(gòu)圖如圖3所示。

圖3 人臉識(shí)別模塊結(jié)構(gòu)圖

2.2.2圖書(shū)智能推薦模塊

為使面向讀者的機(jī)器人更加智能，增加圖書(shū)推薦模塊，該模塊的加入可以根據(jù)讀者的喜好為讀者推薦圖書(shū)。其工作過(guò)程為：

1）通過(guò)視頻設(shè)備獲得讀者的視頻；

2）視頻中含有多張讀者的人臉圖像；

3）基于多張人臉圖像識(shí)別出讀者身份信息；

4）根據(jù)讀者身份信息，獲得讀者的歷史借閱數(shù)據(jù)，歷史借閱數(shù)據(jù)包括讀者的歷史借閱書(shū)本名稱(chēng)、書(shū)本類(lèi)別和借閱時(shí)間；

5）根據(jù)歷史借閱數(shù)據(jù)，推薦目標(biāo)書(shū)本給讀者。

圖書(shū)智能推薦流程如圖4所示。

圖4 圖書(shū)智能推薦流程

2.2.3 基于卷積神經(jīng)網(wǎng)絡(luò)的人臉識(shí)別功能設(shè)計(jì)

通過(guò)智能圖書(shū)推薦模塊的應(yīng)用，可以智能化地識(shí)別讀者的身份信息，并根據(jù)讀者的歷史借閱數(shù)據(jù)預(yù)測(cè)出讀者偏好的書(shū)本，預(yù)測(cè)的準(zhǔn)確性高，也提高了機(jī)器人服務(wù)的智能化與人性化。

基于多張人臉圖像識(shí)別出讀者身份信息過(guò)程為：

1）將視頻中的人臉圖像按照人臉圖像所在的讀者圖像的拍攝順序進(jìn)行排列，得到人臉圖像序列；

2）將人臉圖像序列輸入卷積神經(jīng)網(wǎng)絡(luò)中，卷積神經(jīng)網(wǎng)絡(luò)基于人臉圖像序列識(shí)別出人臉特征向量，卷積神經(jīng)網(wǎng)絡(luò)可以是殘差卷積神經(jīng)網(wǎng)絡(luò)，即RestNet backbone；

3）對(duì)人臉特征向量進(jìn)行上卷積處理，得到三維特征圖；

4）獲得讀者的人臉三維數(shù)據(jù)與三維特征圖之間的第一交叉熵。讀者的人臉三維數(shù)據(jù)是通過(guò)三維攝像設(shè)備采集得到的。

基于第一交叉熵反向調(diào)整三維特征圖，其過(guò)程為：

1）以經(jīng)過(guò)反向調(diào)整后的三維特征圖作為目標(biāo)，基于殘差網(wǎng)絡(luò)的損失函數(shù)反向調(diào)整人臉特征向量；

2）殘差網(wǎng)絡(luò)用于對(duì)人臉特征向量進(jìn)行上卷積處理；

3）獲得經(jīng)過(guò)反向調(diào)整后的人臉特征向量與預(yù)先標(biāo)注的樣本標(biāo)簽之間的第二交叉熵；

4）以第一交叉熵和第二交叉熵滿(mǎn)足預(yù)設(shè)條件時(shí)的人臉特征向量作為輸出的人臉特征向量；

5）基于輸出的人臉特征向量識(shí)別出讀者身份信息。

通過(guò)以上方法，提高了人臉特征表示讀者人臉信息的準(zhǔn)確性，進(jìn)而提高了人臉識(shí)別的準(zhǔn)確性。

卷積神經(jīng)網(wǎng)絡(luò)是殘差網(wǎng)絡(luò)，殘差網(wǎng)絡(luò)包括多個(gè)卷積層，多個(gè)卷積層用于提取人臉圖像的特征向量，基于輸出的人臉特征向量識(shí)別出讀者身份信息，包括在身份信息數(shù)據(jù)庫(kù)中獲得與輸出的人臉特征向量匹配的身份信息，作為讀者的身份信息。第一交叉熵和第二交叉熵滿(mǎn)足預(yù)設(shè)條件時(shí)，表示的是第一交叉熵和第二交叉熵都收斂。

第一交叉熵和第二交叉熵滿(mǎn)足預(yù)設(shè)條件時(shí)，表示的是：第一交叉熵小于第一定值，且第二交叉熵小于第一定值。第一定值的取值是0.4、0.6,第一定值的取值是0.6、0.4?；诙鄰埲四槇D像識(shí)別出讀者身份信息，包括基于多張圖像，得到讀者的人臉特征，基于人臉特征，識(shí)別出讀者的身份信息。識(shí)別過(guò)程為：

1）獲得每一張人臉圖像的人臉特征向量，多張人臉圖像對(duì)應(yīng)多個(gè)人臉特征向量；

2）獲得每?jī)蓚€(gè)人臉特征向量之間的交叉熵；

3）以交叉熵的平均值作為第一調(diào)整因子；

4）基于第一調(diào)整因子，獲得平均人臉特征向量，以平均人臉特征向量作為讀者的人臉特征。

其中，基于第一調(diào)整因子，獲得平均人臉特征向量，獲得所有人臉特征向量中的各個(gè)特征值與各自對(duì)應(yīng)的第一調(diào)整因子的乘積，獲得所有乘積之和，以該和除以所有第一調(diào)整因子的總和，得到的特征值構(gòu)成的特征向量就是平均人臉特征向量。

平均人臉特征向量的計(jì)算公式為：

其中，P 表示平均人臉特征向量，表示由p1，p2，……,pn組成的向量，

n表示平均人臉特征向量中特征值的數(shù)量。pi表示平均人臉特征向量的第i個(gè)特征值。tki表示第k個(gè)人臉特征向量的第i個(gè)特征值，k=1,2,….m，m表示人臉特征向量的數(shù)量，sk表示第k個(gè)人臉特征向量對(duì)應(yīng)的第一調(diào)整因子，∑sk表示s1, s2,…. sm之和，∑(tki*sk)表示所有的tki*sk之和，tki*sk表示tki與sk的乘積。

舉個(gè)例子來(lái)說(shuō)，例如有3個(gè)人臉特征向量，每個(gè)人臉特征向量有3個(gè)特征值，即T1=< t11, t12, t13>, T2=< t21, t22, t23>, T3=< t31, t32, t33>，T1、T2、T3對(duì)應(yīng)的第一調(diào)整因子分別是s1、s2、s3。

平均人臉特征向量為：

以任意一張人臉圖像的人臉特征向量作為基準(zhǔn)人臉特征向量，獲得其余人臉特征向量與基準(zhǔn)人臉特征向量之間的交叉熵，其余人臉特征向量是多個(gè)人臉特征向量中除了基準(zhǔn)人臉特征向量以外的人臉特征向量。以其余人臉特征向量與基準(zhǔn)人臉特征向量之間的交叉熵作為第二調(diào)整因子，每個(gè)其余人臉特征向量對(duì)應(yīng)一個(gè)第二調(diào)整因子。將其余的人臉特征向量按照第二調(diào)整因子調(diào)整基準(zhǔn)人臉特征向量，以調(diào)整后的基準(zhǔn)人臉特征向量作為讀者的人臉特征。

將其余的人臉特征向量按照第二調(diào)整因子調(diào)整基準(zhǔn)人臉特征向量，調(diào)整后的基準(zhǔn)人臉特征向量等于，其余的人臉特征向量乘以其對(duì)應(yīng)的第二調(diào)整因子的商之和，加上基準(zhǔn)人臉特征向量，去除第二調(diào)整因子之和。具體按照下述公式計(jì)算得到：

其中，P1表示調(diào)整后的基準(zhǔn)人臉特征向量，P表示基準(zhǔn)人臉特征向量，(∑(Tk))/ ∑(Tk* vk)表示∑(Tk)除以∑(Tk* vk)，Tk表示第k個(gè)其余的人臉特征向量，k=1,2，……n-1。vk表示第k個(gè)第二調(diào)整因子。

將其余的人臉特征向量按照第二調(diào)整因子和第一調(diào)整因子調(diào)整基準(zhǔn)人臉特征向量，以調(diào)整后的基準(zhǔn)人臉特征向量作為讀者的人臉特征。將其余的人臉特征向量按照第二調(diào)整因子和第一調(diào)整因子調(diào)整基準(zhǔn)人臉特征向量具體為：獲得調(diào)整指數(shù)，調(diào)整指數(shù)等于第二調(diào)整因子加上第一調(diào)整因子與第二調(diào)整因子的商；將其余的人臉特征向量按照調(diào)整指數(shù)調(diào)整基準(zhǔn)人臉特征向量，具體方式參照將其余的人臉特征向量按照第二調(diào)整因子調(diào)整基準(zhǔn)人臉特征向量，在此不再贅述。

2.2.4 基于卷積神經(jīng)網(wǎng)絡(luò)的智能推薦功能設(shè)計(jì)

根據(jù)歷史借閱數(shù)據(jù)，推薦目標(biāo)書(shū)本給讀者，包括以下步驟：

1）獲得歷史借閱數(shù)據(jù)中的讀者的歷史借閱書(shū)本名稱(chēng)、書(shū)本類(lèi)別和借閱時(shí)間；

2）根據(jù)借閱時(shí)間和書(shū)本類(lèi)別，預(yù)測(cè)出讀者感興趣的書(shū)目類(lèi)別；

3）獲得讀者感興趣的書(shū)目類(lèi)別的多本書(shū)本作為待選書(shū)本；

4）在圖書(shū)大數(shù)據(jù)庫(kù)中獲得與書(shū)本類(lèi)別對(duì)應(yīng)的待選書(shū)本；

5）將與讀者最近一次借閱的書(shū)本名稱(chēng)最相似書(shū)本作為目標(biāo)書(shū)本推薦給讀者。

根據(jù)借閱時(shí)間和書(shū)本類(lèi)別，預(yù)測(cè)出讀者感興趣的書(shū)目類(lèi)別包括以下步驟：

1）獲得讀者對(duì)歷史借閱數(shù)據(jù)中書(shū)本類(lèi)別的打分，打分表征讀者對(duì)書(shū)本的喜愛(ài)程度；

2）基于借閱時(shí)間，對(duì)書(shū)本類(lèi)別的打分進(jìn)行時(shí)間序列預(yù)測(cè)，得到讀者對(duì)下一本書(shū)本的打分；

3）從評(píng)分?jǐn)?shù)據(jù)庫(kù)中獲得與讀者對(duì)下一本書(shū)本的打分相匹配的書(shū)目類(lèi)別作為讀者感興趣的書(shū)目類(lèi)別；

4）數(shù)目類(lèi)別與讀者對(duì)下一本書(shū)本的打分相匹配，表示其他讀者對(duì)數(shù)目類(lèi)別的評(píng)分與讀者對(duì)下一本書(shū)本的打分之間的差值在預(yù)設(shè)范圍之內(nèi)，設(shè)范圍在-2~2之間。

3 結(jié)論

本課題對(duì)當(dāng)今圖書(shū)館在人工智能應(yīng)用發(fā)展中遇到的問(wèn)題，進(jìn)行充分討論和深度的剖析，提出設(shè)計(jì)開(kāi)發(fā)面向讀者的一體化機(jī)器人這一概念，結(jié)合物聯(lián)網(wǎng)、無(wú)線(xiàn)射頻、人臉識(shí)別等技術(shù)進(jìn)行交叉研究應(yīng)用，主要對(duì)基于卷積神經(jīng)網(wǎng)絡(luò)圖書(shū)館機(jī)器人智能推薦系統(tǒng)制定出詳細(xì)的開(kāi)發(fā)與設(shè)計(jì)路線(xiàn)。雖然筆者提出了完整的方案和關(guān)鍵技術(shù)的研究，但該項(xiàng)目涉及多學(xué)科交叉集成各類(lèi)電子信息和自動(dòng)化相關(guān)技術(shù)，其研究?jī)?nèi)容不僅涉及圖書(shū)館的智能化服務(wù)，還涵蓋了機(jī)械設(shè)計(jì)、電子技術(shù)、自動(dòng)化工程、計(jì)算機(jī)工程等眾多領(lǐng)域跨學(xué)科研究，要想項(xiàng)目能夠順利“落地”，接下來(lái)研究團(tuán)隊(duì)還需要從全局角度設(shè)計(jì)規(guī)劃并不斷完善設(shè)計(jì)，為機(jī)器人館員早日在我國(guó)圖書(shū)館全面應(yīng)用奠定理論和技術(shù)基礎(chǔ)。