鄭雯鍇　田子禾

關(guān)鍵詞：文物識別；知識圖譜；可視化；畫作；前端

中圖分類號：TP183 文獻(xiàn)標(biāo)識碼：A

文章編號：1009-3044（2023）10-0040-04

0 引言

目前，以數(shù)字化博物館為主體的App通常是對實體物品進(jìn)行拍照、掃描、建模等方式，將其轉(zhuǎn)化為數(shù)字化的電子媒介，并且通過圖像、文字、聲音及影像等形式進(jìn)行展示。在這些App進(jìn)行數(shù)據(jù)檢索大致分為兩種方式。第一種是用戶自主查詢的方式。這種類型的檢索方式優(yōu)點在于，給用戶足夠多的自主性，可根據(jù)自己的意愿去搜索。但是其缺點也很明顯，若用戶不知道文物的名稱或者只知道文物的模糊信息，就無法檢索出想要的文物信息。這類檢索方式查出來的信息相互之間也沒有關(guān)系?？傮w來說，這類檢索方式不具備針對性并且效率極低，給用戶帶來的體驗感也不好。該類型App缺少成體系的結(jié)構(gòu)化知識，導(dǎo)致其內(nèi)容檢索更偏向于對文物知識有一定基礎(chǔ)的人群。第二種是基于GPS的館內(nèi)電子導(dǎo)游型，例如中國國家博物館的App，這種類型的App有詳細(xì)的解說，以及較為系統(tǒng)的知識體系，通過聲音的方式傳遞信息給用戶，不會妨礙用戶正常地觀賞文物。通過使用其App，游客可將自己的可移動設(shè)備當(dāng)作講解器，在需要的地方通過掃碼來觸發(fā)語音講解功能，甚至通過AR 參與館內(nèi)互動。這類App更注重游客在館內(nèi)瀏覽文物時對實體文物的知識介紹，沒有將各種實體之間的知識聯(lián)系起來。而且，這種方式僅限于在博物館內(nèi)使用，并對用戶移動設(shè)備的信號強(qiáng)度以及電池的續(xù)航能力要求高。隨著人們對知識文化需求的提高，如何以更便捷的方式為用戶提供文物知識檢索，并在檢索的同時為用戶提供更多相關(guān)聯(lián)知識，是未來智慧博物館需要解決的問題。

圖像檢索和知識圖譜技術(shù)可以作為解決上述問題有效的技術(shù)途徑。本文提出一種基于圖像檢索和知識圖譜的現(xiàn)代化博物館系統(tǒng)設(shè)計方案。

1 相關(guān)技術(shù)

1.1 圖像檢索

圖像檢索被廣泛用于圖像識別等應(yīng)用領(lǐng)域，其主要實現(xiàn)的步驟如下：首先，對圖片特征進(jìn)行提??；第二，對圖片特征信息進(jìn)行編碼；第三，運用匹配算法進(jìn)行比對。其關(guān)鍵在于圖像的編碼和匹配算法的設(shè)計。本項目采用的是為圖片生成一個特定的64位整數(shù)，然后將得到的數(shù)字和數(shù)據(jù)庫中的數(shù)據(jù)進(jìn)行比對，如果不同的位數(shù)越少，說明兩張圖片的相似度越高。在比對的過程中，還會設(shè)置一個臨界值，筆者設(shè)置的臨界值為：兩個64位整數(shù)所相差的位數(shù)為10，當(dāng)超過這個臨界值，就說明兩張圖片的相似度較低，判定為兩張不同的圖片。

1.2 知識圖譜的技術(shù)介紹

知識圖譜則是把一組數(shù)據(jù)轉(zhuǎn)換成實體，實體是有屬性的，在不同實體之間會存在各種聯(lián)系。比如西瓜，知道它的屬性是水果，那么與它相關(guān)聯(lián)的就有如葡萄、橙子等其他水果，它又是季節(jié)性水果，也可以想到與它同季節(jié)的水果有哪些，同時西瓜視頻還是中國的IT公司，屬于視頻娛樂性產(chǎn)品，又可以想到如騰訊視頻、愛奇藝、優(yōu)酷等視頻娛樂影音類產(chǎn)品，這些關(guān)系用傳統(tǒng)手段是無法展示出來的，而知識圖譜可視化工具可以將它們的聯(lián)系清晰地展示出來，如同一張網(wǎng)一樣，將所能聯(lián)想到的信息都關(guān)聯(lián)起來，這些數(shù)據(jù)之間的關(guān)系也就簡單明了地呈現(xiàn)在眼前?，F(xiàn)在知識圖譜技術(shù)已經(jīng)很成熟了，最早的知識圖譜技術(shù)主要應(yīng)用于搜索引擎。

2 基于圖像檢索和知識圖譜的現(xiàn)代化博物館系統(tǒng)設(shè)計

2.1 系統(tǒng)整體設(shè)計思路

本系統(tǒng)的核心目的是根據(jù)用戶上傳的圖片進(jìn)行圖像檢索，并將文物的信息以及橫向信息全部返回給用戶。大致流程如圖2所示，首先，用戶進(jìn)入界面首頁會看到搜索框，在該處可進(jìn)行文本和圖像搜索方式的選擇。若進(jìn)行文本的搜索，可支持文物的作者和文物的名字的搜索；若選擇圖像的搜索，會從用戶本地獲取一張圖片上傳。因為不同用戶拍攝的水平不同，拍攝出圖片的質(zhì)量也不同，所以第一步先進(jìn)行圖像處理。其中包括灰度化、二值化、去噪、歸一化等一系列操作；第二步進(jìn)行圖像的識別，采用圖像感知哈希算法，它會為每一張圖片生成其自己特定一個稱之為“指紋”的64位整數(shù)，然后通過計算漢明距離來檢索圖像（就是比較不同圖片的指紋）。相差的位數(shù)越少，就說明圖片越相似。將用戶上傳的圖片與圖片庫進(jìn)行比較，當(dāng)結(jié)果值非常接近時，即可判定識別成功。并將識別的結(jié)果返回。然后根據(jù)查詢到的結(jié)果，到知識圖譜中進(jìn)行查找其關(guān)聯(lián)的信息。最后將知識圖譜查詢到的內(nèi)容一并返回給用戶。

2.2 知識圖譜的構(gòu)建

2.2.1 概要

本圖譜主要基于名畫和作者中的關(guān)系抽取，數(shù)據(jù)源于http：//www.youhuadaquan.org/和https：//www.dpm.org.cn/Home.html本圖譜基于LSTM長短期記憶模型，如圖3所示，對畫家和畫作的描述文本進(jìn)行分類，抽取出畫家畫作實體和關(guān)系，存入neo4j數(shù)據(jù)庫后，通過業(yè)務(wù)規(guī)則描述新的關(guān)系。

2.2.2 數(shù)據(jù)標(biāo)注

數(shù)據(jù)的預(yù)測類別有7種：

主語開頭：B-SUBJECT

主語非開頭：I-SUBJECT

謂語開頭：B-PREDICATE

謂語非開頭：I-PREDICATE

賓語開頭：B-OBJECT

賓語非開頭：I-OBJECT

其他：O

舉例：

凡·高來到法國小鎮(zhèn)阿爾，創(chuàng)作了《阿爾的吊橋》，被標(biāo)注為：

B-SUBJECT I-SUBJECT O O O O O O O O BPREDICATE I-PREDICATE O

B-OBJECT I-OBJECT I-OBJECT I-OBJECT IOBJECT

2.2.3數(shù)據(jù)預(yù)處理

1）詞典映射實現(xiàn)包括低頻詞過濾、字與ID的映射（word2id）、預(yù)測類別與ID的映射（lable2id），實現(xiàn)ID-詞-類別的映射綁定。

2）從訓(xùn)練文件中獲取句子和標(biāo)簽并轉(zhuǎn)化為ID 實現(xiàn)將文件中存儲的標(biāo)簽訓(xùn)練集加載到詞典中來，通過詞典將句子和標(biāo)注轉(zhuǎn)換為ID，實現(xiàn)句子和標(biāo)簽的離散化，同時，為了保證數(shù)據(jù)的維度一致，在行向量中進(jìn)行句子填充。

2.2.4 構(gòu)建模型

利用PyTorch中RNN的LSTM類，傳入數(shù)據(jù)量，詞嵌入和標(biāo)簽的行向量，標(biāo)簽大小等超參數(shù)后，利用model等Sequential（）函數(shù)進(jìn)行序列化，在CRF層，利用tag參數(shù)進(jìn)行l(wèi)oss函數(shù)的構(gòu)建。最后，將數(shù)據(jù)集導(dǎo)入模型中訓(xùn)練40個epoch[1]。

2.2.5 圖譜存儲

利用爬蟲[2]引擎scrapy和元素解析引擎jsoup進(jìn)行數(shù)據(jù)挖掘，將數(shù)據(jù)源網(wǎng)站上的文本進(jìn)行持久化，導(dǎo)入MySQL中，按batch進(jìn)入模型進(jìn)行識別，輸出形式化結(jié)果，利用正則表達(dá)式篩選合并后存入CSV文件中，利用neo4j圖數(shù)據(jù)庫提供的import工具進(jìn)行導(dǎo)入和存儲。存儲的實體類型和屬性包括：作品（作品名、作者名、創(chuàng)作時間、類型、圖片URL、博物館名稱）、作者（姓名、國籍、出生年份、死亡年份、頭像圖片URL、描述），關(guān)系類型和屬性包括：相同時期（SAME_ERA）、相同博物館（SAME_MUSEUM）、被創(chuàng)作（MADE_BY）、同作者（SAME_MAKER）[1]。如圖5、圖6所示。

2.3 圖像檢索方法的設(shè)計

2.3.1 感知哈希算法（Perceptual Hash Algorithm）

其主要的功能是給每一張圖片生成一個特定的字符串，可以稱之為“指紋”。不同的圖片會生成不同的特定字符串，就可以用已有的特定字符串，和數(shù)據(jù)庫中圖片的特定字符串進(jìn)行比較，如果比對的值越相似，就會判定兩張圖片就越相似。具體的實現(xiàn)步驟如下所示：首先，將圖片進(jìn)行縮小，比如將圖片縮小為8×8，一共為64個像素。這么做的目的在于，去除具體的細(xì)節(jié)，只要大概的結(jié)構(gòu)信息（例如明暗信息等），同時也可以排除一些非必要因素對算法的影響，例如用不同大小的圖片或者比例相差很大的圖片所帶來的差異；其次，將其顏色簡化，將第一步所得到的圖片進(jìn)行灰度轉(zhuǎn)化，讓其所有的像素點只有64種顏色；然后，對這64個像素的灰度平均值進(jìn)行計算，并將計算得到的結(jié)果和每一個像素的灰度值進(jìn)行比對。假設(shè)“1”表示平均值小于等于每個像素的灰度值，“0”表示平均值大于等于每個像素的灰度值；最后，直接計算哈希值，這一步將之前得到的結(jié)果和剛才計算的結(jié)果進(jìn)行組合，得到了一張圖片的指紋（是一個具有64位的整數(shù)）。在組合時，并不用考慮其組合的先后順序，主要考慮所有的圖片是否都是用一種順序組合的。

根據(jù)以上步驟，會為每一張圖片生成一個特定的64位整數(shù)，當(dāng)進(jìn)行圖像檢索時，只需要為用戶上傳的圖片生成一個特定的64位的整數(shù)，用生成的整數(shù)來和數(shù)據(jù)庫中的所有64位整數(shù)對比，重點關(guān)注有多少位置是不一樣的。其實質(zhì)是在計算漢明距離[3]——如果發(fā)現(xiàn)兩張圖片所具有的64位整數(shù)不同的位數(shù)相差超過10位，就判定為不同的圖片；如果這兩個整數(shù)相差的位數(shù)小于等于5，那就說明兩張圖片相似。

本算法的優(yōu)點在于能夠快速檢索出圖片，同樣也不會受到圖片尺寸的影響。當(dāng)然也有一定缺點，如果對圖片內(nèi)容進(jìn)行修改，會導(dǎo)致64位的整數(shù)和數(shù)據(jù)庫中的數(shù)字相差很多的位數(shù)，最后導(dǎo)致檢索失敗。所以，本算法適用于給出縮略圖找原圖[4]。

3 原型系統(tǒng)實現(xiàn)

3.1 系統(tǒng)框架圖

3.1.1 系統(tǒng)架構(gòu)

本系統(tǒng)采用B/S架構(gòu)（Browser/Server）[5]，在此架構(gòu)下，用戶通過使用瀏覽器瀏覽，基于HTTP協(xié)議提供的服務(wù)。Server通過提供api接口的方式響應(yīng)請求、傳遞數(shù)據(jù)，前端通過AJAX發(fā)送GET、POST、PUT等請求調(diào)用這些API接口，Server接收請求并響應(yīng)后，前端將數(shù)據(jù)展示給用戶。基于HTTP協(xié)議，也可以將Server提供的API接口方便提供給其他平臺使用，最終實現(xiàn)跨平臺[1]。模式結(jié)構(gòu)如圖7所示：

3.1.2 系統(tǒng)環(huán)境

1）硬件環(huán)境

CPU： 1.4 GHz Inter Core i5 處理器；內(nèi)存： 8 GB2133 MHz LPDDR3 主板集成內(nèi)存；圖形處理器： IntelIris Plus Graphics 645 圖形處理器；外置存儲設(shè)備：512 GB SSD；操作系統(tǒng)： MacOS Catalina。

2）軟件環(huán)境

NodeJS 12.18.2、Webpack、Vue 2.6.6、ElementUI2.4.5、Echart 4.8.0、Vue-Axios 2.1.5、Vue-Router 3.4.3、Vue-Cookie 1.1.4。

3.2 原型系統(tǒng)展示

以查詢蒙娜麗莎為例，如圖9所示，進(jìn)入首頁后，會有點擊上傳的按鈕，點擊上傳后。跳轉(zhuǎn)到文物信息界面（圖10）：在這個界面能看到左上角是文物的圖片展示；左下方是文物作者信息的介紹；右上方是文物重點信息的介紹以及文物詳細(xì)信息介紹；右下方是文物的知識圖譜展示。如果查詢文物的作者，會看到圖11、圖12的界面。

4 結(jié)束語

本文提出了一種基于圖像檢索和知識圖譜的現(xiàn)代化博物館系統(tǒng)設(shè)計方案，并通過原型系統(tǒng)驗證了方案的可行性。通過本文的文物識別檢索方式，可以通過上傳文物圖片的方式輕松檢索出系統(tǒng)化的知識體系。相比于傳統(tǒng)的檢索方式以及單一知識的方式，圖像識別更便于用戶檢索，知識圖譜關(guān)系表達(dá)能力更強(qiáng)，并且它能像人一樣分析數(shù)據(jù)。本文只是對該方案進(jìn)行了初步嘗試，目前知識規(guī)模較小，后期需要擴(kuò)展并更深入地分析和發(fā)掘文物知識的文化內(nèi)涵。