崔天鑫

摘? 要：針對(duì)分布式檢索的典型需求，作者設(shè)計(jì)并實(shí)現(xiàn)了一種基于SOAP的分布式檢索系統(tǒng)。給出了對(duì)等型結(jié)構(gòu)下的分布式部署結(jié)構(gòu)設(shè)計(jì)，進(jìn)一步實(shí)現(xiàn)了一種基于數(shù)據(jù)交換區(qū)的部署結(jié)構(gòu)設(shè)計(jì)，極大提高了分布式條件下的檢索效率。

關(guān)鍵詞：SOAP;分布式檢索;數(shù)據(jù)交換區(qū);本地副本

中圖分類號(hào)：TP391.3 文獻(xiàn)標(biāo)志碼：A? ? ? ? 文章編號(hào)：2095-2945（2019）31-0097-02

Abstract： For the typical requirements of distributed retrieval， the author designed and implemented a distributed retrieval system based on SOAP. The distributed deployment structure design under the peer-to-peer structure is given， and a deployment structure design based on the data exchange area is further realized， which greatly improves the retrieval efficiency under distributed conditions.

Keywords： SOAP; distributed retrieval; data exchange area; local copy

1 概述

分布式檢索系統(tǒng)的實(shí)現(xiàn)往往比較復(fù)雜。區(qū)別于集中式檢索，分布式檢索是將檢索請求提交給網(wǎng)絡(luò)上的多個(gè)主機(jī)，由位于這些主機(jī)上的檢索程序分別獨(dú)立檢索并將檢索結(jié)果返回的過程。在實(shí)現(xiàn)分布式檢索系統(tǒng)時(shí)，不可避免的要面對(duì)現(xiàn)有信息資源所在平臺(tái)的多樣性和數(shù)據(jù)的異構(gòu)性等棘手的問題。

為了提高分布式檢索的性能，解決分布式條件信息資源集成困難的問題，作者設(shè)計(jì)并實(shí)現(xiàn)了一種基于Web服務(wù)的分布式檢索系統(tǒng)。系統(tǒng)設(shè)計(jì)的基本思路是：將各服務(wù)器端的檢索程序封裝為Web服務(wù)，由客戶端的各類用戶界面通過SOAP協(xié)議向多個(gè)Web服務(wù)器發(fā)出檢索請求，并接收服務(wù)器端返回的檢索結(jié)果。系統(tǒng)的運(yùn)行效果也依賴于系統(tǒng)的部署結(jié)構(gòu)設(shè)計(jì)。在系統(tǒng)實(shí)現(xiàn)的過程中，作者針對(duì)實(shí)際情況實(shí)現(xiàn)了兩種分布式檢索部署結(jié)構(gòu)的設(shè)計(jì)，取得良好的應(yīng)用效果。

2 完全分布式檢索結(jié)構(gòu)設(shè)計(jì)

在完全分布式（即對(duì)等型）檢索結(jié)構(gòu)中，每臺(tái)服務(wù)器都獨(dú)立地管理檢索系統(tǒng)和數(shù)據(jù)存儲(chǔ)系統(tǒng)，每臺(tái)服務(wù)器之間處于對(duì)等的關(guān)系，每臺(tái)服務(wù)器的檢索系統(tǒng)僅對(duì)本地的數(shù)據(jù)存儲(chǔ)系統(tǒng)建立索引并提供相應(yīng)的信息檢索服務(wù)。

完全分布式檢索結(jié)構(gòu)，如圖1所示。在上述結(jié)構(gòu)中，需要設(shè)計(jì)一種使用XML或JSON配置文檔的方式來存儲(chǔ)服務(wù)器訪問路由表，只需要保存服務(wù)器的IP地址和調(diào)用SOAP服務(wù)代理的路徑信息即可。

這種結(jié)構(gòu)下，分布式檢索的處理流程如下：

（1）用戶通過客戶端程序向服務(wù)器提出一個(gè)檢索請求。

（2）請求服務(wù)器的SOAP請求代理將檢索請求進(jìn)行SOAP封裝（即封裝為以XML-HTTP協(xié)議格式）。

（3）請求服務(wù)器查詢服務(wù)器訪問路由表，獲取遠(yuǎn)程訪問的地址和路徑信息。

（4）將請求發(fā)送到系統(tǒng)的所有服務(wù)器或指定服務(wù)器。

（5）收到檢索請求的服務(wù)器，執(zhí)行SOAP服務(wù)代理，SOAP服務(wù)代理一般只需要對(duì)本地服務(wù)器的信息進(jìn)行檢索，將檢索結(jié)果以SOAP消息格式進(jìn)行封裝，然同步或異步返回給SOAP請求代理。

（6）SOAP請求代理同步接收并解析返回結(jié)果，然后合并整理從每臺(tái)服務(wù)器返回的檢索結(jié)果而形成最終檢索結(jié)果，返回給用戶;如果是異步接收返回結(jié)果，需要調(diào)用相應(yīng)的回調(diào)函數(shù)，將結(jié)果呈現(xiàn)給用戶。

3 非對(duì)等型分布式檢索結(jié)構(gòu)設(shè)計(jì)

完全分布式檢索系統(tǒng)在很大程度上只是一種理想的情況，往往不能滿足實(shí)際需要?，F(xiàn)實(shí)中的大型網(wǎng)絡(luò)結(jié)構(gòu)往往是非對(duì)等型的。在規(guī)劃分布式檢索系統(tǒng)的實(shí)現(xiàn)時(shí)，必須考慮數(shù)據(jù)檢索頻率以及網(wǎng)絡(luò)效率的因素，采用合適的網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)。采用什么樣的網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)能夠使檢索效率最高、費(fèi)用最省，是實(shí)現(xiàn)分布式檢索系統(tǒng)時(shí)必須認(rèn)真考慮的問題。

在大型網(wǎng)絡(luò)系統(tǒng)中，數(shù)據(jù)訪問主要分為本地訪問和遠(yuǎn)程訪問兩種。一般來講，受制于網(wǎng)絡(luò)帶寬及響應(yīng)速度的限制，本地訪問速度要大大快于遠(yuǎn)程訪問的速度。但若將全部數(shù)據(jù)存放在本地訪問，帶寬資源耗費(fèi)、網(wǎng)絡(luò)間復(fù)制、通訊量及各服務(wù)器建設(shè)的硬件投入成本、服務(wù)器空間負(fù)載都將成倍增加，不符合經(jīng)濟(jì)性原則，也無法體現(xiàn)網(wǎng)絡(luò)互聯(lián)產(chǎn)生的優(yōu)勢，同時(shí)為管理維護(hù)造成巨大負(fù)擔(dān)。因此，對(duì)數(shù)據(jù)內(nèi)容進(jìn)行合理劃分是很有必要的。可以根據(jù)對(duì)數(shù)據(jù)檢索的不同頻次來對(duì)訪問類型進(jìn)行劃分：對(duì)于訪問頻次高的數(shù)據(jù)存放在本地服務(wù)器，以減少網(wǎng)絡(luò)負(fù)載及檢索時(shí)間;對(duì)于訪問頻次低的數(shù)據(jù)，遠(yuǎn)程直接連接進(jìn)行檢索，以減少本地服務(wù)器負(fù)載，提高系統(tǒng)管理性。

建立本地副本，是提升信息檢索效率的一種可行且有效的手段。一般可以根據(jù)用戶查詢頻率、熱點(diǎn)問題關(guān)鍵字等，將一部分頻繁訪問的文檔復(fù)制到數(shù)據(jù)交換服務(wù)區(qū)。本系統(tǒng)中，對(duì)于用戶對(duì)若干臺(tái)遠(yuǎn)程服務(wù)器的訪問頻次非常高的情況，可以基于數(shù)據(jù)復(fù)制，建立一個(gè)數(shù)據(jù)交換區(qū)，來實(shí)現(xiàn)分布式檢索的效率優(yōu)化。如圖2所示。

請求服務(wù)器和數(shù)據(jù)交換區(qū)服務(wù)器位于同一個(gè)網(wǎng)絡(luò)域中，可以實(shí)現(xiàn)快速、高效的連接。通過遠(yuǎn)程服務(wù)器到數(shù)據(jù)交換區(qū)的定時(shí)數(shù)據(jù)庫復(fù)制，數(shù)據(jù)交換區(qū)將多個(gè)遠(yuǎn)程服務(wù)器的數(shù)據(jù)保存為多個(gè)副本。數(shù)據(jù)交換區(qū)服務(wù)器可以對(duì)這些副本建立索引，以提高檢索效率。在請求服務(wù)器的訪問路由表中，將遠(yuǎn)程服務(wù)器的地址統(tǒng)一設(shè)置為數(shù)據(jù)交換區(qū)服務(wù)器的地址，并將這些遠(yuǎn)程服務(wù)器的SOAP服務(wù)代理的路徑設(shè)置為數(shù)據(jù)交換區(qū)服務(wù)器的SOAP服務(wù)代理的路徑。

對(duì)遠(yuǎn)程服務(wù)器上的數(shù)據(jù)進(jìn)行檢索時(shí)，不必將SOAP請求消息發(fā)送到各個(gè)遠(yuǎn)程服務(wù)器，只需要發(fā)送到數(shù)據(jù)交換區(qū)服務(wù)器即可，數(shù)據(jù)交換區(qū)服務(wù)器上運(yùn)行的SOAP服務(wù)代理負(fù)責(zé)接收并解析原本需要發(fā)向遠(yuǎn)程服務(wù)器的檢索請求消息，啟動(dòng)對(duì)遠(yuǎn)程服務(wù)器數(shù)據(jù)副本的檢索，并將檢索結(jié)果以SOAP消息的形式返回給請求服務(wù)器的SOAP請求代理。

數(shù)據(jù)交換區(qū)需要遠(yuǎn)程服務(wù)器定時(shí)向其進(jìn)行數(shù)據(jù)復(fù)制，才能保證副本是最新數(shù)據(jù)。當(dāng)遠(yuǎn)程服務(wù)器的數(shù)據(jù)更新頻率比較低，而對(duì)這些服務(wù)器的檢索請求頻次非常高的情況下，這種基于數(shù)據(jù)交換區(qū)的結(jié)構(gòu)設(shè)計(jì)非常實(shí)用。當(dāng)請求服務(wù)器處理用戶大量的遠(yuǎn)程檢索請求時(shí)，不需要頻繁地與遠(yuǎn)程服務(wù)器進(jìn)行連接，可以大大地提高檢索的效率。而對(duì)于訪問頻次不高的遠(yuǎn)程服務(wù)器，可以采用直接連接遠(yuǎn)程服務(wù)器進(jìn)行信息檢索。

4 結(jié)束語

除了提供強(qiáng)大、靈活的檢索功能之外，作者基于Web服務(wù)技術(shù)實(shí)現(xiàn)的分布式檢索系統(tǒng)，可以用于對(duì)等型結(jié)構(gòu)下的分布式檢索，進(jìn)一步實(shí)現(xiàn)了一種基于數(shù)據(jù)交換區(qū)的非對(duì)等型檢索部署結(jié)構(gòu)設(shè)計(jì)，極大提高了檢索效率。進(jìn)一步的工作是，研究數(shù)據(jù)交換區(qū)的更新策略，以及檢索算法的優(yōu)化等。

參考文獻(xiàn)：

[1]孫偉，呂強(qiáng).基于文檔副本局部性的分布式檢索算法研究[J].計(jì)算機(jī)應(yīng)用研究，2016（1）：108-110，114.

[2]w3schools. XML SOAP. https：//www.w3schools.com/XML/xml_soap.asp. 2018.