李 娜

0 引言

方志即地方志,是在一定體例范疇中,系統(tǒng)記載特定時空下自然、社會、政治、經(jīng)濟、文化等各個方面情況的專門文獻,被譽為“一方之全史”[1],以起源早、類型全、數(shù)量多等特征而聞名[2]。我國保存至今的宋至民國的方志就有8,264種,11萬余卷,成為重要的文化遺產(chǎn)寶庫[3]。地方志承擔(dān)著傳承中華文明、延續(xù)歷史智慧的使命,“要了解中國文化,必須先了解中國的地方志”[4]；它也是一座強大的遠期數(shù)據(jù)庫,擔(dān)負起決策信息支持任務(wù)[5-6],整理和利用地方志是我國的優(yōu)秀傳統(tǒng)。1950年代著名農(nóng)史學(xué)家萬國鼎組織力量,從40多個大中型城市、100多個文史單位的7,200余部地方志中手工整理摘抄物產(chǎn)專題資料,涉及宋至民國期間近900年全國范圍內(nèi)的物產(chǎn)品種、種植與飼養(yǎng)方法、利用技術(shù)等農(nóng)業(yè)生產(chǎn)的各個方面,是農(nóng)史學(xué)界著名的紅本子,曾接待國內(nèi)外眾多學(xué)者前來查詢[7]。

命名實體(Named Entities)是指文本中人名、地名、機構(gòu)名、時間、數(shù)量等具有特定意義的實體,是正確理解文本的基礎(chǔ)。方志類古籍中的命名實體類型多、數(shù)量大,蘊含著豐富的關(guān)聯(lián)關(guān)系和隱性知識；通過命名實體識別技術(shù)對多類型命名實體及其之間的關(guān)聯(lián)關(guān)系進行分析,能最大化挖掘和發(fā)揮方志類古籍的價值。數(shù)字人文為方志類古籍文本內(nèi)容的深度知識組織提供了技術(shù)支持[8]。作為學(xué)科融合的代表領(lǐng)域,數(shù)字人文跨越計算機科學(xué)、語言學(xué)、歷史學(xué)、文學(xué)等學(xué)科[9],拓展了人文學(xué)科研究的廣度和深度[10]。本文以《方志物產(chǎn)》山西分卷為研究語料,探索條件隨機場模型在方志類古籍命名實體識別中的性能和前景?！斗街疚锂a(chǎn)》山西分卷共13本,約43萬字,記載了明成化21 年(1485)至民國29 年(1940)間山西境內(nèi)的物產(chǎn)及相關(guān)信息,共收錄51,545條物產(chǎn)信息,涉及植物、動物和貨物3個類別。在人工標注語料基礎(chǔ)上,引入命名實體識別技術(shù)中的條件隨機場模型,通過自動識別模型和人機交互系統(tǒng)的構(gòu)建,實現(xiàn)物產(chǎn)文本信息中別名、地名、人名、引用名、用途名等五類命名實體的一體化自動抽取,形成物產(chǎn)相關(guān)的命名實體專題數(shù)據(jù)庫,建立關(guān)聯(lián)數(shù)據(jù)集,為知識發(fā)現(xiàn)打下基礎(chǔ)。

1 中文古籍命名實體識別研究綜述

命名實體識別作為文本信息抽取任務(wù)中關(guān)鍵而實用的一項技術(shù),主要從電子文本中識別出人們感興趣的命名實體,在多種語言和領(lǐng)域有著廣泛的應(yīng)用,其中英語語料由于詞匯含義的單一性和文本結(jié)構(gòu)的規(guī)則性,取得了良好的識別效果。中文字詞含義的多樣性和行文結(jié)構(gòu)的連續(xù)性成為中文命名實體識別的障礙,尤其是中文古籍使用繁體字以及無句讀等特點,更是為中文古籍命名實體識別帶來了更大困難。在中文古籍整理領(lǐng)域,命名實體識別的相關(guān)研究成果主要集中在國內(nèi),從早期基于規(guī)則的研究發(fā)展到基于條件隨機場的研究,再到深度學(xué)習(xí)技術(shù)的應(yīng)用,逐步積累了一系列學(xué)術(shù)成果。

基于規(guī)則的研究主要采用詞表和注疏等方式開展。徐潤華等以《左傳》為研究對象,在文獻和注疏自動對齊的基礎(chǔ)上,提出利用古籍注疏分詞的新方法,F值達89%[11]；留金騰等采用自動分詞與詞性標注,并結(jié)合人工校正的方法,實現(xiàn)《淮南子》語料庫的構(gòu)建[12]；王嘉靈以中古史傳文獻《漢書》為例,利用地名表、人名表、注疏詞表來提高《漢書》的自動分詞效果[13]；朱鎖玲以廣東、福建、臺灣三省《方志物產(chǎn)》為語料,通過整理文中地名出現(xiàn)的規(guī)則,構(gòu)建規(guī)則庫,與文本內(nèi)容進行匹配,實現(xiàn)地名識別,準確率為63.38%,召回率為82.89%[14]；衡中青以《方志物產(chǎn)》廣東分卷為例,基于規(guī)則的方法分別識別文中的引書和別名,其中引書識別的召回率和正確率分別為84.95%和72.88%,別名的召回率為88.6%、正確率為71.6%[15]。

基于條件隨機場的研究是命名實體識別領(lǐng)域比較成熟的方法,取得了較好的識別效果。肖磊[16]、汪青青[17]、李章超等[18]分別針對《左傳》中的地名、人名、戰(zhàn)爭事件結(jié)構(gòu)的特點,基于CRF模型,分別實現(xiàn)地名、人名和戰(zhàn)爭事件的自動識別；梁社會等對比條件隨機場和注疏文獻在先秦文獻《孟子》自動分詞實驗中的效果,發(fā)現(xiàn)二者均達到較高的水平[19]；朱曉等選擇編年體題材的《明史》作為研究語料,用交叉驗證法對比了條件隨機場的無邊圖、完全圖以及嵌套圖等3種模型的性能[20]；黃水清等基于先秦語料庫,分別使用條件隨機場和最大熵模型對地名進行了識別研究,結(jié)果表明條件隨機場的識別效果優(yōu)于最大熵模型[21]；李秀英設(shè)計了綜合算法,完成了對《史記》漢英對照的術(shù)語抽取,實現(xiàn)了漢英典籍平行語料庫的構(gòu)建[22]；黃水清等基于《漢學(xué)引得叢刊》中的《春秋經(jīng)傳注疏引書引得》制定詞匯表,通過條件隨機場模型,結(jié)合統(tǒng)計和人工內(nèi)省方法確定的特征模板,完成對先秦典籍進行自動分詞的探究,最好的調(diào)和平均值達到97.47%[23]；王錚將條件隨機場模型應(yīng)用到《三國演義》的地名識別中,準確率為99.16%[24]。葉輝等通過融合多特征的CRF模型提升中醫(yī)古籍《金匱要略》中蘊含的癥狀藥物實體的識別效果[25]；王東波等構(gòu)建基于先秦語料庫的CRF模型,自動抽取其中蘊含的歷史事件,構(gòu)成實體信息[26]；袁悅等對比不同詞性標記集在《左轉(zhuǎn)》《國語》兩部典籍命名實體識別效果的差異性,為先秦古文獻實體抽取與詞性標注提供借鑒[27]。

近年深度學(xué)習(xí)技術(shù)得到快速發(fā)展,并在相關(guān)領(lǐng)域逐步開展實驗研究,呈現(xiàn)出較好的應(yīng)用前景。謝韜基于Apriori算法和LSTM神經(jīng)網(wǎng)絡(luò)對宋詞和《史記》語料進行新詞發(fā)現(xiàn)實驗,取得較好效果[28]；李成名運用深度學(xué)習(xí)中的LSTM-CRF模型對《左傳》中的人名、地名進行了自動抽取實驗,識別率達82%以上[29]；李煥基于BERTBiLSTM-CRF模型對中醫(yī)古籍文本中的中醫(yī)術(shù)語進行識別,明顯提升了識別效率[30]；徐晨飛等對比Bi- RNN、 Bi- LSTM、 Bi- LSTM- CRF、BERT等深度學(xué)習(xí)模型在《方志物產(chǎn)》云南卷中對人名、別名、引書和地名等實體的識別效果,驗證了深度學(xué)習(xí)方法在方志類古籍實體識別中的可行性[31]；杜悅等運用7種深度學(xué)習(xí)模型從25本經(jīng)過分詞和人工標注的典籍語料中抽取歷史事件相關(guān)實體,驗證了深度學(xué)習(xí)模型對大規(guī)模中文古籍文本挖掘的可行性[32]；劉忠寶等在BERT 和LSTM-CRF 模型的基礎(chǔ)上,提出了面向《史記》歷史事件及其組成元素的抽取方法,F1值分別達82.3%和76.0%[33]；崔競烽等利用深度學(xué)習(xí)模型對菊花古典詩詞中的時間、地點、季節(jié)、花名、花色、人物、節(jié)日等命名實體進行標注和識別,得出BERT 模型識別效果較為顯著的結(jié)伭[34]。上述研究成果表明,在中文古籍整理方面,命名實體識別得到廣泛應(yīng)用,取得了良好的識別效果。隨著技術(shù)進步,基于規(guī)則的方法逐步被基于CRF的方法和深度學(xué)習(xí)的方法替代。其中,條件隨機場模型由于突破了隱馬爾科夫模型的嚴格獨立性假設(shè)限制,優(yōu)化了最大熵模型的歸一化處理,解決了標注偏差的問題,可以靈活融合上下文的多種特征,基于條件概率處理序列標注問題,且具有成熟的開源工具,在中文古籍分詞領(lǐng)域有著良好的性能和廣泛的應(yīng)用；而深度學(xué)習(xí)模型正處于快速發(fā)展的階段,穩(wěn)定性和適用性都在逐步增強,擁有良好的應(yīng)用前景。本研究選擇將相對穩(wěn)定成熟的CRF技術(shù)應(yīng)用于方志類古籍的實體識別,綜合對別名、地名、引用名、用途名、人名等五類命名實體進行一體化識別,并與其他基于規(guī)則和深度學(xué)習(xí)的實驗結(jié)果形成對比。

2 識別模型構(gòu)建

本研究過程主要分為3個部分:一是語料篩選和標注,即從《方志物產(chǎn)》山西分卷中選出備注信息不為空的物產(chǎn)信息,指定語料的標注原則,人工對物產(chǎn)的備注信息進行標注；二是機器學(xué)習(xí)和模型構(gòu)建,將人工標注的語料打亂順序后,平均分為10份,每次取其中9份作為訓(xùn)練語料,讓計算機進行學(xué)習(xí),分析并提取標注對象的內(nèi)外部特征,形成特征模板,根據(jù)特征模板完成基于條件隨機場的識別模型構(gòu)建；三是模型測試,將訓(xùn)練語料以外的另一份語料作為測試語料,對基于條件隨機場的識別模型進行測試,用召回率R、正確率P和加權(quán)平均值F作為測評指標,分析測評結(jié)果,評估模型性能。具體的技術(shù)路線如圖1所示。本節(jié)主要探討語料預(yù)處理、特征分析和模型構(gòu)建的內(nèi)容。

圖1 研究的技術(shù)路線

2.1 語料篩選和標注

(1)語料篩選。首先,根據(jù)物產(chǎn)名稱進行語料篩選。在流傳過程中,由于文字變遷、抄寫錯誤、字跡不清等,《方志物產(chǎn)》記載的物產(chǎn)名稱不盡完備?！斗街疚锂a(chǎn)》山西分卷中共記載51,545條物產(chǎn)信息,部分物產(chǎn)的名稱中除可識別的漢字外,還包括特殊符號,如 “+、□、(、？)”“鸂□、鷰(鳥衣)、(艸+旹)蘿、？？”,代表該處為“缺字” 或“造字” 等情況。物產(chǎn)名稱不完整的數(shù)據(jù)共273條,約占總語料規(guī)模0.53%。為保證數(shù)據(jù)的原始性和完整性,況且物產(chǎn)名稱不完整并不影響命名實體識別,所以仍保留相關(guān)語料,嘗試通過數(shù)據(jù)對比和關(guān)聯(lián)等方式完善這部分物產(chǎn)名稱的數(shù)據(jù)。其次,就文本結(jié)構(gòu)而言,方志類文獻中物產(chǎn)記載方式不一,物產(chǎn)備注信息存在缺失現(xiàn)象。圖2所示是從《方志物產(chǎn)》山西分卷全文數(shù)據(jù)庫中隨機選取的10條物產(chǎn)信息,可見備注信息空缺的現(xiàn)象。本研究的目的是從物產(chǎn)的解釋信息中抽取別名、地名、人名、引用名和用途名等5類實體信息,因此,語料庫中沒有解釋信息的物產(chǎn)記錄不是本研究的有效語料?！斗街疚锂a(chǎn)》 山西分卷記載的51,545條物產(chǎn)信息中,含解釋信息的共9,085條,約占總物產(chǎn)量17.63%。

圖2 隨機選取的10條物產(chǎn)名稱及其備注信息樣例

(2)語料標注。為提升機器學(xué)習(xí)效果,對部分語料進行人工標注。在對物產(chǎn)的備注信息進行標注時,用英文單詞表示對應(yīng)的命名實體類別,標注時選用大寫首字母表示,以“【”“】” 表示命名實體的左右邊界,具體見表1。標注完成后,9,085條備注信息不為空的物產(chǎn)信息中含別名的有2,522條,含地名的1,308條,含人名的624條,含引用名的1,307條,含用途名的823條,共計6,584條,這是本文進行命名實體識別研究的最終語料。

表1 命名實體標注說明

2.2 標注集生成

在人工標注語料的基礎(chǔ)上,對訓(xùn)練語料進行一定的標記,用于抽取語料特征。通過計算標注實體的加權(quán)長度,明確標注集的長度,生成標注集運用式,如下:

其中,Li表示i≤k當(dāng)時,命名實體平均加權(quán)詞長,Ni表示語料庫中詞長為i的命名實體出現(xiàn)次數(shù),k和i為語料庫中命名實體的最大詞長和最小詞長,N為語料庫中命名實體出現(xiàn)次數(shù)總和。例如,L2就表示在k=2時,整個語料庫的中命名實體的平均加權(quán)詞長。通過反復(fù)計算和實驗測試,本研究確定在《方志物產(chǎn)》的命名實體自動抽取中,使用4 詞位的標注集,即P={B,M,E,S}。其中,B表示命名實體的起始詞,M表示命名實體的中間詞,E表示命名實體的結(jié)束詞,S表示非命名實體詞的標記。經(jīng)過手工標記的語句,如 “旨鹝草 州境出草如綬亦名【A 文章草】”“蝙蝠 其矢名夜明砂【F治目翳障癥】”“蟾酥 出【L 代州】【L 太原】【L 定襄】【L 五臺】【L崞縣】”“太谷蒲桃 見【P高青邱】 詩集今不可得”“虎【C 格物論】 云虎山獸之長”等,標注集的生成結(jié)果(樣例)如表2所示。通過生成標注集,將訓(xùn)練語料處理成一串具有特定標識符的單字,為精確定位命名實體的左右邊界詞及分析邊界詞特征提供便利。命名實體的左右邊界詞是特征模板的重要內(nèi)容,其分布特征影響實體抽取模型的功能優(yōu)化和識別效果。

表2 標注集樣例

2.3 內(nèi)外部特征分析

基于人工標注語料和實體標注集,統(tǒng)計總結(jié)命名實體的內(nèi)外部結(jié)構(gòu)特征,作為核心要素應(yīng)用到模型構(gòu)建中。其中,內(nèi)部特征是指命名實體的詞長及其頻次分布規(guī)律,外部特征是指命名實體的左右一元邊界詞及其頻次分布規(guī)律。

(1)內(nèi)部特征分析。命名實體的詞長是指構(gòu)成命名實體的字數(shù)。根據(jù)詞長的統(tǒng)計分析結(jié)果,可以協(xié)助確定及識別序列的跨度。標注語料中共提取出人工標注的別名3,458個、地名2,287個、人名846 個、引用名1,944 個、用途名1,191個。從長度和頻次統(tǒng)計結(jié)果看,5種類型命名實體的長度特征如表3所示。從表3可見,除了引用名稍長以外,別名、地名、人名、用途名的長度均集中在1、2、3上,高頻長度能夠涵蓋絕大多數(shù)命名實體。詞長的統(tǒng)計分析結(jié)果有助于提高模型對實體長度判斷的準確性。

表3 命名實體長度特征統(tǒng)計表

(2)外部特征分析。根據(jù)已有標注集,對命名實體的左右一元邊界詞進行統(tǒng)計分析。假設(shè)把一條語料表示成 “SLn，…，SLi，…SL1，【R，R1，…，Rn】，SR1，…，SRj，…，SRn”,其中,【R，R1，…，Rn】 代表標注集,SLi代表標注集的左邊界詞,SLj代表標注集的右邊界詞,即可以判定標注集的左右一元邊界詞,即SL1和SR1,其分布狀況運用式如下:

其中,pc(ω)為ω在語料中作為一元邊界詞的頻率,fβ(ω)為ω作為一元邊界詞出現(xiàn)的次數(shù),∑ωfβ(ω)為在語料中出現(xiàn)的總次數(shù)。表4所示為各類命名實體的高頻左右一元邊界詞,括號中為該邊界詞出現(xiàn)的頻率?？梢?別名、用途名的左一元邊界詞聚集程度較高,最高頻次均達到70%以上；地名的左右一元邊界詞都相對集中,最高頻次均超過70%；人名和引用名的右一元邊界詞較左一元邊界詞更為集中,最高頻次為100%。

表4 高頻左、右一元邊界詞

2.4 特征模板構(gòu)建

條件隨機場[35](Conditional Random Fields,CRF)是判別式概率模型,常用于標注或分析序列資料,自然語言是其分析對象之一。設(shè)圖G=(V,E)是一個無向圖,Y為已標注序列,Y={Yv|v∈V},X為待標注序列,令X={x1,x2,…,xn},Y={y1,y2,…,yn},如果Yv服從馬爾科夫?qū)傩?則(X,Y)構(gòu)成一個條件隨機場,滿足p(Yv|X,Yu,u≠v，v,{u,v}∈V)=p(Yv|X,Yu,u～v,{u,v}∈E),u～v表示u是v相鄰的節(jié)點。為最大限度地提升模型的識別性能,在基于CRF構(gòu)建識別模型時,應(yīng)充分考慮標注語料中上下文結(jié)構(gòu)特征。本模型構(gòu)建中綜合融入了訓(xùn)練語料命名實體的內(nèi)部和外部特征,即上文所分析的實體長度、出現(xiàn)頻次、左右邊界詞等。

(1)實體長度。《方志物產(chǎn)》語料中,最常見的別名長度為2,如 “虞美人 俗稱【A 芙蓉】 ”；最常見的地名長度為2,如 “萆麻子【L平魯】【L朔州】【L馬邑】 有”；最常見的人名長度為3,如“玉簪【P漢武帝】 寵【P李夫人】取玉簪搔頭後宮人皆效之玉簪花之名始此明【P徐文長】 詩曰小院秋深墜碧茵花間猶見李夫人搔頭可綴誰能綴一夜西風(fēng)夢裏神”；最常見的引用名長度為2,如“艾【C爾雅】 曰水臺王安石【C字說】 曰艾可乂疾久而彌善故字從乂師曠曰歲欲病病草先生艾也”；最常見的用途名長度為2,如“蜂密 一名石蜜以白如膏者良【F潤燥】【F滑腸】【F補中】【F清熱】”。實體長度用阿拉伯?dāng)?shù)字表示,是識別模型的一個重要特征。

(2)一元邊界詞。命名實體抽取過程中,左右一元邊界詞是識別模型的重要參數(shù)。一旦確定了實體的左右一元邊界詞,就鎖定了實體的具體位置,從而抽取出目標實體。在利用訓(xùn)練語料進行模型構(gòu)建時,根據(jù)人工標注實體的位置標出左右一元邊界詞,用L代表左一元邊界詞,用R代表右一元邊界詞,用N代表非一元邊界詞。語料訓(xùn)練結(jié)果樣例見表5。

表5 五類命名實體的左右一元邊界詞標注樣例

3 模型測試與結(jié)果分析

3.1 模型測試

本研究采用正確率P、召回率R和調(diào)和平均數(shù)F[36]對基于CRF的命名實體識別模型的識別效果進行綜合評價,用以衡量其在方志類古籍文獻整理中的適用性和應(yīng)用前景。

其中,correct是模型識別結(jié)果中正確的命名實體數(shù)量,incorrect是模型識別結(jié)果中錯誤的命名實體數(shù)量,unrecognized是人工標注出來但模型沒能識別的命名實體數(shù)量。

為合理優(yōu)化和提升模型識別效果,本研究使用十次交叉法驗證不同訓(xùn)練語料和測試語料下的模型性能。首先,將所有語料隨機亂序排列,并平均分成10等份；其次,每次驗證選取10份中的任意9份作為訓(xùn)練語料,用于構(gòu)建命名實體自動抽取模型,將剩余的1份語料作為測試語料,評估模型的性能,共進行10次評估實驗,從而獲得最優(yōu)模型。五類命名實體測試的最優(yōu)結(jié)果如圖3所示。從最優(yōu)模型識別結(jié)果看,面向《方志物產(chǎn)》 命名實體自動抽取模型的識別效果中,效率最高的是正確率,其次是調(diào)和平均數(shù),而召回率相對較低。即,模型識別出的實體中正確的比例較高,但是占全部應(yīng)識別出的實體比例稍低。五類命名實體中,別名、地名、引用名的效果較好, 最高正確率均達到了95.48%,人名和用途名的識別效果稍差,正確率為70%～80%。

圖3 最優(yōu)模型的測試結(jié)果

3.2 對比分析

近期有學(xué)者運用Bi-RNN、Bi-LSTM、Bi-LSTM-CRF、BERT等深度學(xué)習(xí)模型對《方志物產(chǎn)》云南分卷語料中的別名、人名、地名、引用名進行了一體化識別[31]。其中,Bi-RNN是一種雙向循環(huán)神經(jīng)網(wǎng)絡(luò)模型,加入了時間序列的變化,分別從起點和末尾兩端對文本序列進行學(xué)習(xí),獲取句子中詞之間的語義關(guān)系；Bi-LSTM為雙向長短時記憶模型,引入遺忘門、輸入門和輸出門,更加全面地捕獲文本序列信息,解決語料長距離依賴問題；Bi-LSTM-CRF 模型將雙向長短時記憶模型與CRF模型相結(jié)合,既考慮到文本前后序列的關(guān)聯(lián)性,又解決標記偏置的問題,是較為主流的方法；BERT模型摒棄了RNN循環(huán)式神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu),通過自注意力機制進行建模,采用雙向語言模型提取上下文語義關(guān)系,有效解決長期依賴問題,在自然語言處理領(lǐng)域具有突破性表現(xiàn)。本文將基于條件隨機場模型與基于Bi- RNN、 Bi- LSTM、 Bi-LSTM-CRF、BERT 等深度學(xué)習(xí)模型識別效果中的F1 值進行比較,結(jié)果見表6?；跅l件隨機場的模型對別名和地名兩類實體的識別效果較顯著,而深度學(xué)習(xí)在人名識別方面的效果優(yōu)于條件隨機場模型,二者在引用名的識別效果上基本持平。另外,本研究將命名實體技術(shù)首先應(yīng)用于《方志物產(chǎn)》 中用途名的實體識別,尚未有其他模型的對比數(shù)據(jù)。

表6 CRF與深度學(xué)習(xí)模型識別效果F1值比較(單位：%)

3.3 結(jié)果分析

分析基于CRF的命名實體識別模型正確率分布,以及對比人工標注與機器識別結(jié)果可發(fā)現(xiàn):

(1)識別效果最好的實體類型依次是地名、別名、引用名。這是因為在《方志物產(chǎn)》的編纂過程中,地名、別名和引用名的表述較為規(guī)范,且聚集程度高,無伭是在時間線上還是在空間域上,這三類實體重復(fù)出現(xiàn)的幾率大,詞長和邊界詞等文本特征相對明顯,在一定程度上提升了模型的識別性能。這三類實體識別錯誤的情況主要集中在以下幾個方面。就地名而言,一種情況是實體不是一個具體的地名,而是一個范圍或者指代性的名詞,導(dǎo)致機器無法根據(jù)特征進行精確判別,如語料 “訓(xùn)峪後溝等十?dāng)?shù)村” 不是一個確切的常規(guī)地名,導(dǎo)致機器識別的結(jié)果表現(xiàn)為實體字段識別不全；另一種情況是實體并列出現(xiàn),如語料 “太原平陽潞安三府及汾澤二州俱出” 中 “汾澤” 二州就因為并列出現(xiàn)而被漏識別。就別名而言,主要存在實體類型判斷錯誤情況,即模型實體抽取是正確的,但是由于多類型命名實體的混合以及語言表達規(guī)則的相似性,導(dǎo)致在實體類型劃分時出現(xiàn)了錯誤,如 “赭石” 的語料 “生河?xùn)|山中別錄曰出代郡者名代赭李時珍曰赭赤色也代即雁門也俗呼土朱鐵”,識別結(jié)果為“代赭、雁門、土朱鐵”,顯而易見,“雁門” 并非物產(chǎn)“赭石” 的別名,而是地點“代” 表示的地名,只是因為二者的語言規(guī)則相似而被誤判。就引用名而言,主要原因是實體嵌套導(dǎo)致的實體名稱過長,如語料“細莖叢生花豓藍色既開如墜花落結(jié)子他邑所無附宋司馬光晉陽三月未有春色詩天心均煦嫗物態(tài)異芬芳上國花應(yīng)爛邊城柳未黃清明空改火元已漫浮觴仍説秋寒早年年八月霜” 中“宋司馬光晉陽三月未有春色詩”,就存在時間、人名、地名、引用名的連續(xù)嵌套,導(dǎo)致機器判別出錯。

(2)人名和用途名的識別效果存在著較大的提升空間。其中,人名識別方面,古人除了本名以外,還有字、號、官職、尊稱、謚號等多種別名,實體的長短、出現(xiàn)的頻率等缺乏規(guī)律性,機器判別難度大；此外,不同類型的實體嵌套或者混淆的情況較為常見,如“河南王孝瑜” 為地名與人名的嵌套、“白香山” 為地名與人名的混淆、“魏武衛(wèi)將軍奚康生” 為官職名與人名混淆,“唐段成式” 為朝代名與人名混淆等。而用途名的識別方面,主要立足傳統(tǒng)中草藥的功效角度進行描述,表達方式多樣,不同時代、不同地區(qū)或不同志書對同一物產(chǎn)同一功效的描述也不盡相同,且數(shù)種功效經(jīng)常并列出現(xiàn),如物產(chǎn) “青蒿” 的語料“處處生之春夏採莖葉同童便煎退骨蒸勞熱生搗絞汁卻心疼熱秋黃冬採根實實須炒治風(fēng)疹疥瘙虗煩盜汗開胃明目辟邪殺蟲” 中就有“風(fēng)疹、疥瘙、虗煩、盜汗、開胃、明目、辟邪、殺蟲” 等多種用途名稱的并列使用,成為機器識別精度提升的阻礙。

本文總結(jié)的問題與經(jīng)驗,可以為方志類古籍大規(guī)模語料標注和實體識別研究提供借鑒。其中,增強領(lǐng)域?qū)＜业慕槿氤潭群吞岣邩俗⑷藛T的語言素養(yǎng),有助于提升訓(xùn)練語料人工標注的精度；適當(dāng)擴大訓(xùn)練語料的規(guī)模,有利于更全面地收集異質(zhì)性較強的實體類型的特征信息；積極借助現(xiàn)有的數(shù)據(jù)集和標注標準,有益于排除標注過程中出現(xiàn)的分歧問題,從而提升實體識別模型的總體效果。

3.4 基于實體識別結(jié)果的應(yīng)用

以“菠薐” 和“貫衆(zhòng)” 兩條物產(chǎn)的解釋信息“一名波斯菜詢芻錄云南人呼菠菜北人呼赤根菜劉禹錫嘉話錄本自頗陵國流入中國語訛耳能觧酒毒” 和“出遼州一名鳳尾草李時珍曰葉莖如鳳尾一本而眾枝貫之故草名鳳尾根名貫眾廣雅謂之貫節(jié)” 為例,CRF模型對別名、地名、人名、引用名、用途名的識別結(jié)果分別為 “‘波斯菜、菠菜、赤根菜’、‘劉禹錫’、‘詢芻錄、嘉話錄’、‘觧酒毒’” 和 “‘鳳尾草、貫節(jié)’、‘遼州’、‘李時珍’、‘廣雅’”。根據(jù)物產(chǎn)名與命名實體識別的人名、地名、別名、引用名、用途名五類命名實體之間的對應(yīng)關(guān)系,以及物產(chǎn)名所屬的記載時間和地區(qū)、物產(chǎn)分類信息等要素,建立起關(guān)聯(lián)關(guān)系(如表7所示),并以此為基礎(chǔ),開展數(shù)據(jù)挖掘和知識發(fā)現(xiàn)研究。

表7 關(guān)聯(lián)數(shù)據(jù)識別結(jié)果樣例

通過物產(chǎn)與別名的關(guān)聯(lián)關(guān)系,可以挖掘指定物產(chǎn)的別名信息,還可以發(fā)現(xiàn)哪些物產(chǎn)擁有相同的別名,為分析別名的來源提供了資料支撐；通過物產(chǎn)與人名的關(guān)聯(lián)關(guān)系,可以挖掘物產(chǎn)在傳播的過程中,受到哪些歷史人物的影響,是在哪些方面產(chǎn)生了影響,如命名方面、文學(xué)方面、種植技術(shù)方面等；通過物產(chǎn)與時空的關(guān)聯(lián)關(guān)系,不僅可以挖掘物產(chǎn)橫向地域上的變遷,還可以挖掘物產(chǎn)在縱向時間上的消長,將物產(chǎn)與社會變遷、生態(tài)環(huán)境等緊密聯(lián)系起來；通過物產(chǎn)與引用名之間的關(guān)系,可以了解具體物產(chǎn)在哪些古籍文獻或詩詞歌賦或民間諺語中記載或流傳,為資料查找提供重要線索；通過物產(chǎn)與用途之間的關(guān)聯(lián)關(guān)系,可以挖掘物產(chǎn)在生活、民俗、藥用等方面的價值,為進一步深度利用打下了基礎(chǔ)。例如,圖4為依據(jù)物產(chǎn)與人名之間關(guān)聯(lián)關(guān)系而生成的知識圖譜,可以根據(jù)不同的需求開展不同緯度、不同角度的深度剖析；圖5是來源志書在時空范圍的分布圖,呈現(xiàn)了不同朝代山西境內(nèi)不同地區(qū)的志書修撰情況,這從側(cè)面反應(yīng)了物產(chǎn)記載的詳略程度；圖6是物產(chǎn)與時空之間關(guān)聯(lián)關(guān)系的分布圖,展示了棉花在山西引種和傳播的進程。

圖4 物產(chǎn)與人名之間的關(guān)聯(lián)關(guān)系可視化圖

圖5 志書的空間分布圖

圖6 物產(chǎn)“棉” 的時空傳播分布圖

4 結(jié)語

本文以《方志物產(chǎn)》山西分卷為研究語料,基于條件隨機場構(gòu)建多類型命名實體復(fù)雜識別模型,實現(xiàn)了文本中別名、地名、人名、引用名和用途名五類命名實體的自動抽取,并應(yīng)用十次交叉法對模型識別性能進行測評,取得了較好的實驗結(jié)果。本研究驗證了在方志類古籍的知識挖掘中,條件隨機場模型能發(fā)揮較好的效果,具有較高的可行性和較好的應(yīng)用前景,為大規(guī)模方志古籍以及其他類古籍的挖掘利用研究提供借鑒。

但是,本研究仍然存在有待進一步提升的空間:語料規(guī)模小,僅以山西一省物產(chǎn)資料為研究對象,占全國語料1%左右,規(guī)模偏?。粯俗⒕鹊?人工標注者的農(nóng)史底蘊薄弱,導(dǎo)致人工標注不夠完善；模型特征少,模型構(gòu)建中僅采納了長度、頻率、左右一元邊界詞作為特征,沒有全面覆蓋所有特征信息。

在未來研究中,需要逐步擴大語料規(guī)模,從一個省份擴展到多個省份,直至全國；引入農(nóng)史專業(yè)學(xué)者對語料進行深度標注、提升標注程度,構(gòu)建標注標準體系,以便在更大范圍內(nèi)推廣；獲取更多語料特征,豐富特征模板,完善識別模型的功能,提升識別效果。