江操 安德智 馬雪潔

甘肅政法大學 甘肅 蘭州 730000

引言

隨著人工智能的發(fā)展和司法信息化體系的構建，將人工智能引入到司法領域成為近年來研究熱點。自2013年以來，中國司法部門通過互聯(lián)網(wǎng)向公眾開放了一系列裁判文件，以期通過社會的力量獲得輔助法律判決預測的新方法。法律判決預測一般包括多類子任務:罪名預測、法條預測和刑期預測等[1]。本文主要關注于罪名預測任務，以刑事案件為研究對象，主要目標是基于刑事法律文書中的案情描述和事實部分，使模型能夠準確預測案件所涉及的罪名。具有較大的應用價值[2]。

本文提出了一種融合了圖卷積神經(jīng)網(wǎng)絡[3]和BiGRUTextCNN的罪名預測系統(tǒng)模型。本文利用訓練好的詞向量將文本序列化后輸入到BiGRU-CNN模型中，提取到案情描述的特征，依此進行分類得到對測試集樣本的各標簽的分數(shù)。再將文本數(shù)據(jù)轉(zhuǎn)化成結構化數(shù)據(jù)輸入到GCN模型中，同樣對測試集樣本各標簽進行評分，最后將二者的分數(shù)相加，取最高分作為最后的預測結果。

1 相關工作

1.1 數(shù)據(jù)預處理

對于BiGRU-CNN模型預測部分，需要對數(shù)據(jù)進行分詞、去除停用詞、構建詞典、文本序列化。完成以上操作后即可輸入到BiGRU-CNN模型中，而GCN模型只能處理結構化數(shù)據(jù)，因此對于案情描述文本需要將其轉(zhuǎn)化為結構化數(shù)據(jù)，把每一條案情描述轉(zhuǎn)變成圖數(shù)據(jù)的鄰接矩陣的形式，首先對分詞去停用詞后的案情描述進行詞頻統(tǒng)計如表1。

表1 部分詞頻統(tǒng)計表

選取出現(xiàn)最多的前一千個詞，并根據(jù)這一千個詞排列順序，對分詞去停用詞后的案情描述進行替換，將每一條文字描述替換成相應的數(shù)字序列，流程如圖1。

圖1 文本轉(zhuǎn)換流程圖

這些序列中的每一個數(shù)字視為圖結構中的點。本文需要依據(jù)數(shù)字序列構建包含文本結構信息的鄰接矩陣。為了建立點與點之間的聯(lián)系，本文將數(shù)字序列中相鄰的兩個點設為相關聯(lián)，同時每個點也與自身相關聯(lián)，以此為規(guī)則生成鄰接矩陣中的坐標。同時考慮到在中文文本中每個詞匯都是有相應的詞性的，若是不區(qū)分詞性將所有節(jié)點默認為一類將失去部分文本信息，因此本文依據(jù)中文詞匯中的名詞、代詞、動詞、形容詞、數(shù)詞、量詞、區(qū)別詞、副詞、介詞、連詞、冠詞、助詞這十二種詞性，將這一千個詞代表的點分為了十二類。本文依據(jù)上述方式將文本數(shù)據(jù)轉(zhuǎn)化成了圖卷積神經(jīng)網(wǎng)絡可以處理的圖數(shù)據(jù)。

1.2 圖卷積神經(jīng)網(wǎng)絡

圖數(shù)據(jù)的每個結點都受到其鄰居節(jié)點的影響，圖卷積神經(jīng)網(wǎng)絡就是利用鄰居結點的信息來推導該結點的信息，從而得到圖數(shù)據(jù)的特征。這一過程中又需要用到兩個理論工具拉普拉斯矩陣與傅立葉變換。為了得到數(shù)據(jù)的圖域卷積，需要先對圖和卷積核做傅立葉變換后相乘，再傅立葉反變換回來，這樣就得到了圖域卷積。因此得到了圖卷積的計算公式如式1。

其中， 為鄰接矩陣與單位矩陣的和， 為 的度矩陣，H是每一層的特征，W是權重矩陣，再經(jīng)過非線性激活函數(shù)σ就得到了圖卷積提取的圖數(shù)據(jù)特征。

1.3 BiGRU

GRU是LSTM網(wǎng)絡的一種效果很好的變體，它繼承了LSTM模型和RNN模型的特性，一定程度上解決了RNN的梯度問題，同時解決了梯度反傳過程由于逐步縮減而產(chǎn)生的梯度消失問題，能夠?qū)W習長期的規(guī)律。而BiGRU 是由兩個反向的GRU 組成的神經(jīng)網(wǎng)絡模型，BiGRU能夠提供額外的上下文特征信息，有助于捕捉時間序列里長期的依賴關系。在GRU模型中只有兩個門：分別是更新門和重置門。具體結構如下圖2所示：

圖2 GRU結構單元

計算過程如式2、3、4、5。

而雙向GRU（BiGRU）BiGRU是由單向的、方向相反的、輸出由這兩個 GRU 的狀態(tài)共同決定的 GRU組成的神經(jīng)網(wǎng)絡模型，這種形式能獲取某一時刻前、后兩個方向的數(shù)據(jù)信息并加以利用，使得預測值更加接近真實值。

1.4 Text-CNN

卷積神經(jīng)網(wǎng)絡是一類包含卷積計算且具有深度結構的前饋神經(jīng)網(wǎng)絡（Feedforward Neural Networks），是深度學習的代表算法之一。卷積神經(jīng)網(wǎng)絡具有表征學習能力，能夠按其階層結構對輸入信息進行平移不變分類，因此也被稱為“平移不變?nèi)斯ど窠?jīng)網(wǎng)絡”。圖像上的CNN模型主要是依靠輸入圖片的平移不變性，利用卷積核提取圖片特征，而在文本上CNN模型種卷積核提取的是相鄰兩個或多個個單詞向量的特征，與傳統(tǒng)的CNN卷積核相比Text-CNN的卷積核不是正方形的，寬度跟詞向量維度相等。文本分類模型text-CNN與傳統(tǒng)CNN網(wǎng)絡相比網(wǎng)絡結構上沒有任何變化。

2 模型架構

本文使用BiGRU-TextCNN模型和GCN模型分別完成對數(shù)據(jù)的預測，再將二者的結果匯總成最后的預測結果。這里是兩個模型分別進行訓練預測的過程如圖3，首先將文本數(shù)據(jù)傳入到BiGRU-TextCNN模型中得到預測的分數(shù)，再將文本數(shù)據(jù)處理成圖數(shù)據(jù)放入GCN模型中得到該模型的預測分數(shù)，最后將2個預測的分數(shù)相加，選取最大的作為最后的預測結果。

圖3 模型結構圖

2.1 BiGRU-TextCNN模型預測

這一部分使用了 BiGRU-TextCNN模型對數(shù)據(jù)集進行特征提取訓練和預測，首先將數(shù)據(jù)分詞去停用詞，再經(jīng)過詞嵌入層獲得文本的向量表示，這時就可以輸入到BiGRU中進行特征提取，再將提取出來的時序特征傳入下層的Text-CNN模型中再次提取特征，最后經(jīng)過全連接層得到一個包含了預測結果的向量。

2.2 GCN模型預測

這一部分使用了GCN模型對數(shù)據(jù)集進行特征提取訓練和預測。因為GCN只能處理非歐式數(shù)據(jù)，所以需要根據(jù)前文所述的方法將文本轉(zhuǎn)化成圖數(shù)據(jù)的形式。數(shù)據(jù)處理完成后將其輸入到GCN模型中，本文使用的模型有三個圖卷積層，將三組特征相拼接組合成了最后的特征，輸入到池化層中，本文使用的是基于自注意力的池化機制的思想，是通過圖卷積從圖中自適應地學習每個節(jié)點的重要性。最后一樣經(jīng)過全連接層得到一個包含了預測結果的向量。

2.2 特征融合

特征融合是模式識別領域的一種重要方法，主要應用于計算機視覺中的圖像識別上，特點是實現(xiàn)多特征的優(yōu)勢互補增加結果的準確性，特征融合的方式有兩種分別是早融合和晚融合。

本文采用的是晚融合的特征融合方法，即通過GCN模型和BiGRU-Text-CNN模型分別預測出兩個包含結果的向量大小為128×10，將這兩個向量按40%和60%的比重對應相加得到融合二者的新的預測向量，經(jīng)過激活函數(shù)后得到最后的預測結果。

3 實驗驗證與分析

3.1 數(shù)據(jù)集介紹

本次實驗使用了法研杯2018的數(shù)據(jù)集，該數(shù)據(jù)包含了20多萬條各種罪名文本，每一條數(shù)據(jù)由8個部分組成，包括事實描述、被告、罰款、罪名、相關法條、是否死刑、是否無期、有期徒刑刑期。本文主要使用了事實描述和罪名部分，選取了數(shù)據(jù)集中出現(xiàn)最多的十種犯罪罪名，包括盜竊、搶劫、故意傷害、非法持有或私藏槍支彈藥、詐騙、危險駕駛、制造販賣傳播淫穢物品、交通肇事、受賄、組織強迫引誘容留介紹賣淫，數(shù)據(jù)集結果如下表2。

表2 數(shù)據(jù)集組成

3.2 模型評價標準

本文采用了宏平均來評價模型首先分別計算各自分類的Precision和Recall如式6、7、8，得到各自的F1值，然后取平均值得到Macro-F1，其中TP表示將正類預測為正類的個數(shù)，F(xiàn)N表示將正類預測為負類的個數(shù)，F(xiàn)P表示將負類預測為正類的個數(shù)，TN表示將負類預測為負類的個數(shù)。

3.3 實驗結果分析

實驗是對2018年法研杯數(shù)據(jù)集進行訓練和測試，按照數(shù)據(jù)集中文本個數(shù)的80%進行訓練和20%進行測試的規(guī)則進行數(shù)據(jù)劃分，分別對Text-CNN模型、RNN模型、LSTM模型、RNNAttention模型，BiGRU模型、BiGRU-Text-CNN模型和本文使用的GCN-BiGRU-Text-CNN模型進行了實驗，實驗結果如下表3。

表3 各算法實驗結果

從實驗結果來看，Text-CNN模型的效果要優(yōu)于RNN模型，但是融合了注意力機制后RNN-Attention模型要比RNN模型強一些。BiGRU模型繼承了LSTM模型和RNN模型的特性，一定程度上解決了RNN的梯度問題。BiGRU-TextCNN模型融合了CNN和BiGRU的特點有了更好的結果，本文使用的模型在此基礎上還另外融合了GCN模型，在最后的實驗數(shù)據(jù)上有一定的提升，證明的本文提出的方法的可行性。

4 結束語

本研究由甘肅省教育廳創(chuàng)新基金項目（2022CYZC-57）資助。本文使用的融合圖卷積神經(jīng)網(wǎng)絡和BiGRU-CNN的模型，較以往的方法F1有所提升，往后對二者進行特征融合達到更好的結果是我們未來的研究方向。