姚直言，趙學(xué)龍，戚 湧，嚴(yán) 悍

(南京理工大學(xué) 計(jì)算機(jī)科學(xué)與工程學(xué)院，江蘇 南京 210094)

0 引 言

隨著深度學(xué)習(xí)的快速發(fā)展，這項(xiàng)前沿技術(shù)被應(yīng)用于各個(gè)領(lǐng)域，如在醫(yī)學(xué)[1]、商業(yè)[2]以及圖像處理[3]等方面都取得了不少成果。在法律量刑方面，將神經(jīng)網(wǎng)絡(luò)用于量刑預(yù)測(cè)也取得了一些成果[4-6]，但由于判刑依靠法官經(jīng)驗(yàn)和主觀判斷，甚至在極端情況下會(huì)出現(xiàn)矛盾的判決，訓(xùn)練樣本存在大量噪聲，神經(jīng)網(wǎng)絡(luò)在此領(lǐng)域的表現(xiàn)不如其他領(lǐng)域優(yōu)異。

該文提出了一種將先驗(yàn)知識(shí)轉(zhuǎn)換為虛擬樣本加入數(shù)據(jù)中進(jìn)行訓(xùn)練與約束的方法，設(shè)計(jì)并實(shí)現(xiàn)了兩層BP神經(jīng)網(wǎng)絡(luò)進(jìn)行回歸預(yù)測(cè)，選取了特定犯罪情節(jié)—盜竊作為預(yù)測(cè)對(duì)象，并在樣本數(shù)較少，樣本噪聲大[7-10]的情況下，進(jìn)行了定量的實(shí)驗(yàn)，證明了此方法可以提高預(yù)測(cè)的準(zhǔn)確度，降低預(yù)測(cè)刑期的誤差。

該文主要分為四個(gè)部分，第一部分粗略介紹了BP神經(jīng)網(wǎng)絡(luò)的原理，以及先驗(yàn)知識(shí)在神經(jīng)網(wǎng)絡(luò)優(yōu)化上的應(yīng)用；第二部分介紹了利用先驗(yàn)知識(shí)生成虛擬樣本輔助訓(xùn)練的具體方法；第三部分是具體實(shí)驗(yàn)驗(yàn)證，首先介紹了當(dāng)今司法系統(tǒng)中普遍存在的量刑偏差問題，然后實(shí)現(xiàn)了具體的BP神經(jīng)網(wǎng)絡(luò)進(jìn)行交叉檢驗(yàn)，驗(yàn)證了該方法的有效性；第四部分是一個(gè)簡(jiǎn)短的概括總結(jié)。

1 相關(guān)理論

1.1 BP神經(jīng)網(wǎng)絡(luò)

BP神經(jīng)網(wǎng)絡(luò)[11]是一種多層前饋網(wǎng)絡(luò)，包含一層輸入層、多層隱層以及一層輸出層，理論上三層及三層以上的BP神經(jīng)網(wǎng)絡(luò)有著逼近任意函數(shù)的能力。BP神經(jīng)網(wǎng)絡(luò)根據(jù)輸出層的輸出與期望結(jié)果之間的誤差，即損失函數(shù)，用梯度下降法反向傳播更新權(quán)值，直到損失函數(shù)達(dá)到精度要求。圖1是一個(gè)簡(jiǎn)單BP神經(jīng)網(wǎng)絡(luò)示意圖。

圖1 簡(jiǎn)單BP神經(jīng)網(wǎng)絡(luò)示意圖

訓(xùn)練BP神經(jīng)網(wǎng)絡(luò)的過程大體可分為兩個(gè)部分：前向傳播和反向傳播。

(1)

反向傳播過程中，根據(jù)損失函數(shù)計(jì)算預(yù)測(cè)誤差，然后通過梯度下降方法修正誤差，調(diào)整權(quán)值、偏置等網(wǎng)絡(luò)參數(shù)，如式(2)、式(3)所示：

(2)

(3)

通過鏈?zhǔn)椒▌t可求得偏導(dǎo)數(shù)，反復(fù)迭代直到損失函數(shù)滿足精度要求。

1.2 先驗(yàn)知識(shí)在BP神經(jīng)網(wǎng)絡(luò)上的應(yīng)用

先驗(yàn)知識(shí)[12]是指先于經(jīng)驗(yàn)的知識(shí)，在先驗(yàn)知識(shí)應(yīng)用于深度學(xué)習(xí)上的研究中，宣冬梅等人[13]為解決在多分類問題中使用深度學(xué)習(xí)方法提高分類效果的模型通常很復(fù)雜，且運(yùn)行時(shí)間較長(zhǎng)等問題，提出了先驗(yàn)知識(shí)與深度學(xué)習(xí)結(jié)合的方法，在MNIST手寫體數(shù)據(jù)集上進(jìn)行的實(shí)驗(yàn)中，以一定規(guī)則獲取先驗(yàn)知識(shí)，提高了多分類方法的識(shí)別率，且使得學(xué)習(xí)的結(jié)構(gòu)更加簡(jiǎn)單；Yaser S.Abu-Mostafa在預(yù)測(cè)外匯交易市場(chǎng)的實(shí)驗(yàn)[14]中，提出了利用對(duì)稱性提示生成虛擬樣本，并作為訓(xùn)練集的一部分訓(xùn)練模型的方法，大大提高了預(yù)測(cè)的準(zhǔn)確度。

2 方法介紹

2.1 量刑偏差

量刑偏差是世界普遍存在的問題。量刑偏差，是指審判機(jī)關(guān)在同一時(shí)空條件下，對(duì)性質(zhì)相同、情節(jié)相當(dāng)?shù)姆缸铮谶m用相同的法律時(shí)，刑罰裁量相差懸殊的現(xiàn)象。因刑罰裁定人是法官，不同的法官對(duì)相同的案情有著不同的主觀判斷，以及法官判刑多以經(jīng)驗(yàn)論，難免出現(xiàn)量刑偏差的問題。再者，不同的地區(qū)經(jīng)濟(jì)發(fā)展?fàn)顩r不同，法官的評(píng)判標(biāo)準(zhǔn)也難免不同。在這些復(fù)雜因素的共同作用下，造成了量刑偏差這一普遍存在的問題。而如果要構(gòu)建一個(gè)神經(jīng)網(wǎng)絡(luò)系統(tǒng)預(yù)測(cè)量刑，單單以真實(shí)數(shù)據(jù)作為訓(xùn)練樣本，包含了大量的偏差和噪聲，神經(jīng)網(wǎng)絡(luò)在一定程度上無法客觀地學(xué)習(xí)到知識(shí)或規(guī)律，勢(shì)必會(huì)對(duì)最后的預(yù)測(cè)結(jié)果造成影響。所以，該文提出了基于先驗(yàn)知識(shí)構(gòu)造虛擬樣本輔助訓(xùn)練，約束神經(jīng)網(wǎng)絡(luò)的方法。

2.2 虛擬樣本

因?yàn)檎鎸?shí)數(shù)據(jù)中包含了法官的主觀判斷和地區(qū)經(jīng)濟(jì)發(fā)展程度等主觀因素，訓(xùn)練樣本中包含大量的噪聲，神經(jīng)網(wǎng)絡(luò)擬合效果不佳，沒有學(xué)習(xí)到隨金額上升預(yù)測(cè)刑期上升這一個(gè)關(guān)鍵因素，而對(duì)其他因素分配過重權(quán)值。所以針對(duì)這種情況，該文提出一種基于先驗(yàn)知識(shí)產(chǎn)生虛擬樣本輔助訓(xùn)練的方法，基于大量經(jīng)驗(yàn)總結(jié)出來的規(guī)則生成虛擬樣本[14-15]，加入到訓(xùn)練樣本中。

按照規(guī)則[16]生成除盜竊金額、判決刑期不同，其余維度均相同的虛擬樣本，如表1所示，其中x和f(x)分別對(duì)應(yīng)盜竊金額和判決刑期。

表1 虛擬樣本示例

如此構(gòu)造虛擬樣本，可以強(qiáng)化神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)到刑期預(yù)測(cè)的“骨架”——在其他條件相同的情況下，盜竊金額越大，判決刑期應(yīng)該越高。

3 實(shí)驗(yàn)驗(yàn)證

3.1 預(yù)測(cè)模型

盜竊金額是刑期判罰的關(guān)鍵因素，因此在建立神經(jīng)網(wǎng)絡(luò)模型時(shí)，以盜竊金額為主要的判斷依據(jù)，結(jié)合年齡、是否主犯、初犯還是累犯等因素進(jìn)行綜合分析，最后輸出預(yù)測(cè)刑期。建立的預(yù)測(cè)模型如圖2所示。

圖2 神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)模型的描述

3.2 網(wǎng)絡(luò)結(jié)構(gòu)

該量刑預(yù)測(cè)系統(tǒng)采用四層BP神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)，分別為一層輸入層、兩層隱層和一層線性輸出層，輸入層神經(jīng)元結(jié)構(gòu)如表2所示，分為X1至X16共16個(gè)神經(jīng)元，分別代表各種量刑情節(jié)以及案件性質(zhì)。其中X9為案件盜竊金額，為判決中真實(shí)實(shí)數(shù)，其余變量均為布爾變量。設(shè)(X，Y)為樣本空間，X為樣本輸入，Y為樣本輸出(期望輸出)。

表2 量刑情節(jié)各種情況與輸入層神經(jīng)元變量對(duì)應(yīng)關(guān)系

隱層共兩層，每一層采用8個(gè)神經(jīng)元，激勵(lì)函數(shù)采用式(4)的Relu函數(shù)。

Relu(x)=max(0,x)

(4)

輸出層采用式(5)線性函數(shù)，輸出單變量，即預(yù)測(cè)刑期。

f(x)=x

(5)

損失函數(shù)采用式(6)均方誤差(MSE)。

(6)

評(píng)價(jià)指標(biāo)采用式(7)平均絕對(duì)誤差(MAE)和式(8)相對(duì)準(zhǔn)確度。

(7)

(8)

式(8)中，Ymax與Ymin代表實(shí)際判決期限所在區(qū)間。據(jù)中華人民共和國(guó)刑法規(guī)定，將盜竊刑期粗略劃分為0至3年，3至10年，10至無期徒刑三個(gè)區(qū)間，其中無期徒刑在本公式中用21年代替。若實(shí)際判決期限為4年，在3至10年區(qū)間內(nèi)，則相對(duì)準(zhǔn)確度應(yīng)該如式(9)所示。

(9)

3.3 交叉檢驗(yàn)

將北大法寶網(wǎng)站上選取202例盜竊罪名的案件作為學(xué)習(xí)樣本，取出其中40例作為測(cè)試樣本，以上述方法生成占訓(xùn)練樣本數(shù)0%、10%、20%、30%…90%的虛擬樣本加入訓(xùn)練集中輔助訓(xùn)練。測(cè)試試驗(yàn)獲得數(shù)據(jù)如表3所示。

表3 不同虛擬樣本占比組具體數(shù)據(jù)

將表3中的平均絕對(duì)誤差(MAE)作為縱軸，用訓(xùn)練迭代次數(shù)(epoch)作為橫軸，建立平均絕對(duì)誤差變化曲線，如圖3所示。

圖3 平均絕對(duì)誤差變化曲線

以相對(duì)準(zhǔn)確率(Accuracy)和訓(xùn)練迭代次數(shù)(epoch)的關(guān)系建立相對(duì)準(zhǔn)確率變化曲線，如圖4所示，其中每一條不同線型的線平均絕對(duì)誤差/相對(duì)準(zhǔn)確率0.X代表虛擬樣本占總樣本數(shù)的X%。

圖4 相對(duì)準(zhǔn)確率變化曲線

由圖3和圖4可見，虛擬樣本占訓(xùn)練樣本集10%、40%、80%、90%時(shí)的擬合效果比不加虛擬樣本要好，說明虛擬樣本輔助訓(xùn)練的方法在小樣本上是行之有效的。通過對(duì)比發(fā)現(xiàn)，虛擬樣本比例在80%時(shí)效果最好，刑期平均絕對(duì)誤差降低了4個(gè)月左右，相對(duì)準(zhǔn)確率提高了8%左右?？紤]到實(shí)驗(yàn)于小樣本上進(jìn)行，且樣本中包含了大量噪聲，雖然數(shù)據(jù)擬合的平均損失誤差相對(duì)較高，相對(duì)準(zhǔn)確率相對(duì)較低，但從整體對(duì)比來看，實(shí)驗(yàn)證明虛擬樣本的加入的確有助于網(wǎng)絡(luò)學(xué)習(xí)到本質(zhì)規(guī)律，改善了神經(jīng)網(wǎng)絡(luò)在小樣本上的表現(xiàn)，弱化了主觀判斷和大量噪聲在訓(xùn)練集中的作用，增強(qiáng)了擬合效果。

4 結(jié)束語(yǔ)

該文提出了基于先驗(yàn)知識(shí)的虛擬樣本輔助訓(xùn)練神經(jīng)網(wǎng)絡(luò)方法，改善了神經(jīng)網(wǎng)絡(luò)在小樣本上的表現(xiàn)，一定程度上克服了傳統(tǒng)司法系統(tǒng)中存在的量刑偏差問題。將案件的量刑情節(jié)人工提取出來，加上虛擬樣本的糾正作用，使得神經(jīng)網(wǎng)絡(luò)既學(xué)習(xí)到了其余因素的影響，同時(shí)也不會(huì)丟掉最關(guān)鍵的規(guī)律。實(shí)驗(yàn)結(jié)果表明，該方法在小樣本上刑期預(yù)測(cè)平均損失誤差可降低4個(gè)月，平均準(zhǔn)確率可提升8%，相對(duì)有效地改善了神經(jīng)網(wǎng)絡(luò)在量刑預(yù)測(cè)問題上的擬合能力，為此類問題提供了一個(gè)新的研究思路與方向。