国产日韩欧美一区二区三区三州_亚洲少妇熟女av_久久久久亚洲av国产精品_波多野结衣网站一区二区_亚洲欧美色片在线91_国产亚洲精品精品国产优播av_日本一区二区三区波多野结衣 _久久国产av不卡

?

人工智能司法的三重矛盾

2022-04-28 13:48聶友倫
浙江工商大學(xué)學(xué)報 2022年2期
關(guān)鍵詞:裁判樣本司法

聶友倫

(華東師范大學(xué) 法學(xué)院,上海 200241)

引 言

夢想照進(jìn)現(xiàn)實(shí)。20世紀(jì)80年代被認(rèn)為“泡沫已破”的人工智能,在大數(shù)據(jù)技術(shù)與機(jī)器學(xué)習(xí)算法的加持下,重回歷史舞臺。時至今日,形形色色的人工智能逐漸融入社會生活的方方面面,連以彰顯客觀理性為著稱的司法場域也概莫能外。典型的智能化司法系統(tǒng),包括用以評估犯罪者社會危險性的LS/CMI與COMPAS、針對輕微犯罪提出量刑與處理建議的HART、致力于民商事在線爭端解決的MODRIA等。在政策推動的背景下,(1)2016年發(fā)布的《國家信息化發(fā)展戰(zhàn)略綱要》《“十三五”國家信息化規(guī)劃》將智慧司法列入國家戰(zhàn)略,最高人民法院與最高人民檢察院分別推出本系統(tǒng)的“信息化3.0”建設(shè)框架,提出建設(shè)“智慧法院”“智慧檢務(wù)”的工作目標(biāo)。2019年習(xí)近平總書記在中央政法工作會議上再次強(qiáng)調(diào),“推動大數(shù)據(jù)、人工智能能科技創(chuàng)新成果同司法工作深度融合”。目前,智慧司法建設(shè)已經(jīng)推進(jìn)至“信息化4.0”階段。我國部分省市的司法機(jī)關(guān)也研發(fā)出了功能各異的司法人工智能,如上海的“刑事案件智能輔助辦案系統(tǒng)”、北京的“睿法官”智能研判系統(tǒng)、河北的“智審”審判輔助系統(tǒng)、浙江的“鳳凰金融智審”智慧庭審平臺等。

圖1 司法人工智能的技術(shù)邏輯

不同于過去基于神經(jīng)網(wǎng)絡(luò)建模等模擬法律推理輸出結(jié)論的智能化系統(tǒng),當(dāng)下的司法人工智能主要依托大數(shù)據(jù)展開。隨著信息技術(shù)的發(fā)展,數(shù)據(jù)變得容易獲取與便于儲存,通過機(jī)器學(xué)習(xí)算法對既有海量數(shù)據(jù)加以運(yùn)算,可以發(fā)現(xiàn)不同因素之間存在的相關(guān)關(guān)系,進(jìn)而,基于已知條件自動預(yù)測未知結(jié)論的夢想便重新具有了實(shí)現(xiàn)的曙光。大數(shù)據(jù)人工智能在商業(yè)領(lǐng)域的成功應(yīng)用,激發(fā)了政治實(shí)體以相應(yīng)技術(shù)推進(jìn)與完善社會治理的愿景[1]。就司法領(lǐng)域而言,大數(shù)據(jù)人工智能將由如下方式制造:將自然語言處理后的司法數(shù)據(jù)輸入機(jī)器學(xué)習(xí)算法,然后通過監(jiān)督學(xué)習(xí)、半監(jiān)督學(xué)習(xí)等模式分析相關(guān)性,得出一種或多種預(yù)測司法決策的模型[2]。在獲得相應(yīng)模型后,司法人員只需輸入待決案件的各類數(shù)據(jù),系統(tǒng)即可輸出預(yù)測性的決策結(jié)論供其參考。此后,若有實(shí)際的司法決定作出,則將該決定反饋至模型,供算法實(shí)現(xiàn)進(jìn)一步優(yōu)化(見圖1)[3]32。

人工智能司法的理論預(yù)設(shè)可扼要?dú)w結(jié)為:基于充分?jǐn)?shù)據(jù),通過科學(xué)算法,確保結(jié)果公正。其中,數(shù)據(jù)的充分性是前提,算法的科學(xué)性是保證,結(jié)果的公正性是重要的正當(dāng)性來源。雖然韋伯式“法律自動售貨機(jī)”在技術(shù)上已并非不可能[4],但“售貨機(jī)”出售的“商品”質(zhì)量如何、能否滿足“顧客”的需求,仍是懸而未決的問題。由于技術(shù)的障礙與應(yīng)用的克制,目前投入實(shí)用的司法人工智能僅被定位為提供參考結(jié)論(如社會危險性預(yù)測、量刑預(yù)測)的輔助工具,但輔助性宣稱不足以強(qiáng)化技術(shù)應(yīng)用的可接受性——若理論預(yù)設(shè)存在罅漏,則輔助價值也要打一個問號。在司法人工智能技術(shù)的邏輯鏈條中,任何一環(huán)出現(xiàn)斷裂都可能導(dǎo)致整個系統(tǒng)的宕機(jī)甚至崩潰。矛盾潛藏于夢想與現(xiàn)實(shí)之間,理論預(yù)設(shè)的成立不代表實(shí)際情況如同預(yù)計。在筆者看來,無論是數(shù)據(jù)、算法還是結(jié)果,在實(shí)踐中都體現(xiàn)出了人工智能司法本身的悖反性特質(zhì)——數(shù)據(jù)是偽充分的,算法是不科學(xué)的,結(jié)果難言完全公正。凡此三重矛盾,皆會形成人工智能司法自我拆解的離心力。通過現(xiàn)象闡釋,揭示人工智能司法存在的本體性問題,一并探討其在未來的發(fā)展方向,即是本文寫作的目的。

一、 數(shù)據(jù)的充分性與偽充分性

較之以往依靠顯式編碼、封閉規(guī)則的“模擬推理型”司法人工智能,目前主流在研及實(shí)際應(yīng)用的司法人工智能已經(jīng)轉(zhuǎn)向基于大數(shù)據(jù)訓(xùn)練分析的“數(shù)據(jù)驅(qū)動型”。在數(shù)據(jù)驅(qū)動型的技術(shù)路線中,數(shù)據(jù)是作為出發(fā)點(diǎn)存在的,司法人工智能需要從過往大量數(shù)據(jù)中發(fā)現(xiàn)相關(guān)性,以此構(gòu)建模型并適用于未來。以量刑預(yù)測為例,刑事審判涉及的任何事實(shí)性因素都可能對量刑結(jié)果產(chǎn)生影響,但究竟哪些因素是真實(shí)變量、不同因素的權(quán)重如何,卻隱藏于數(shù)據(jù)之中。欲構(gòu)建智能化量刑系統(tǒng),就必須先抽取有效刑事判決所載因素并予以量化,再按照不同案由進(jìn)行分類,形成個罪量刑預(yù)測的訓(xùn)練集、驗(yàn)證集與測試集,繼而輸入算法進(jìn)行機(jī)器學(xué)習(xí),最終經(jīng)過不斷參與評估得到包含各影響因素及其權(quán)重的量刑預(yù)測模型。

算法模型的準(zhǔn)確度很大程度上取決于供其學(xué)習(xí)的數(shù)據(jù)規(guī)模,數(shù)據(jù)越充分,模型表現(xiàn)越佳[5]51。申言之,只有讓機(jī)器在足夠充分的數(shù)據(jù)中學(xué)習(xí),人工智能司法的算法模型才可能獲得相當(dāng)?shù)男Ф扰c信度。雖然無法給作為程度指標(biāo)的數(shù)據(jù)充分性劃定明確標(biāo)準(zhǔn),但仍存在三個可供判斷的維度。第一,案件樣本要足夠大,以全樣本為最優(yōu)。為得到準(zhǔn)確的算法模型,應(yīng)盡量對所有信息加以考慮,否則可能出現(xiàn)完整性問題——?dú)埲蹦P蛯υ紭颖九c集體經(jīng)驗(yàn)的隱性肢解往往導(dǎo)致建模失去意義[6]。第二,因素標(biāo)記要足夠全,盡量降低主觀影響。由于無法一開始劃定與司法決定存在相關(guān)性的因素,單憑經(jīng)驗(yàn)對因素進(jìn)行人為標(biāo)記可能排除某些真實(shí)變量,致使模型的可靠性減損。此外,一些潛在的影響因素如上級干預(yù)、媒體介入等未在樣本中得到反映,也會導(dǎo)致標(biāo)記的不充分。第三,數(shù)據(jù)質(zhì)量要足夠高。只有優(yōu)質(zhì)的數(shù)據(jù)才能訓(xùn)練出準(zhǔn)確的模型。但是,從大樣本中提取的司法數(shù)據(jù),其質(zhì)量很難完全得到控制:一方面,數(shù)據(jù)多以司法文書為中介加以反映,多一個環(huán)節(jié)便多一層風(fēng)險;另一方面,某些政策及隨之而來的“運(yùn)動式治理”往往使特定司法決定偏離正常范圍,難免批量制造出無法作為經(jīng)驗(yàn)基礎(chǔ)的數(shù)據(jù)。

當(dāng)前人工智能的技術(shù)突破得益于大規(guī)模數(shù)據(jù)收集與貯存技術(shù)的成熟。一方面,使用分布式爬蟲等數(shù)據(jù)采集程序結(jié)合自然語言處理技術(shù),能夠?qū)μ囟ǖ臄?shù)據(jù)化信息進(jìn)行有效抓取,若配合OCR自動識別,數(shù)據(jù)抓取的范圍還可以拓展至尚未數(shù)據(jù)化的圖文信息;另一方面,存儲設(shè)備的單位價格呈現(xiàn)指數(shù)級下降,加上云存儲技術(shù)的跨越式發(fā)展,永久存儲數(shù)據(jù)的成本逐漸接近于零[7]。依靠前述技術(shù),我國各級司法機(jī)關(guān)已經(jīng)建立起了相應(yīng)的司法數(shù)據(jù)庫,分類匯集了大量司法數(shù)據(jù),如最高人民法院的大數(shù)據(jù)管理和服務(wù)平臺便匯總了全國3500多家法院、1萬多個人民法庭的審判流程、執(zhí)行信息、法律文書、庭審活動、司法人事、外部協(xié)查等各類數(shù)據(jù)[8]。在掌握大量數(shù)據(jù)的條件下,數(shù)據(jù)充分性似乎能夠得到保障,但是,此處的“大量數(shù)據(jù)”仍與“大數(shù)據(jù)”相去甚遠(yuǎn),其貌似充分實(shí)際卻不充分,形構(gòu)了數(shù)據(jù)的偽充分性樣態(tài)。

司法數(shù)據(jù)的偽充分性首先源自樣本的缺失。大數(shù)據(jù),是指不用隨機(jī)分析法這樣的捷徑,而采用所有數(shù)據(jù)的方法[5]39。數(shù)據(jù)驅(qū)動型人工智能的預(yù)測效果之所以大幅提升,原因在于使用盡可能全的數(shù)據(jù)從而排除了樣本選擇隨機(jī)性不足的固有缺陷。一旦數(shù)據(jù)庫的來源樣本存在相當(dāng)程度的缺失,隨機(jī)性問題便會以別的方式出現(xiàn)。較之全樣本而言,帶有缺失的樣本本身就可被視為某種被動選擇的結(jié)果,以此析出數(shù)據(jù)集供算法學(xué)習(xí),得出的模型必將導(dǎo)致與小數(shù)據(jù)模型同質(zhì)的弊端。調(diào)研顯示,實(shí)踐中的一些人工智能司法系統(tǒng)便存在類似問題,如樣本集中于若干特定年份以及特定省份等[9]。不難看出,司法數(shù)據(jù)庫的建設(shè)可能并未達(dá)到充分性的要求。甚至,若缺失樣本與數(shù)據(jù)庫中某類樣本具有高度似然性,且兩者在性質(zhì)判斷上存在差異,機(jī)器學(xué)習(xí)的輸出結(jié)果則很可能背離現(xiàn)實(shí)。較為典型的是微罪案件的樣本。預(yù)測刑事判決的算法模型主要基于生效判決載明的數(shù)據(jù)學(xué)習(xí)而來,但并非所有刑事案件皆以判決結(jié)案——經(jīng)公安機(jī)關(guān)立案的刑事案件,約有75%在審前已得處理(撤銷案件或不起訴),(2)根據(jù)官方統(tǒng)計,全國法院一審審結(jié)的刑事案件數(shù)量與公安機(jī)關(guān)立案的刑事案件數(shù)量,在2019年、2018年、2017年、2016年分別為1297191/4862443、1198383/5069242、1296650/5482570、1115873/6427533。參見《中國統(tǒng)計年鑒》(2017—2020),載國家統(tǒng)計局網(wǎng)站,http://www.stats.gov.cn/tjsj/ndsj/,最后訪問日期:2021年9月5日。其中絕大部分為微罪案件。對于此類案件,除具體案情外,是否起訴對案件的實(shí)體結(jié)果存在很大影響:若檢察院決定不起訴,案件便將成為實(shí)際的無罪樣本,無法進(jìn)入樣本庫供機(jī)器學(xué)習(xí);若檢察院決定起訴,出于安撫被害人、尊讓同儕等因素的考量,案件大概率將得到有罪判決[10],繼而成為供機(jī)器學(xué)習(xí)的樣本。申言之,由于司法運(yùn)作的現(xiàn)實(shí)使然,微罪案件在樣本庫樣本中通常顯示為有罪,而未進(jìn)入樣本庫的大量類似案件則事實(shí)上被無罪處理。如此,一旦將微罪案件交由以有罪判決樣本為基礎(chǔ)的算法預(yù)測,便很難得出無罪的結(jié)論[11]。

其次,對潛在影響因素標(biāo)記不足也會導(dǎo)致數(shù)據(jù)的偽充分。司法數(shù)據(jù)往往內(nèi)嵌于復(fù)雜且專業(yè)的法律文書之中,必須經(jīng)由挖掘、清洗與匯總方能獲取。以刑事判決書為例,其需要數(shù)據(jù)化的因素十分繁雜,如被告人情況(年齡、前科、身份、主犯或從犯等)、罪數(shù)(一罪或數(shù)罪)、案由(涉及罪名)、犯罪所得(因犯罪獲得的非法所得數(shù)額)、造成損失(因犯罪造成的物質(zhì)損失數(shù)額)、法定情節(jié)(自首、坦白、立功、認(rèn)罪認(rèn)罰、分則特殊情節(jié)等)、酌定情節(jié)(犯罪動機(jī)、犯罪手段、犯罪地點(diǎn)、侵害對象、犯罪后態(tài)度等)以及判決情況(有罪或無罪、刑罰、刑罰執(zhí)行方式等)。為獲取充分?jǐn)?shù)據(jù),技術(shù)人員應(yīng)先對判決書中各類因素(包括但不限于前述因素)予以標(biāo)記并賦值,再進(jìn)行挖掘與清洗。因素標(biāo)記是數(shù)據(jù)化的起點(diǎn),若對某些應(yīng)當(dāng)標(biāo)記的因素沒有標(biāo)記,這些未被標(biāo)記的因素便會游離于所得數(shù)據(jù)之外,繼而造成數(shù)據(jù)充分性問題,導(dǎo)致預(yù)測模型失準(zhǔn)。因素標(biāo)記雖可借由人工篩查做到盡量精細(xì),但仍無法實(shí)現(xiàn)完全覆蓋。一方面,特異性因素難以準(zhǔn)確標(biāo)記。比如,犯罪的酌定情節(jié)通常因案而異,犯罪動機(jī)、犯罪地點(diǎn)等很難得到精細(xì)的類型化。筆者在調(diào)研中發(fā)現(xiàn),已有的一些量刑輔助系統(tǒng)便僅納入了個別酌定量刑情節(jié),而未考慮更為復(fù)雜的因素。另一方面,判決書缺失因素?zé)o法標(biāo)記。比如,在有被害人的刑事案件中,被告人退賠的充分程度對其量刑存在重要影響。考慮到當(dāng)事人的利益保護(hù),判決書中通常不會寫明具體的退賠數(shù)額,因而,對此連續(xù)變量便缺乏標(biāo)記的可能性,只能以離散變量模糊處理。

最后,大規(guī)模低質(zhì)數(shù)據(jù)的存在更將強(qiáng)化數(shù)據(jù)的偽充分性。數(shù)據(jù)充分性預(yù)設(shè)并非僅是對數(shù)據(jù)“量”的要求,數(shù)據(jù)“質(zhì)”的優(yōu)劣同樣重要,其要求數(shù)據(jù)很好地表征了所要預(yù)測的對象[12]。算法模型的可靠性只有在獲取優(yōu)質(zhì)數(shù)據(jù)的前提下才可能達(dá)致,否則難免使“錯誤的前提導(dǎo)致錯誤的結(jié)論”(garbage in,garbage out)[5]211。根據(jù)造成數(shù)據(jù)質(zhì)量低的原因不同,相關(guān)問題大致分為因樣本處理導(dǎo)致的外源性問題和樣本本身存在的內(nèi)源性問題。前者的致因主要為數(shù)據(jù)清洗度不足。依靠信息抽取技術(shù)能夠有效將樣本中針對性的非結(jié)構(gòu)化信息轉(zhuǎn)化為結(jié)構(gòu)化數(shù)據(jù),但這些數(shù)據(jù)很可能并不準(zhǔn)確[13],如文書中“本院認(rèn)為”部分出現(xiàn)過“自首”不表示被告人自首情節(jié)被最終成立,人工清洗是必不可少的環(huán)節(jié)。但據(jù)筆者調(diào)研所知,一些已經(jīng)投入使用的司法人工智能,由于在數(shù)據(jù)清洗環(huán)節(jié)缺少司法人員參與,數(shù)據(jù)準(zhǔn)確性存在一定問題。后者通常是由某時某地司法決定的政策性偏向?qū)е?。比如,?dāng)治安環(huán)境出現(xiàn)惡化時,中央或地方政府將出臺有針對性的“嚴(yán)打”措施,在實(shí)施“嚴(yán)打”的區(qū)域與期間,相應(yīng)案件被告人的刑罰明顯更重[14]。相對于其他地區(qū)或期間的治安類案件,此類樣本析出的司法數(shù)據(jù)難免存在特定偏好,很難將其視為法律適用的客觀反映。

二、 算法的科學(xué)性與不科學(xué)性

算法是司法人工智能的功能核心,其將問題情境轉(zhuǎn)化為限定條件,將問題要點(diǎn)抽象為計算變量,將整個問題切換為數(shù)學(xué)模型,通過公式運(yùn)算求解答案,體現(xiàn)為機(jī)械化的運(yùn)算過程[15]。從技術(shù)邏輯上看,算法模型的運(yùn)作本質(zhì)上乃一種相關(guān)性預(yù)測,其基于生成性(貝葉斯決策)或辨別性方法,試圖分析先例來估計當(dāng)前或未來的一系列變量的取值范圍[3]156。以針對刑事被告人或服刑人員的風(fēng)險評估算法為例,其先通過學(xué)習(xí)體現(xiàn)被羈押人或再犯罪人社會危險性因素(如犯罪情況、人際關(guān)系、個性、家庭、社會排斥程度)的先例數(shù)據(jù)[16],確定風(fēng)險計算模型,再將被評估者的歷史數(shù)據(jù)輸入系統(tǒng),由算法輸出相關(guān)性結(jié)果(通常是一個數(shù)值),顯示被評估者逃避訴訟或再犯新罪的可能性。

算法的關(guān)鍵詞是相關(guān)性,其賦予了算法科學(xué)化的意涵。人對世界的認(rèn)識基于經(jīng)驗(yàn)展開,若根據(jù)過去經(jīng)驗(yàn),達(dá)成一定條件可能產(chǎn)生某種結(jié)果,則未來?xiàng)l件滿足時,便能作出相應(yīng)結(jié)果預(yù)測?!皬男⊥滇?,長大偷金”,古人意識到,曾經(jīng)故意違法的人未來犯罪的可能性更高。通過樸素的經(jīng)驗(yàn)認(rèn)識,可以得出行為與傾向的關(guān)聯(lián),但類似意識缺乏理論支撐,尚未進(jìn)入科學(xué)范疇。隨著統(tǒng)計學(xué)的發(fā)展以及經(jīng)驗(yàn)數(shù)據(jù)的積累,對未來預(yù)測的精確性與準(zhǔn)確度逐漸提高,使事物之間的相關(guān)性及其程度得到了科學(xué)化的說明。對于違法行為與犯罪傾向的關(guān)系,可以通過大量案件的數(shù)據(jù)分析得出相關(guān)性是否顯著的結(jié)論,以之作為未來風(fēng)險判斷的參考——結(jié)論在宏觀上能夠基于不同樣本或統(tǒng)計方法復(fù)現(xiàn),使其具有了某種程度的科學(xué)性?;诖髷?shù)據(jù)的算法模型是統(tǒng)計學(xué)的高階應(yīng)用。智能化算法通過對充分?jǐn)?shù)據(jù)進(jìn)行運(yùn)算,能夠識別出各種影響結(jié)果的因素,再加上數(shù)以億次的學(xué)習(xí)、反饋、調(diào)參循環(huán),最終形成高維度的算法模型,其可靠性進(jìn)一步實(shí)現(xiàn)了跨越式提升[17]。質(zhì)言之,在發(fā)現(xiàn)相關(guān)性及其應(yīng)用層面,算法無疑是科學(xué)的。

算法的科學(xué)性是對統(tǒng)計學(xué)意義而言的,即透過大數(shù)據(jù)學(xué)習(xí)構(gòu)建出的算法模型,確實(shí)包羅了各項(xiàng)影響結(jié)果的相關(guān)變量,各變量的參數(shù)設(shè)置也大致符合樣本規(guī)律,對未來的預(yù)測亦可達(dá)到相當(dāng)程度的準(zhǔn)確性。不過,算法的統(tǒng)計科學(xué)性是否表示其在司法中的應(yīng)用也是科學(xué)的?從過去的裁判經(jīng)驗(yàn)推演未來的司法決定,看似相當(dāng)誘人且符合理性,但潛藏的問題卻不容忽視。在微觀的法律或司法科學(xué)意義上,算法很有可能并不科學(xué)。

首先,算法中變量的隨機(jī)性可能引發(fā)虛假相關(guān)。經(jīng)由數(shù)據(jù)“喂養(yǎng)”,算法可以發(fā)現(xiàn)變量之間的相關(guān)性,但其真?zhèn)斡袝r很難判定,在遺漏標(biāo)記關(guān)鍵因素或忽略樣本整體變化的情況下尤其如此。所謂偽相關(guān),系指兩個本無相關(guān)性的變量因一個中介變量存在而在統(tǒng)計上顯示出的相關(guān)關(guān)系[18]。有研究發(fā)現(xiàn),海濱地區(qū)的冰激凌銷量與溺水事件的發(fā)生存在相關(guān)性,這看似能佐證食用冰激凌會誘發(fā)抽筋之假設(shè),但實(shí)際情況卻只是因?yàn)樘鞖庋谉崾瓜M(fèi)冰激凌與選擇游泳的人數(shù)同時增加了。司法數(shù)據(jù)中的偽相關(guān)同樣存在。研究表明,犯罪率與地區(qū)改革開放的程度存在相關(guān)性,改革開放較早的沿海地區(qū)犯罪率總是較內(nèi)地更高,但這并不意味著改革開放是犯罪的真正原因[19]。偽相關(guān)主要源自變量選取的隨機(jī)性。某些看似相互獨(dú)立的變量,有可能同時受某一因素影響,而在抽取與設(shè)置變量時,操作者往往無法注意影響的存在。由于輸入數(shù)據(jù)之間關(guān)系不明,司法人工智能形成的算法模型也會納入部分偽相關(guān),從而造成相關(guān)性濫用的風(fēng)險,而且,數(shù)據(jù)越多,出現(xiàn)重復(fù)偽相關(guān)的概率越大,出錯的可能性也就越高[20]。縱使部分偽相關(guān)能經(jīng)變量替換等技術(shù)方法加以識別,但因復(fù)雜系統(tǒng)固有的涌現(xiàn)性,偽相關(guān)又無法被完全排除。一旦偽相關(guān)被納入模型,必然會在特定情況下產(chǎn)生錯誤的結(jié)果,將其適用于不問過程及容錯率高的商業(yè)領(lǐng)域可能不生問題,但與尋求因果邏輯以實(shí)現(xiàn)決定可接受性的司法卻無疑相矛盾。

其次,算法可能生成或加深法律適用中的偏見。就理論預(yù)設(shè)而言,因數(shù)據(jù)及其內(nèi)在規(guī)律都是客觀的,故反映相關(guān)性的算法也應(yīng)具備無偏性特征。然而,從結(jié)果來看,算法得出的結(jié)論往往充滿偏見?!八惴ㄆ缫暋爆F(xiàn)象已經(jīng)成為反對司法人工智能的重要理由[21]。在社會危險性評估領(lǐng)域,專業(yè)媒體ProPublica刊文指出,COMPAS系統(tǒng)的預(yù)測結(jié)果明顯體現(xiàn)出對非裔人群的偏見,其被錯誤標(biāo)記為高再犯可能性的概率幾乎是白人的兩倍[22]。社會危險性與膚色無關(guān),但算法似乎將族裔作為了隱性的評估指標(biāo),其致因大致有二:一是供算法學(xué)習(xí)的歷史數(shù)據(jù)存在偏見,而反復(fù)的訓(xùn)練與驗(yàn)證將以反饋循環(huán)的方式使過去的歧視編入模型;二是算法設(shè)計存在問題,其在度量過程中使用的變量或分類本身會帶來歧視[23]。對于前者,非裔人群的貧困率較高,而相對貧困程度與犯罪率之間存在相關(guān)性[24];同時,警察等執(zhí)法人員普遍帶有偏見,傾向于對非裔實(shí)施攔停、盤問、拍身與搜查,使得非裔犯罪被發(fā)現(xiàn)的概率高于其他族裔。種種因素推高了非裔(形式上的)的犯罪率,如此一來,根據(jù)歷史數(shù)據(jù)便會得出非裔再犯率更高的結(jié)果。(3)類似情形在我國未必不會出現(xiàn)。比如,若某地暴力犯罪發(fā)案率高,則自動化算法便可能將地域因素與再犯可能性相聯(lián)系,進(jìn)而產(chǎn)生地域歧視的結(jié)果。對于后者,社會危險性評估工具通常將曾被逮捕與指控的次數(shù)作為關(guān)鍵變量,但因偏見使然,非裔的被逮捕率更高(這又為非裔的高逮捕率提供了理由)[25],故相應(yīng)算法設(shè)計明顯不利于少數(shù)族裔。(4)照理說,為了降低歧視的可能性,此處的變量似乎應(yīng)當(dāng)使用定罪次數(shù),但據(jù)算法設(shè)計者介紹,從預(yù)測準(zhǔn)確性來看,使用逮捕次數(shù)效果更好。參見Trey Popp. Black Box Justica, at https://the penngazette.com/black-box-justice(Last visited on Oct.2,2021)。司法者的客觀中立是公正司法的先決條件,看似科學(xué)的大數(shù)據(jù)相關(guān)分析更準(zhǔn)確、更快且不易受偏見影響[5]75,但事實(shí)上,算法模型本身又是一個囊括過去大量偏見的集合,使用其進(jìn)行裁判某種程度等同于接受既往偏見的影響,這對司法而言很難說是科學(xué)的。

最后,不同算法的個案預(yù)測結(jié)果存在不特定性。給定數(shù)據(jù)之間的相關(guān)性及其權(quán)重乃客觀存在,從感覺上看,作為一種科學(xué)認(rèn)知與精細(xì)計算的結(jié)果,展現(xiàn)數(shù)據(jù)規(guī)律的算法模型應(yīng)當(dāng)具有特定性。換言之,就使用相同數(shù)據(jù)集形成的算法模型而言,在輸入相同條件后,應(yīng)當(dāng)輸出相同結(jié)果。不過,事實(shí)并非如此。算法的理論依據(jù)、編程邏輯、學(xué)習(xí)方式存在的差異,會使預(yù)測模型的變量與參數(shù)設(shè)置不盡一致,從而導(dǎo)致不同算法在同等條件下的預(yù)測結(jié)果大相徑庭。在調(diào)研中,筆者曾經(jīng)嘗試將同一交通肇事案的數(shù)據(jù)分別輸入兩個不同地區(qū)使用的量刑輔助系統(tǒng),結(jié)果顯示,兩者的量刑結(jié)果相差四個月。造成差異的原因可能在于具體變量的設(shè)置方面。在統(tǒng)計學(xué)上,忽略回歸模型的關(guān)鍵自變量,很可能導(dǎo)致相應(yīng)的參數(shù)估計值有偏[26]。但是,所有影響量刑的因素(如各類酌定情節(jié))無法窮盡標(biāo)記,而任一影響因素在不同個案中都有可能成為關(guān)鍵因素,這使得算法預(yù)測的準(zhǔn)確性對個案而言并不可控。比如,A算法既會因納入了自變量X且賦值適當(dāng)而對甲案預(yù)測準(zhǔn)確,也會因未考慮自變量Y或賦值失當(dāng)而對乙案預(yù)測失準(zhǔn),B算法則可能正好相反。某種程度上講,對個案適用算法模型如同抽鬼牌,雖然抽中的概率不高,但總有可能得到錯誤的預(yù)測結(jié)果。

三、 結(jié)果的公正性與非公正性

人工智能司法的諸多可見優(yōu)勢,如提高效率、節(jié)約成本等,不足以供給其適用的正當(dāng)性,關(guān)鍵在于結(jié)果是否能夠滿足公正的要求,畢竟公正才是司法的生命線。一種流行的判斷標(biāo)準(zhǔn)如下:當(dāng)司法人工智能作出的裁判比平均水平的法官更可被接受與更具說服力時,則認(rèn)為前者具有替代后者的正當(dāng)性[27]。智能化裁判的接受度論證,核心論點(diǎn)聚焦于司法結(jié)果的統(tǒng)一[28]——既然先前案件的生效裁判已被接受,那么對后來的類似案件作類似裁判,也應(yīng)被推定為具有可接受性。要言之,基于先例數(shù)據(jù)訓(xùn)練形成的算法模型,能夠?yàn)轭愃瓢讣峁┓€(wěn)定且一致的裁判結(jié)果,確保同案同判,進(jìn)而統(tǒng)一法律適用標(biāo)準(zhǔn)、限制法官自由裁量,最終實(shí)現(xiàn)司法公正[2]。

在一定程度上,結(jié)果統(tǒng)一性、可接受性與公正性可以等而視之。假設(shè)先例A的生效判決決定對某一盜竊者判處4年有期徒刑,而后案B中的被告人實(shí)施了事實(shí)與情節(jié)完全相同的盜竊行為,法官是否可以在法律容許的裁量范圍內(nèi)判處3年或5年有期徒刑?這在法律上似乎并不重要,因?yàn)闊o論是判3年還是5年都不構(gòu)成違法裁判,但結(jié)果與先例的不一致仍會造成裁判的可接受性問題,乃至被認(rèn)為是不公正的。對后案作出與先案相同的判決是最穩(wěn)妥的方案,此處簡要提出兩點(diǎn)支持理由:一是正義的可視性,它要求保證當(dāng)事人可以意識到平等對待的存在。對當(dāng)事人而言,這種意識越強(qiáng)烈,就越不會對裁判的正確性產(chǎn)生懷疑,裁判的可接受度就越高;對法院而言,通過同案同判能夠反過來向外界宣示平等對待的價值,以提高公眾對判決的可接受度。二是信賴?yán)娴谋Wo(hù)。先例判決會使類案當(dāng)事人產(chǎn)生合理且正當(dāng)?shù)男刨?,即便這種信賴缺乏保護(hù)依據(jù),法院出于維護(hù)司法權(quán)威、穩(wěn)定法律秩序等考量也允許予以保護(hù)[29]。質(zhì)言之,保證結(jié)果的統(tǒng)一性有助于各方接受裁判,其構(gòu)成了公正性的有效來源。

圖2 傳統(tǒng)意義上的同案同判

圖3 人工智能司法的統(tǒng)一裁判機(jī)制

較之單純的類案推理,人工智能司法解決了過往同案同判語境下先例不足與先例過剩的問題,算法模型使裁判統(tǒng)一度得到強(qiáng)化,這對結(jié)果公正性的提高看似有益。傳統(tǒng)意義的同案同判體現(xiàn)為點(diǎn)對點(diǎn)的二維樣態(tài):對于待決案件,首先需要發(fā)現(xiàn)類似先例,再將先例中的特定裁判理由析出,繼而將待決案件中的事實(shí)涵攝其中,最后得出結(jié)果(見圖2)。不過,若不存在類似先例或者類似先例過多且裁判理由各異時,以上方法便很難直接適用。人工智能司法的統(tǒng)一裁判機(jī)制不是通過查詢類似先例,而是基于大量先例數(shù)據(jù)構(gòu)建算法模型實(shí)現(xiàn)的[30],其預(yù)先將先例數(shù)據(jù)化,形成數(shù)據(jù)集對算法進(jìn)行訓(xùn)練并得到模型,當(dāng)出現(xiàn)待決案件時,直接將案件信息輸入模型,隨后得到結(jié)果,這體現(xiàn)為點(diǎn)對面的多維樣態(tài)(見圖3)。從結(jié)果來看,先例及其裁判理由已經(jīng)內(nèi)化為算法模型,以之處理案件,一則能夠使未決裁判與已決裁判相連接,二則能夠保障未來類似裁判的高度統(tǒng)一,事實(shí)上構(gòu)成了同案同判的高階形態(tài)。

然而,若脫離同案同判尤其是“決定論形式主義”[31]的語境,人工智能司法實(shí)現(xiàn)的結(jié)果公正性就顯得極為可疑了。比如,對上文盜竊案中的被告人,基于同案同判的要求判處4年有期徒刑,似乎便得以達(dá)到裁判的公正性,但若兩案情節(jié)稍有不同或?qū)⑵渌蛩?如兩案的時間間隔、犯罪地點(diǎn)等)納入考量,該結(jié)果仍可能有失公正。人工智能司法同樣面臨類似問題,如無法識別與處理個案包含的特異性因素、部分樣本先例已經(jīng)失去可接受性、忽略各地實(shí)際情況的差異等,這容或?qū)?dǎo)致結(jié)果的非公正性。

首先,人工智能司法隱匿了法律適用的過程,使個案正義難以妥當(dāng)?shù)貙?shí)現(xiàn)。傳統(tǒng)意義的同案同判并未舍棄涵攝,先例的結(jié)果不能直接決定后案的走向,若經(jīng)與先例對照,法官發(fā)現(xiàn)后案的特殊性形成了支持差異化裁判的實(shí)質(zhì)理由,則仍需進(jìn)行價值衡量并作出決定。而在人工智能司法的場合,輸出的結(jié)果將完全取決于輸入的數(shù)據(jù),司法評價的意義被取消了,價值判斷失去了立錐之地。申言之,因價值判斷不可被通約為事實(shí)判斷,實(shí)現(xiàn)個案正義所需的衡量難以借由數(shù)據(jù)進(jìn)行精確表達(dá)與運(yùn)算,故單靠算法模型無法確保個案正義。那么,能否通過引入人的因素解決人工智能司法的價值判斷難題?事實(shí)上,即便授權(quán)法官對輸出結(jié)果進(jìn)行調(diào)整,也很難保證最終裁判的妥當(dāng)性。個案正義要求的價值衡量,雖然一定程度上已經(jīng)包含于自變量與因變量的相關(guān)關(guān)系中[32],但模型不包含的變量,其對裁判的影響便會被忽略[33]。由于算法黑箱的存在,待決案件涉及的特殊因素是否已預(yù)先為算法考慮在內(nèi)是未知的。在此基礎(chǔ)上,是否應(yīng)基于個案特異性調(diào)整輸出結(jié)果也是未知的。甚至,因無作為對照的個案先例,待決案件的特異性能否被法官發(fā)現(xiàn),同樣是一個未知數(shù)。在法律適用被遮蔽、相關(guān)關(guān)系替代因果關(guān)系發(fā)揮作用的情況下,法官根本無從得知的輸出結(jié)果從何而來,遑論個案正義的實(shí)現(xiàn)。

其次,人工智能司法采用的數(shù)據(jù)質(zhì)量不明,使結(jié)果暗藏結(jié)構(gòu)性偏誤的風(fēng)險。結(jié)果的準(zhǔn)確性對數(shù)據(jù)的充分性提出了極高的要求[34]。一旦數(shù)據(jù)不完備或質(zhì)量低,經(jīng)由數(shù)據(jù)訓(xùn)練形成的算法模型就必生問題,隨即可能導(dǎo)致結(jié)果失準(zhǔn)。前文已述,人工智能司法使用的數(shù)據(jù)并不完備,但即便數(shù)據(jù)具有數(shù)量上的完備性,其質(zhì)量仍會對結(jié)果造成影響。數(shù)據(jù)質(zhì)量很大程度上取決于先例的正確性,而恰是先例的正確性難以保證。此處主要包括三種情形。第一,先例自始就是錯誤的。生效判決的法律效力不能為其正確性提供擔(dān)保。錯誤的先例數(shù)據(jù)會影響算法模型的準(zhǔn)確性,而錯誤的集中出現(xiàn)將引致更為嚴(yán)重的問題。比如,浙江省高級人民法院出臺的《關(guān)于部分罪名定罪量刑情節(jié)及數(shù)額標(biāo)準(zhǔn)的意見》將“非醫(yī)學(xué)需要鑒定胎兒性別3人次以上,并導(dǎo)致引產(chǎn)的”規(guī)定為非法行醫(yī)罪的構(gòu)成要件,該意見在實(shí)施數(shù)年后被認(rèn)定為違法無效,但當(dāng)?shù)胤ㄔ阂源藶橐罁?jù)作出的有罪判決已經(jīng)多達(dá)1000余例[35]。一旦相關(guān)數(shù)據(jù)被納入人工智能系統(tǒng),未來的類似案件將極有可能被自動作出類似錯誤處理。第二,先例當(dāng)時是正確的,但如今已不可接受。先例的正確性將隨時間發(fā)生變化。比如,“運(yùn)動式治理”期間集中作出的判決明顯更重,當(dāng)運(yùn)動結(jié)束常態(tài)恢復(fù)后,這些判決似乎就變得不那么合理了。又如,以往“醉酒挪車”通常被作為醉酒駕駛處理,但近來的司法實(shí)踐已有松動跡象,一些省份不再將其作為犯罪或?qū)⑵渑懦觥榜{駛”范疇。若將先例數(shù)據(jù)一概錄入人工智能系統(tǒng),前者難免整體推高相關(guān)案件的量刑預(yù)測結(jié)果,后者則會延續(xù)性地判定類似行為有罪,其結(jié)果都難言公正。第三,先例至今保有正確性,但卻暗含偏見。類似情形的大量存在導(dǎo)致了算法歧視,基于正確數(shù)據(jù)的模型最終依然將輸出不公正的結(jié)果。比如,假定每次針對少數(shù)族裔的執(zhí)法行動都是正確的,但因執(zhí)法行動的發(fā)起本身就帶有選擇性,以正確樣本訓(xùn)練的算法仍會將歧視編入模型,致使對未來個案預(yù)測失當(dāng)。

最后,人工智能司法難以妥善處理地方差異,無法保證本地的司法治理效果。《憲法》第33條第2款規(guī)定:“中華人民共和國公民在法律面前一律平等?!痹谖覈?,統(tǒng)一法律適用、實(shí)行同案同判具有天然的正當(dāng)性。但實(shí)際情況卻是,司法標(biāo)準(zhǔn)在全國范圍內(nèi)從未得到過完全統(tǒng)一,即便對刑事案件而言亦是如此。各省乃至各市、縣普遍制定了地方性的定罪量刑細(xì)則,同一案件在不同地區(qū)接受審判,最終結(jié)果可能差異顯著。典型的是財產(chǎn)犯罪,其“較大”“巨大”“特別巨大”的數(shù)額標(biāo)準(zhǔn)幾乎是一個省一個樣——在沿海地區(qū)未達(dá)立案標(biāo)準(zhǔn)的案件,到了內(nèi)陸地區(qū)可能會被判處數(shù)年徒刑。不過,考慮到不同地區(qū)經(jīng)濟(jì)水準(zhǔn)、民生條件等差異,地方因地制宜地出臺有利于本地司法治理效果的司法標(biāo)準(zhǔn),其實(shí)也非不當(dāng)之舉。質(zhì)言之,司法實(shí)踐中存在的地方差異有其合理性甚至必要性,為了保證法律得到貫徹落實(shí),中央理應(yīng)尊重不同的地方需求,賦予地方一定的變通空間,這對于強(qiáng)化地方治理、維護(hù)全國大局、預(yù)防制度風(fēng)險等方面有著重要意義[36]。建立統(tǒng)一的司法人工智能系統(tǒng),帶有強(qiáng)行拉平地方差異的意思,很可能使裁判結(jié)果在各地都出現(xiàn)公正性的問題。以詐騙罪為例,數(shù)額巨大(處3年以上10年以下有期徒刑)的起點(diǎn)在北京為10萬元,在廣西則為3萬元,這大體上與兩地人均可支配收入成正比。若使用兩地數(shù)據(jù)構(gòu)建通用的智能量刑系統(tǒng),則對詐騙數(shù)額在3萬至10萬元間的案件,結(jié)果必將在北京顯得畸重而廣西顯得畸輕。雖然現(xiàn)階段的人工智能司法呈現(xiàn)地方化樣態(tài),但從調(diào)研情況來看,各地系統(tǒng)使用的數(shù)據(jù)來源并不限于本地判決的案件[9],可見這種因地方差異導(dǎo)致的非公正風(fēng)險已經(jīng)成為某種現(xiàn)實(shí)。

四、 人工智能司法往何處去?

當(dāng)下的現(xiàn)實(shí)是,人工智能司法在法律工具主義與技術(shù)樂觀主義的雙重作用下狂飆突進(jìn),但真正意義上的“法律自動售貨機(jī)”似乎仍是遙不可及的。欲使人工智能取代司法者獨(dú)立作出裁判,須依序回答如下問題:前提是否存在?技術(shù)是否可行?應(yīng)用能否被接受?從司法人工智能的目前狀況及發(fā)展趨勢來看,由于矛盾內(nèi)嵌于系統(tǒng)諸關(guān)鍵結(jié)點(diǎn),前述問題無法得到肯定的答案:第一,樣本的結(jié)構(gòu)性缺失、潛在因素的標(biāo)記不足、低質(zhì)數(shù)據(jù)的大量存在,不能滿足作為技術(shù)前提的數(shù)據(jù)充分性要求;第二,虛假相關(guān)的無法排除、算法歧視的隱性生成、預(yù)測結(jié)果的不特定性,使得算法模型難以獲得科學(xué)性保證;第三,價值判斷的被動失效、先例數(shù)據(jù)的隱含錯誤、地方差異的強(qiáng)行拉平,構(gòu)成了結(jié)果非公正性的來源,嚴(yán)重降低了實(shí)踐應(yīng)用的可接受度。以上三重矛盾不僅架空了人工智能司法的基礎(chǔ),而且徹底解決的希望也相當(dāng)渺茫。

人工智能司法在數(shù)據(jù)充分性、算法科學(xué)性與結(jié)果公正性等方面存在的矛盾已經(jīng)部分為相關(guān)理論與實(shí)務(wù)人士所認(rèn)知。對此,業(yè)界較為一致地認(rèn)為,將人工智能司法嚴(yán)格限定為司法者的輔助工具,即可在享受技術(shù)帶來的如防止司法決定過度偏離、保證司法標(biāo)準(zhǔn)統(tǒng)一適用、提高司法機(jī)關(guān)辦案效率等紅利的基礎(chǔ)上,避免上述矛盾隱含風(fēng)險的現(xiàn)實(shí)化。不過,如此兩全其美的設(shè)想可能只是“看上去很美”而已。司法應(yīng)用人工智能的前提在于后者能為前者提供“正確”的解決方案,但前文論證卻在一定程度上表明,算法給出的答案無法保證正確性,這動搖了人工智能司法的基礎(chǔ)。即便將答案定位于“參考答案”,自動生成且披上科學(xué)外衣的數(shù)據(jù)預(yù)測也會影響裁判結(jié)果,最終仍有很大概率成為“標(biāo)準(zhǔn)答案”[37]。從司法者的角度看,徑行接受算法模型的間接支配,一則有助于減輕審理判斷的工作量,二則有利于防范不必要的職業(yè)風(fēng)險,此時再強(qiáng)調(diào)智能化系統(tǒng)的輔助性,似乎只剩形式上規(guī)避倫理苛責(zé)的價值。對于直接提供結(jié)論且無法說明過程的司法人工智能,其在司法中的嵌入本身就會對訴訟的正當(dāng)程序造成沖擊,這是輔助性宣稱無法紓解的問題。

未來的人工智能司法將何去何從?隨著人工智能的技術(shù)發(fā)展,算法預(yù)測的準(zhǔn)確性已達(dá)相當(dāng)程度,即便存在本體上的諸多矛盾,亦不能掩蓋技術(shù)可能為司法帶來的巨大紅利。僅以人工智能無法確保結(jié)論可靠為由,完全排斥其在司法領(lǐng)域的運(yùn)用,難免有因噎廢食之嫌,畢竟傳統(tǒng)的法官裁判也可能出現(xiàn)錯誤。但需注意,無論傳統(tǒng)的法官裁判正確與否,其都應(yīng)內(nèi)含一個或數(shù)個從大前提到小前提的涵攝過程,該過程及相應(yīng)說理為結(jié)果提供了可被接受或反駁的形式理由,而這恰恰是人工智能司法的關(guān)鍵缺失。申言之,司法是一個探求與揭示因果的規(guī)范性過程,人工智能所能發(fā)現(xiàn)的僅為因素之間的相關(guān)規(guī)律,由于相關(guān)不蘊(yùn)因果,其本身無助強(qiáng)化裁判的規(guī)范論證。不過,司法人工智能之間存在可解釋性程度的差別,若算法模型能夠較為清晰地反映各變量及其權(quán)重,則司法者仍可以在一定程度上圍繞結(jié)果進(jìn)行說理,以維護(hù)自身主體性、裁判可接受度與司法權(quán)威。比如,在社會危險性預(yù)測中,若算法提供的結(jié)論明確標(biāo)示了被試者各相關(guān)因素的大小與分量,則司法人員便得以之作為規(guī)范論證的參考。人工智能在司法中的可用性取決于其是否具備可解釋性。因而,欲使人工智能司法得到實(shí)質(zhì)應(yīng)用,相應(yīng)算法模型就需要提供輸入數(shù)據(jù)與預(yù)測結(jié)果的因果說明,或者至少應(yīng)當(dāng)使結(jié)果具備事后的局部可解釋性[38]。

沿此思路,人工智能司法未來的發(fā)展重點(diǎn)應(yīng)被置于提高可解釋性方面。目前人工智能司法產(chǎn)品往往僅注重預(yù)測的準(zhǔn)確性,對機(jī)器學(xué)習(xí)的可解釋性關(guān)照不足,這使得司法者無法確切了解決策依據(jù)及其可靠性,要么導(dǎo)致正確預(yù)測被拋棄,要么造成錯誤決策現(xiàn)實(shí)化。算法模型的可解釋性,既可在建模之前通過有意識訓(xùn)練可解釋性強(qiáng)的自解釋模型、廣義加性模型或引入注意力機(jī)制予以事前實(shí)現(xiàn),也可利用解釋方法或建構(gòu)解釋模型對既有模型予以事后實(shí)現(xiàn)[39]。對于在研及已經(jīng)投入使用的司法人工智能,皆應(yīng)根據(jù)實(shí)際情況強(qiáng)化模型的可解釋性。可解釋性應(yīng)達(dá)何種程度?鑒于可解釋性尚無科學(xué)的評估體系,可行辦法是建立計算機(jī)、人工智能、法學(xué)等領(lǐng)域?qū)<医M成的統(tǒng)一委員會,由其對各類司法人工智能進(jìn)行分別審查:就事前可解釋性而言,重點(diǎn)審查模型的內(nèi)在解釋能力;就事后可解釋性而言,重點(diǎn)審查解釋結(jié)果的保真度和一致性。對于未通過個別審查的司法人工智能,應(yīng)嚴(yán)格限制其在司法過程中的應(yīng)用。但是,在司法過程外適用此類系統(tǒng),則應(yīng)被允許。通常而言,可解釋性較差的人工智能往往是因模型復(fù)雜度高所致:復(fù)雜模型的擬合能力更強(qiáng)、預(yù)測準(zhǔn)確度高,但模型參數(shù)量大、工作機(jī)制復(fù)雜、透明性低,使得其難以得到較好的解釋[39]。鑒于此類人工智能較高的準(zhǔn)確性,適用在那些主要以結(jié)果為導(dǎo)向的領(lǐng)域往往能夠獲得更好效果,如作為法律服務(wù)機(jī)構(gòu)的預(yù)測工具、審判監(jiān)督部門的初查工具等。

猜你喜歡
裁判樣本司法
少捕慎訴慎押刑事司法政策下偵羈關(guān)系的反思
牙醫(yī)跨界冬奧會裁判
服務(wù)大局司法為民忠實(shí)履職
法官如此裁判
法官如此裁判
規(guī)劃·樣本
人大代表活躍在“司法大舞臺”上
奏好人大內(nèi)務(wù)司法監(jiān)督“三步曲”
人大專題詢問之“方城樣本”
隨機(jī)微分方程的樣本Lyapunov二次型估計
永春县| 科技| 济南市| 莱西市| 乌恰县| 泸州市| 临泉县| 黔江区| 博客| 肇东市| 绥宁县| 遵义市| 都兰县| 乌兰县| 舟曲县| 滦南县| 富锦市| 丹东市| 印江| 乐业县| 奉贤区| 湟源县| 内江市| 永泰县| 山阳县| 焦作市| 怀仁县| 盐源县| 枞阳县| 汶川县| 洞头县| 麦盖提县| 瑞昌市| 积石山| 太仓市| 泗洪县| 奉新县| 青铜峡市| 阿巴嘎旗| 岢岚县| 吴桥县|