国产日韩欧美一区二区三区三州_亚洲少妇熟女av_久久久久亚洲av国产精品_波多野结衣网站一区二区_亚洲欧美色片在线91_国产亚洲精品精品国产优播av_日本一区二区三区波多野结衣 _久久国产av不卡

?

論人工智能法律主體適格性的反思與否定證成*

2022-11-22 08:39:52祝高峰尹智揚(yáng)
關(guān)鍵詞:民事主體人工智能

祝高峰,尹智揚(yáng)

(桂林電子科技大學(xué) 法學(xué)院/知識產(chǎn)權(quán)學(xué)院,廣西 桂林 541004)

一、引 言

習(xí)近平總書記在黨的十九屆中央政治局第九次集體學(xué)習(xí)時指出:“人工智能是重要驅(qū)動力量、重要戰(zhàn)略抓手、重要戰(zhàn)略資源?!鄙钲谑腥斯ぶ悄苄袠I(yè)協(xié)會編寫的《2021人工智能發(fā)展白皮書》顯示,2020年,中國人工智能核心產(chǎn)業(yè)規(guī)模達(dá)到3 251億元。截至2020年底,我國已有6 425家人工智能相關(guān)企業(yè),人工智能企業(yè)分布在產(chǎn)業(yè)鏈基礎(chǔ)層的占22.3%,分布在技術(shù)層的占18.6%,分布在應(yīng)用層的占59.1%。毋庸置疑,隨著大數(shù)據(jù)技術(shù)以及人工智能技術(shù)的深層應(yīng)用,由人工智能引起的社會變革必然將對人類社會的經(jīng)濟(jì)發(fā)展以及社會生活的方方面面產(chǎn)生深遠(yuǎn)的影響。“智造時代”已經(jīng)到來,要解決人工智能的法律困境問題,就要先解決問題的主要矛盾。人工智能涉及到的主要法律問題與人工智能法律主體地位緊密相關(guān),因此,人工智能法律主體適格性研究是解決人工智能其他相關(guān)法律問題的“鑰匙”。然而,人工智能法律主體的適格性又面臨著諸多困境。

二、人工智能法律主體適格性的綜述考察

國外方面,截至目前,筆者以“AI Subject Eligibility”“Eligibility of Artificial Intelligence Legal Subject”“Artificial Intelligence Legal Subject”為檢索設(shè)定,通過Kluwer Law Online、Web of Science、HeinOnline、MyiLibrary等法律數(shù)據(jù)庫檢索,幾乎未直接檢索到人工智能法律主體適格性的相關(guān)研究,通過檢索數(shù)據(jù)庫后總結(jié)文中出現(xiàn)的關(guān)鍵詞匯及主題表述為“Patent Eligibility”和“Patent Subject Matter Eligibility”。從筆者檢索的范圍來看,外文文獻(xiàn)只有2019年發(fā)表的一篇文章與人工智能法律主體適格性研究直接相關(guān),即“Artificial Intelligence as A Subject of Law: Pros and Cons”[1],該篇文章有四位合作作者,且將人工智能視為擬制的法律主體。

國內(nèi)方面,筆者以“人工智能法律主體地位”“人工智能法律主體適格性”等關(guān)鍵核心術(shù)語及主題進(jìn)行查找,通過中國知網(wǎng)檢索,統(tǒng)計(jì)發(fā)現(xiàn)發(fā)表在核心期刊的相關(guān)文章共20篇左右,筆者對其相關(guān)內(nèi)容進(jìn)行了梳理歸納總結(jié),大致包括以下幾個方面的內(nèi)容。其一,部分學(xué)者主張應(yīng)當(dāng)對人工智能進(jìn)行弱、中、強(qiáng)三個層次的劃分,嘗試通過分析現(xiàn)有人工智能發(fā)展所處的不同階段來判斷其法律主體地位的適格性。如有學(xué)者認(rèn)為,對人工智能的法律地位不應(yīng)一概而論,不能絕對地將其認(rèn)定為民事法律主體或者客體,而應(yīng)視其所處階段進(jìn)行分類討論[2]。其二,部分學(xué)者認(rèn)為需要考察人工智能所處的技術(shù)語境,其主體地位的擬制只能限制在特定的范圍和領(lǐng)域。有學(xué)者便認(rèn)為,研究人工智能的法律主體地位問題,首先就要將其看成是一個技術(shù)問題,且應(yīng)當(dāng)對人工智能進(jìn)行有限度的擬制,從而區(qū)分民事責(zé)任和刑事責(zé)任中人工智能是否具有主體地位[3]。其三,部分學(xué)者通過從法理及制度變遷史的角度推演,認(rèn)為人工智能符合法律主體資格,如有學(xué)者認(rèn)為,從具體保護(hù)主體利益的角度看,古代社會就已存在相關(guān)的法律主體制度,且隨著時代的發(fā)展,法律主體迎來了人格普遍化的時期[4]。其四,部分學(xué)者認(rèn)為,人工智能是一種新型的、從屬的法律主體。如有學(xué)者認(rèn)為,當(dāng)人工智能法律主體出現(xiàn)時,一定會有一個被從屬主體附屬的主體存在,其法律主體關(guān)系才會存在[5],此種觀點(diǎn)表述較為模糊。

綜上所述,部分學(xué)者從不同視角對人工智能法律主體適格性的有關(guān)問題進(jìn)行了分析。筆者認(rèn)為,不論從哪個視角分析都有其一定的理由,但是,既然人工智能法律主體適格性的問題的論證主要是一個法律問題,那么,其存在的條件就應(yīng)當(dāng)符合基本的民事主體構(gòu)成要件,即不論人工智能在技術(shù)、功能、應(yīng)用等方面如何演變,判定其法律主體適格性的問題都應(yīng)當(dāng)首先判斷是否符合民事主體的構(gòu)成要件及判定標(biāo)準(zhǔn),否則,將脫離其主體適格性的法理基礎(chǔ)。

三、人工智能法律主體適格性面臨的困境

(一)人工智能法律主體認(rèn)定的復(fù)雜性

人工智能能否作為法律主體,學(xué)者們試圖在分析其與現(xiàn)有民事主體或爭議主體的相似點(diǎn)中找到可以聯(lián)系的“錨點(diǎn)”,從而為人工智能作為法律主體尋求現(xiàn)實(shí)的法律依據(jù)。然而,自然人、法人,抑或是爭議的動物等分析對象,都難以與人工智能搭建起足夠緊密的類比關(guān)系。

從自然人的角度來看,人的概念難以覆蓋人工智能。目前,人的胚胎尚且無法獲得法律人格,人工智能作為截然不同的“人”,算法和程序是其存在的基礎(chǔ)和行動力的保障,而人這一生物體所具備的倫理性人格難以對人工智能的法律人格進(jìn)行充分解釋。有學(xué)者根據(jù)盧曼的社會功能分化理論,認(rèn)為人工智能的發(fā)展將會模糊人與機(jī)器的定義邊界,從而導(dǎo)致法律人格范圍的擴(kuò)展[6]。然而無論是克隆人還是基因編輯者,其具備法律主體地位的前提仍是生物人屬性,而人工智能則完全不具備這一屬性,這也是由人工智能的自身屬性所決定的。

從法人的角度來看,人工智能或許與法人存在諸多相似之處,可是分析法人存在的基礎(chǔ)可知,無論是“擬制說”“實(shí)在說”還是“組織體說”,都存在一種共性,即法人背后不可剝離的自然人因素。正如漢斯·凱爾森(Hans Kelsen)所言,法人是對團(tuán)體和財(cái)產(chǎn)這一有機(jī)體中包含的個人行為規(guī)則體系的打包性陳述[7],而法律擬制這一立法技術(shù)是附帶性的結(jié)果,其不能作為改變?nèi)斯ぶ悄鼙举|(zhì)特征的工具。

從動物的角度來看,盡管一些學(xué)者試圖論證動物與人的生物聯(lián)系(包括道德、文化、社會性等)[8],但不可否認(rèn)的是,討論動物作為法律主體的出發(fā)點(diǎn)是對人類工具理性的反思,其關(guān)注的還是人的發(fā)展,這與討論人工智能的出發(fā)點(diǎn)有著本質(zhì)的區(qū)別。無論是《德國民法典》第90a條關(guān)于動物不是物,動物受特別法律的保護(hù),以不另有規(guī)定為限,關(guān)于物的規(guī)定必須準(zhǔn)用于動物”[9]的規(guī)定,還是美國法對動物開具人身保護(hù)令的案例,實(shí)際上均未承認(rèn)動物的法律主體地位,這種否定性的評價(jià)至少說明了,試圖依托動物來證明人工智能法律主體地位的辦法是不可行的。

(二)現(xiàn)有學(xué)說與判斷標(biāo)準(zhǔn)結(jié)合的缺失

現(xiàn)有分析人工智能法律主體適格性的學(xué)說,其主要目的是通過學(xué)說的解釋或創(chuàng)新,來規(guī)避人工智能作為法律主體的不相稱問題,然而,此類方法往往會存在通過結(jié)果來反證原因的邏輯錯誤。筆者認(rèn)為,論證人工智能是否具備民事主體地位,民事主體的判斷標(biāo)準(zhǔn)在其中起到至關(guān)重要的作用。民事主體的判斷標(biāo)準(zhǔn)具備高度的概括性、完善的邏輯性和豐富的包容性特征,但現(xiàn)有學(xué)說均未能很好地與判斷標(biāo)準(zhǔn)進(jìn)行有效結(jié)合,其本質(zhì)原因在于民事主體的判斷標(biāo)準(zhǔn)也存在諸多爭議。在民事主體不斷發(fā)展的歷史過程中,早期對民事主體的判斷也已形成諸多可以邏輯自洽的學(xué)說或思想,這些學(xué)說實(shí)際上較好地對現(xiàn)有民事主體的特征進(jìn)行了總結(jié)歸納,然而,在新型的爭議主體逐漸增多后,也往往顯得捉襟見肘。

(三)實(shí)踐中人工智能法律主體判斷標(biāo)準(zhǔn)不統(tǒng)一

在法律實(shí)踐中,由于人工智能處于何種法律地位尚未確定,難以回答人工智能享有何種權(quán)利、履行何種義務(wù)以及如何承擔(dān)責(zé)任等法律問題,因而產(chǎn)生了人工智能法律主體判斷標(biāo)準(zhǔn)不統(tǒng)一的問題。北京互聯(lián)網(wǎng)法院在“北京菲林律師事務(wù)所與北京百度網(wǎng)訊科技有限公司著作權(quán)權(quán)屬案”(1)北京互聯(lián)網(wǎng)法院一審審理認(rèn)為,具備獨(dú)創(chuàng)性并非構(gòu)成文字作品的充分條件,根據(jù)現(xiàn)行法律規(guī)定,文字作品應(yīng)由自然人創(chuàng)作完成。雖然隨著科學(xué)技術(shù)的發(fā)展,計(jì)算機(jī)軟件智能生成的此類“作品”在內(nèi)容、形態(tài)甚至表達(dá)方式上日趨接近自然人,但根據(jù)現(xiàn)實(shí)的科技及產(chǎn)業(yè)發(fā)展水平,若在現(xiàn)行法律的權(quán)利保護(hù)體系內(nèi)可以對此類軟件的智力、經(jīng)濟(jì)投入予以充分保護(hù),則不宜對民法主體的基本規(guī)范予以突破。(參見北京互聯(lián)網(wǎng)法院民事判決書〔2018〕京0491民初239號)中認(rèn)定,自然人創(chuàng)作完成仍應(yīng)是著作權(quán)法上構(gòu)成作品的必要條件。在此案中,因?yàn)槿斯ぶ悄茉谥鳈?quán)糾紛中所產(chǎn)生的爭議,一審法院認(rèn)定人工智能不具備法律主體地位。而在“深圳市騰訊計(jì)算機(jī)系統(tǒng)有限公司與上海乾衡信息技術(shù)有限公司侵害著作權(quán)及不正當(dāng)競爭糾紛”一案中,法院認(rèn)定人工智能生成的文章構(gòu)成作品,同時法院認(rèn)定涉案文章是原告主持創(chuàng)作的法人作品[10],該案是全國首例認(rèn)定人工智能生成作品的生效案件。盡管該案件中人工智能生成的文章被認(rèn)為符合作品的構(gòu)成要件,但其實(shí)質(zhì)仍是將創(chuàng)作作品的人歸為了法人,這與人工智能能否成為法律主體的問題存在本質(zhì)區(qū)別,因?yàn)槿斯ぶ悄懿痪哂蟹ㄈ说膶傩?。在“姆拉賽克訴布林茅爾醫(yī)院案”(2)本案中醫(yī)院在為患者進(jìn)行手術(shù)時,使用了達(dá)·芬奇醫(yī)療智能機(jī)器人,但是智能機(jī)器人在參加手術(shù)的過程當(dāng)中一直未能反映正確的信息,并且拒絕手術(shù)團(tuán)隊(duì)調(diào)整他的手臂位置,最后醫(yī)療團(tuán)隊(duì)無奈之下只能進(jìn)行人工手術(shù),結(jié)果手術(shù)失敗?;颊甙l(fā)起訴訟,要求醫(yī)院和人工智能的制造商賠償損失。(參見Ugo Pagallo, The Laws of Robots: Crimes, Contracts, and Torts, Dordrecht:Springer,2013,pp.34-35)(Mracek v. Bryn Mawr Hospital)中,法院將智能機(jī)器人的責(zé)任認(rèn)定為產(chǎn)品責(zé)任問題,從而否定了患者的訴求。在該案中,美國法院并未認(rèn)定人工智能為適格的法律主體,在人工智能侵權(quán)致害時,仍將其認(rèn)定為產(chǎn)品。

相反情況亦存在,2016年2月,美國國家公路安全交通管理局認(rèn)定Google無人駕駛汽車所采用的人工智能系統(tǒng)可以被認(rèn)為是司機(jī)。在美國,行政管理部門在一定程度上已經(jīng)賦予了人工智能擬人的“民事主體”資格。2016年,歐盟委員會法律事務(wù)委員會主張對法律主體制度進(jìn)行改革,請求賦予人工智能“電子人”的法律主體身份,引發(fā)世界各國的廣泛關(guān)注[11]。此外,還有沙特阿拉伯授予美國漢森公司的人工智能“索菲亞”以法律公民身份、日本基于個案確立了陪護(hù)老人的寵物機(jī)器人帕羅的戶籍地位(并在戶籍系統(tǒng)中將發(fā)明人登記為父親)等案例[12]的存在。

綜上所述,人工智能主體面臨著不同類型的法律糾紛,由于不同的價(jià)值維度和價(jià)值考量也往往帶來不同的處理結(jié)果,這間接地造成了涉及人工智能的案件判斷起來尤為困難和復(fù)雜。因而,不論在法學(xué)理論上還是在法律實(shí)踐中,判斷人工智能法律主體的適格性都是亟待解決的問題。

四、人工智能法律主體適格性的基本問題厘清

在界定人工智能法律主體適格性的問題前,應(yīng)當(dāng)對其相關(guān)概念和基本問題進(jìn)行梳理和闡釋,只有在明確與其相關(guān)的基本概念和問題的前提下進(jìn)行論證,其結(jié)果才具備相對準(zhǔn)確性和價(jià)值。

(一)人工智能法律主體適格性的基本問題分析

1.人工智能的界定

對于人工智能的定義主要分為特征歸納類與語境定義類兩種。特征歸納類如澳大利亞學(xué)者蘇萊曼認(rèn)為,高度自主的人工智能應(yīng)具備如下要件:第一,與人類進(jìn)行交互的能力;第二,了解自身內(nèi)部知識;第三,了解外部世界的知識;第四,一定程度上的意向性;第五,一定程度上的創(chuàng)造力[13]。語境定義類如斯坦福大學(xué)的尼爾遜教授認(rèn)為:“人工智能是關(guān)于知識的學(xué)科——怎樣表示知識以及怎樣獲得知識并使用知識的科學(xué)?!盵14]這兩種定義實(shí)際上只著眼于人工智能的廣義概念,對人工智能在法律視域下的具體行為模式?jīng)]有進(jìn)行有效界定。然而,要判斷人工智能法律主體適格性,分析、列舉人工智能的廣義概念或者對人工智能整體提煉特征的作用微乎其微,最有效的方法是尋找人工智能在法學(xué)領(lǐng)域特別是能與民事主體地位相互聯(lián)系的交匯點(diǎn)。

斯圖爾特·羅素(Stuart J.Russell)和彼得·諾維格(Peter Norvig)在《人工智能:一種現(xiàn)代的方法》一書中提出了八種不同的人工智能定義,分為四類:人性化行動、人性化思考、理性思考和理性行動。該書作者還分別對以上四種定義進(jìn)行了如下補(bǔ)充解釋。(1)人性化行動是指能夠通過圖靈測試的一系列行動,具體包括自然語言處理、知識表示、自動推理及機(jī)器學(xué)習(xí)等。(2)人性化思考指的是尋找一種有效的人類認(rèn)知建模方法和理論,使之能夠通過機(jī)器語言表達(dá)出來。(3)理性思考則是指一種思維方法的規(guī)律。人工智能中所謂的邏輯主義傳統(tǒng)希望在這些程序的基礎(chǔ)上創(chuàng)建智能系統(tǒng)。然而,能夠在“原則上”解決問題和在實(shí)踐中解決問題有很大區(qū)別。(4)理性行動則意味著根據(jù)自己的信仰采取行動以實(shí)現(xiàn)自己的目標(biāo)[15]。以上定義方法兼采語境定義類與特征歸納類的優(yōu)點(diǎn),將定義的側(cè)重點(diǎn)集中在人工智能與作為參考系的人之間的關(guān)系與類比,從而對人工智能有一個較為總括的定義。有學(xué)者已經(jīng)指出,人工智能不僅僅指智能機(jī)器人,還應(yīng)當(dāng)包括智能系統(tǒng)和智能物[16]。根據(jù)以上分析,可以對人工智能進(jìn)行如下界定:人工智能是指具備一定人性化思維、人性化行為和理性行動能力的智能系統(tǒng)和智能物。其本質(zhì)是對人的思想和意識的信息過程的模擬,不具有獨(dú)立的意志。其所表現(xiàn)出來的行為目前都是人為通過算法和程序提前設(shè)定而完成的。

2.人工智能現(xiàn)有劃分標(biāo)準(zhǔn)的分析與選擇

目前通說認(rèn)為,人工智能主要分為弱人工智能、強(qiáng)人工智能和超級人工智能。針對不同階段的人工智能也有眾多判斷標(biāo)準(zhǔn)。除了圖靈測試,還有很多種方法可以檢驗(yàn)計(jì)算機(jī)或機(jī)器人是否達(dá)到強(qiáng)人工智能水平。也有學(xué)者針對偏重一方面的測試所帶來誤差的可能性,提出綜合性測試,即強(qiáng)調(diào)強(qiáng)人工智能應(yīng)該同時滿足人類的自我意識、思維、情感和行為四個要素。如果人工智能只滿足其中某一個或部分要素,那么,其仍應(yīng)被認(rèn)為停留在弱人工智能階段[17]。除此之外,根據(jù)發(fā)展人工智能主張的理念不同,對人工智能的劃分主要分為符號主義學(xué)派與聯(lián)結(jié)主義學(xué)派,前者主張機(jī)器語言模擬,后者則主張生物仿生模擬。

實(shí)際上,以上分類方式都存在一個共同的問題,即對于當(dāng)前社會人工智能處于何種發(fā)展階段以及人工智能能否進(jìn)入下一階段的判斷存在一定的模糊性。因?yàn)閷τ谌斯ぶ悄軇澐謽?biāo)準(zhǔn)之下的諸多概念,也存在諸多劃分標(biāo)準(zhǔn),這就造成了“嵌套式”定義的怪圈。

對此,有學(xué)者認(rèn)為,智能系統(tǒng)的根源可以追溯到兩個基本前提條件:一是物理環(huán)境客觀的現(xiàn)實(shí)與因果鏈條;二是智能物種與生俱來的任務(wù)與價(jià)值鏈條。目前,機(jī)器視覺或語言學(xué)習(xí)所依靠的深度學(xué)習(xí),本質(zhì)上是一種“大數(shù)據(jù)+小任務(wù)范式(big data for small task)”,而未來我們要人工智能達(dá)到的水平應(yīng)當(dāng)是“小數(shù)據(jù)+大任務(wù)范式”[18]。目前,所有人工智能無一例外是依靠大量數(shù)據(jù)投喂來解決單一任務(wù)的,對于多場景多領(lǐng)域的復(fù)雜問題,缺乏一套統(tǒng)一的解決機(jī)制。因此,我們可以大致總結(jié)出未來人工智能的認(rèn)知架構(gòu),即“小數(shù)據(jù)+大任務(wù)范式”所應(yīng)具備的必要要素:較少的數(shù)據(jù)投喂量、多任務(wù)解決功能、因果性認(rèn)知推理、價(jià)值共識、語言通訊、視覺分析。而目前的人工智能至多具備語言通訊和視覺分析能力,距離其進(jìn)入下一階段還為時尚早。

3.人工智能的類型化趨勢及場景化應(yīng)用

人工智能的技術(shù)發(fā)展逐漸呈現(xiàn)多極化、類型化的趨勢,有學(xué)者將其總結(jié)為六大領(lǐng)域(3)六大領(lǐng)域即計(jì)算機(jī)視覺(暫且把模式識別、圖像處理等問題歸入其中)、自然語言理解與交流(暫且把語音識別、合成歸入其中,包括對話)、認(rèn)知與推理(包含各種物理和社會常識)、機(jī)器人學(xué)(機(jī)械、控制、設(shè)計(jì)、運(yùn)動規(guī)劃、任務(wù)規(guī)劃等)、博弈與倫理(多代理人agents的交互、對抗與合作,機(jī)器人與社會融合等議題)、機(jī)器學(xué)習(xí)(各種統(tǒng)計(jì)的建模、分析工具和計(jì)算的方法)。(參見朱松純:《朱松純教授淺談人工智能:現(xiàn)狀、任務(wù)、構(gòu)架與統(tǒng)一》,https://www.sohu.com/a/227854954_297710)。目前,各個領(lǐng)域的人工智能發(fā)展?fàn)顩r各不相同,但是總體來看,以計(jì)算機(jī)視覺、自然語言理解與交流、機(jī)器學(xué)習(xí)為主的三大領(lǐng)域發(fā)展最快,產(chǎn)生的法律問題也最多。在直觀上,人工智能類型化的趨勢首先體現(xiàn)為各領(lǐng)域場景化的應(yīng)用落地,在計(jì)算機(jī)視覺領(lǐng)域,以人臉識別為基礎(chǔ)的各類應(yīng)用可能產(chǎn)生隱私權(quán)、肖像權(quán)方面的法律糾紛;在自然語言理解與交流領(lǐng)域,機(jī)器翻譯、對話及生成物可能涉及著作權(quán)或?qū)@麢?quán)方面的法律糾紛;在機(jī)器學(xué)習(xí)領(lǐng)域,醫(yī)療服務(wù)型人工智能系統(tǒng)(如病情診斷或體征監(jiān)測)、自動駕駛技術(shù)等可能會產(chǎn)生產(chǎn)品責(zé)任糾紛,谷歌的搜索算法、數(shù)字廣告和在線個性化工具、家庭服務(wù)或醫(yī)療機(jī)器人等則可能侵犯權(quán)利人的個人信息和隱私[19]。當(dāng)然,人工智能的場景化應(yīng)用也會產(chǎn)生積極影響,如在法律領(lǐng)域,有學(xué)者認(rèn)為,人工智能對于電子資料檔案查詢、預(yù)測性警務(wù)、法醫(yī)破案、面部識別以及刑事案件中審前釋放和判刑的風(fēng)險(xiǎn)評估等方面都有著重要用途[20];在國際公共健康領(lǐng)域,包括范德比爾特大學(xué)醫(yī)學(xué)中心在內(nèi)的醫(yī)療機(jī)構(gòu)、美國退伍軍人事務(wù)部等政府機(jī)構(gòu)以及包括Facebook在內(nèi)的公司均正在開發(fā)基于人工智能的自殺預(yù)測工具,這些工具有定位可能自殺的高風(fēng)險(xiǎn)人群的功能,并允許其進(jìn)行干預(yù)和可能的預(yù)防[21]。由此可見,人工智能的類型化趨勢催生了眾多的場景化應(yīng)用,并間接造成了人工智能“法律主體”在各個領(lǐng)域產(chǎn)生的法律關(guān)系沖突,并且由于各個領(lǐng)域人工智能算法、程序乃至實(shí)體結(jié)構(gòu)的不同,明確界定人工智能的法律主體地位同樣具有重要的意義。

(二)人工智能法律主體適格性學(xué)說之辨

肯定說主張人工智能法律主體具有適格性,針對這種適格性是否完備,又分為完全肯定說與折中說。折中說認(rèn)為,應(yīng)當(dāng)根據(jù)人工智能的強(qiáng)弱程度進(jìn)行區(qū)分,弱人工智能不具有法律主體資格,強(qiáng)人工智能則具有法律主體資格。筆者認(rèn)為,折中說本質(zhì)上也是肯定說的一種,只是認(rèn)為適格性存在一定的瑕疵,這也并不能否認(rèn)折中說對人工智能作為法律主體的積極性評價(jià)??隙ㄕf認(rèn)為,在人工智能不斷發(fā)展的當(dāng)下,賦予其主體地位,無論是從法律實(shí)踐還是歷史發(fā)展的角度來看,既是必要的,也是可行的。其主要邏輯思路是在目前人工智能尚未作為法律主體存在時,其某些必要性因素催生了眾多可行性思路,從而反證了人工智能作為法律主體的可能。

否定說則認(rèn)為人工智能不具備主體資格。如“工具說”認(rèn)為,人工智能屬性上還是人的工具?!败浖碚f”認(rèn)為,人工智能本質(zhì)上是信息的新型載體,因而不需要具有完全的法律人格和法律能力。此外,有學(xué)者認(rèn)為,從主體理性角度來看,人工智能不具備欲望的機(jī)制,因此它不具備主體性[22];從價(jià)值論的角度來看,人工智能無法獲得真正的自由[23]。否定說認(rèn)為人工智能作為法律主體,其不具有適格性的論證視角雖然是多角度多層次的,但大多難以從正面對人工智能的非適格性進(jìn)行有效回應(yīng),因而說服力偏弱。

(三)人工智能法律主體適格性的具體學(xué)說分析

1.有限人格說

有學(xué)者認(rèn)為,由于人工智能被賦予為人類社會服務(wù)的目的,因此,人工智能所享有的法律人格只能被看作是有限的工具性人格。其有限性包括:一是行為能力是受限的,人工智能的控制人掌握著其行為導(dǎo)向;二是權(quán)利義務(wù)是受限的,人工智能并不享有倫理性的人格權(quán)或身份權(quán),其權(quán)利義務(wù)狀態(tài)明顯是不平衡的;三是責(zé)任能力是受限的,人工智能與現(xiàn)有主體的承擔(dān)能力不同,承擔(dān)責(zé)任有其自身上限[24]。有學(xué)者進(jìn)一步指出,人工智能應(yīng)當(dāng)定義為既具有智慧工具性質(zhì),又可作出獨(dú)立意思表示的特殊主體較妥。此時,權(quán)利主體是人工智能背后的實(shí)際控制人,應(yīng)適用“刺破人工智能面紗原則”[25]。總的來說,有限人格說主張應(yīng)當(dāng)賦予人工智能有限的民事權(quán)利,因?yàn)槿斯ぶ悄芤呀?jīng)具有一定程度的獨(dú)立自主意識,民法也應(yīng)將其與其他民事主體進(jìn)行區(qū)別對待。然而,人工智能是否具有一定程度的“自主意識”尚需論證,其即便具備一定的自主意識,也是來源于算法程序設(shè)定而成的,與自然人的自主意識相比有著本質(zhì)區(qū)別。有限人格說的本質(zhì)還是承認(rèn)了人工智能的工具屬性,如再把其放置在主體地位,繼而為了論證的合理性對其“人格”進(jìn)行擴(kuò)張解釋,便會缺乏合理性。

2.擬制人格說

“法律擬制”是“立法者為了實(shí)現(xiàn)法律背后的制度目的而作出的一種不容辯駁的決斷性的虛構(gòu)”[26]。薩維尼(Savigny)的“擬制說”認(rèn)為,現(xiàn)有的自然人和法人的概念也都是一種人類經(jīng)由法律的擬制行為[27]。從一定程度上看,擬制說是認(rèn)定人工智能法律主體適格性的一種選擇。有學(xué)者提出,通過“位格減等”思路進(jìn)行反向推理即可得出——“位格加等”來賦予當(dāng)代人工智能的法律地位。與古典羅馬法上的位格減等不同,法人制度實(shí)質(zhì)上也是一種“位格加等”的立法邏輯,因此,把人工智能提升到主體地位,擬制出其人格,進(jìn)而確定人工智能的法律關(guān)系及權(quán)利義務(wù)關(guān)系便是可能的[28]。通過分析可以得出,賦予人工智能獨(dú)立的法律擬制人格在立法技術(shù)上不存在障礙。然而,與法人不同的是,人工智能因?yàn)轭愋突内厔?,其擬制效果無法達(dá)到法人的擬制水平,人工智能的智能限制在特定的范圍和領(lǐng)域,其發(fā)生作用的范圍和領(lǐng)域與其說是依據(jù)法律擬制,倒不如說是依據(jù)其實(shí)際應(yīng)用能力,法律擬制不過是虛假的空殼。目前對于人工智能的任何法律擬制嘗試,其形式意義均大于實(shí)質(zhì)意義,需要關(guān)注的是達(dá)成“人工智能是法律主體”的虛假共識,而非給社會帶來實(shí)際效益或解決實(shí)際法律糾紛的立法目的。

3.電子人格說

電子人格說本質(zhì)上是希望通過賦予人工智能某種特有身份,從而使其具有法律意義上的自主權(quán),進(jìn)而可以獨(dú)立承擔(dān)損害賠償責(zé)任。然而,其認(rèn)為人工智能算法中的不可控因素是一種自主意識的證明,將深度學(xué)習(xí)中的某些暗箱狀態(tài)等同于自主意識,混淆了二者的本質(zhì)區(qū)別。1999年的美國《統(tǒng)一電子交易法》(Uniform Electronic Transaction Act)中第2條指出,“電子代理”系指非經(jīng)人的行為或?qū)徍?,全部或部分?dú)立地發(fā)起某種行為或應(yīng)對電子記錄或履行的計(jì)算機(jī)程序、電子手段或其他自動化手段。此處所指的“電子代理”行為實(shí)際上與人的行為無關(guān),體現(xiàn)的是其自動化的一面。這一學(xué)說本質(zhì)上將人工智能視為民事主體,但嚴(yán)格來說卻缺乏相應(yīng)的法理基礎(chǔ)。民法中的代理主要分為法定代理和委托代理。人工智能是否可以進(jìn)行法定代理尚不存在明文規(guī)定,且人工智能天然地與被代理人之間不存在自然人之間的關(guān)系,因而不存在法定代理的一般基礎(chǔ)。而委托代理因?yàn)榭赡墚a(chǎn)生的責(zé)任問題,也不具備可操作性。被代理人實(shí)際上仍然要承擔(dān)人工智能所應(yīng)當(dāng)承擔(dān)的責(zé)任,因此,代理說最關(guān)鍵的問題是缺乏法律依據(jù)和現(xiàn)實(shí)基礎(chǔ)。

五、人工智能法律主體適格性之否定證成

民事主體適格性應(yīng)有內(nèi)在的判斷標(biāo)準(zhǔn),且應(yīng)當(dāng)具有普適性,即使民事主體的范圍有可能擴(kuò)張,也應(yīng)當(dāng)符合其原有的判斷標(biāo)準(zhǔn)。從民事主體的實(shí)質(zhì)構(gòu)成要件分析可以得出民事主體的判斷標(biāo)準(zhǔn),從而檢視人工智能作為法律主體適格性之否定證成。

(一)人工智能法律主體適格性判斷標(biāo)準(zhǔn)的選擇

1.四要件說

民事主體的判斷標(biāo)準(zhǔn)應(yīng)當(dāng)以一定的社會經(jīng)濟(jì)條件為前提,同時還需要國家法律的確認(rèn)[29]。通過分析自然人與法人作為法律主體的存在基礎(chǔ),一般認(rèn)為民事主體的實(shí)質(zhì)標(biāo)準(zhǔn)主要如下:第一,名義獨(dú)立,即能如自然人或法人一般,以自身的名義獨(dú)立從事民事活動;第二,意志獨(dú)立,該意志無論是單一還是以組織的集合形式體現(xiàn),都是獨(dú)立行使的;第三,財(cái)產(chǎn)獨(dú)立,即能夠獨(dú)立地占有、使用、收益、處分自己的財(cái)產(chǎn),或者通過設(shè)立的法律程序行使;第四,責(zé)任獨(dú)立,即民事主體應(yīng)當(dāng)以自己所支配的財(cái)產(chǎn)作為承擔(dān)責(zé)任的基礎(chǔ)[30]。四要件說較好地提煉了法人與自然人作為法律主體的共同特征,但是正如前文所言,人工智能難以類比自然人或法人,二者有著本質(zhì)的區(qū)別,其目前的所謂“獨(dú)立意志”都是被人為地通過算法加持,人工智能自身可以成為財(cái)產(chǎn),但難以成為財(cái)產(chǎn)的所有權(quán)人。

2.民事權(quán)利能力說

德國的民法學(xué)者漢斯·布洛克斯(Hans Brox)和沃爾夫·迪特里希·瓦爾克(Wolf-Dietrich Walker)認(rèn)為,權(quán)利以權(quán)利主體為前提?!兜聡穹ǖ洹穼?quán)利主體稱為人,它包括自然人和法人,任何人都具有權(quán)利能力。包括嬰兒和精神病人在內(nèi)的任何人都可以是權(quán)利的主體,因?yàn)闄?quán)利能力無需人的參與,直接通過法律規(guī)定獲得。同時他們指出,“聰明的”動物并非權(quán)利主體,比如指定狗為“繼承人”是無效的,因?yàn)樗粚儆谌祟怺31]。不難看出,兩位學(xué)者承認(rèn)了自然人和法人具有民事權(quán)利能力,但并未承認(rèn)此外的其他“物”可以具有民事權(quán)利能力。日本民法學(xué)者山本敬三在對權(quán)利能力進(jìn)行闡述時明確指出,權(quán)利能力是人固有的能力,只有人才有權(quán)利能力,人以外的主體,包括法人在內(nèi)不能成為權(quán)利的主體,只能成為權(quán)利的客體[32]。從以上分析不難看出,人工智能既不屬于自然人,也不屬于法律規(guī)定的享有民事權(quán)利能力的法人范疇,因此,人工智能不享有民事權(quán)利能力。

3.獨(dú)立意志說

獨(dú)立意志的表達(dá)是區(qū)分人與其他動物的明顯標(biāo)準(zhǔn)。自然人的獨(dú)立意志表達(dá)體現(xiàn)在民法領(lǐng)域,即人心的意思自治。日本學(xué)者星野英一認(rèn)為,個人的意思自治意味著個人有加入或不加入某種法律關(guān)系的自由,以及有決定該法律關(guān)系內(nèi)容的自由[33]。鑒于權(quán)利的重要性,自19世紀(jì)以來,德國學(xué)者就致力于探究權(quán)利的本質(zhì)。薩維尼(Savigny)及文德賽(Winscheid)兩位偉大的法學(xué)家首先提出了意思力(Willensmacht)或意思支配(Willensherrschaft)說,認(rèn)為權(quán)利為個人意思自由活動或個人意思所能支配的范圍。民法以人為本位,人為權(quán)利義務(wù)的主體,傳統(tǒng)民法以權(quán)利為核心概念,此乃個人主義權(quán)利本位的思考方法。為了解權(quán)利的意義及功能,宜將之納入法律關(guān)系中加以觀察。法律關(guān)系存在于人與人之間[34]。獨(dú)立意志論使得人工智能承擔(dān)責(zé)任這一現(xiàn)實(shí)問題難以實(shí)現(xiàn),不能將人工智能的自主意識與自然人的獨(dú)立意志相混淆。一般而言,人工智能具備一定的意識,該意識目前也是由程序提前內(nèi)設(shè)而成,人工智能不能作為法律主體的根本原因在于,其自主意識不能被人類社會的法律制度所調(diào)節(jié),也不能獨(dú)立處理民事法律關(guān)系。

4.功能說

功能說認(rèn)為,法律主體之所以能成為法律主體,其核心原因在于立法者的選擇。首先,在法律上賦予自然人平等的地位,不僅是自然法精神的體現(xiàn),也是法律公平理念的弘揚(yáng)。這是自然人民事主體地位確立的價(jià)值基礎(chǔ)。其次,法律之所以確立自然人的民事主體地位,根本原因在于其在社會發(fā)展中具有重要功能。功能說認(rèn)為,民事主體被設(shè)立的根本目的在于實(shí)現(xiàn)社會所需的必要功能或需求,而這種功能或需求必須要其通過參與一定的民事法律關(guān)系才能實(shí)現(xiàn),因此可以說,賦予其民事主體地位是當(dāng)然的[35]。而判斷這種需求或者存在基礎(chǔ)的標(biāo)準(zhǔn)是什么,學(xué)界則持不同意見。有學(xué)者認(rèn)為,是否賦予一個自主運(yùn)作的人工智能實(shí)體或機(jī)器人一定的法律主體性,將取決于社會和經(jīng)濟(jì)需求的必要性,尤其是文化和法律接受程度[36]。還有學(xué)者認(rèn)為,從社會公益的角度考慮與人工智能有關(guān)的因素,則可以從如下幾個方面進(jìn)行考量:(1)可證實(shí)性和增量部署;(2)防止操縱預(yù)測因素的保障措施;(3)接受者語境的干預(yù);(4)接受者語境的解釋和透明的目的;(5)隱私保護(hù)和數(shù)據(jù)主體同意;(6)情景公平以及人類友好的語義化[37]。功能說本質(zhì)上認(rèn)為需求即目的,賦予其主體資格只不過是必要的手段,而這其實(shí)是對“存在即合理”的錯誤理解,況且人工智能目前也并未處于作為法律主體才能解決法律糾紛這條唯一的道路上,因此,這種需求也是一種人為的“制造需求”。

(二)人工智能法律主體判斷標(biāo)準(zhǔn)的實(shí)質(zhì)要件

前述分析了目前主流的幾種法律主體的判斷標(biāo)準(zhǔn)。人工智能能否成為適格的法律主體,應(yīng)當(dāng)從民事主體適格性的基本法學(xué)理論及法律構(gòu)成要件加以全面考察。

1.人工智能的獨(dú)立意志

獨(dú)立意志主要是指實(shí)施行為的主動性,不受外部因素的影響和支配。獨(dú)立意志是民事主體實(shí)施法律行為的重要條件。然而,自由意志不能簡單地限縮在自然人這個層面,如果以自然人的自由意志作為民事主體的自由意志標(biāo)準(zhǔn),便沒有討論的意義與價(jià)值,未來也不可能在這一標(biāo)準(zhǔn)之下擴(kuò)展更多的法律主體。法人本質(zhì)上也是人的集合,其背后代表了多數(shù)人的獨(dú)立意志。但是,目前人工智能并不是集合了多數(shù)人的自由意志進(jìn)行民事活動,而是通過人獨(dú)立意志之下的程序設(shè)置,借由算法實(shí)現(xiàn)特定任務(wù),而這些特定任務(wù)處在民事法律關(guān)系中。有學(xué)者主張,從與人工智能發(fā)揮功能和完成特定任務(wù)緊密相關(guān)的算法能否與生產(chǎn)者和設(shè)計(jì)者相分離來判斷人工智能是否有獨(dú)立意志[38]。此種主張具有一定的合理性,然而問題在于,這種分離究竟需要多大的程度呢?下圍棋的“阿爾法狗”下出遠(yuǎn)超人類所能理解的棋路,這可以算作一種分離嗎?實(shí)際上,在算法程序基礎(chǔ)上,人工智能依靠深度學(xué)習(xí),最終所能達(dá)到的是設(shè)計(jì)者或生產(chǎn)者在最初賦予其特定任務(wù)的情況下解決該任務(wù)的完美狀態(tài)。雖然這種完美狀態(tài)或許并非在設(shè)計(jì)者或生產(chǎn)者的預(yù)期之內(nèi),但是其本身并沒有跳出這個任務(wù)設(shè)定的范圍,其上限是已經(jīng)固定的,不同的是能不能找到解決任務(wù)的最優(yōu)解。算法仍是人工智能的核心工作環(huán)節(jié),人工智能所謂的“獨(dú)立意志”都是算法作用的結(jié)果,因此,人工智能的自主性實(shí)質(zhì)上是一種被動意志下的自主性。根據(jù)前述人工智能的劃分標(biāo)準(zhǔn),顯然“小數(shù)據(jù)+大任務(wù)范式”這一高一級的人工智能證明了目前的“大數(shù)據(jù)+小任務(wù)范式”的人工智能不具備獨(dú)立意志。

2.人工智能的意思能力

意思能力是辨認(rèn)自己行為的能力,是形成意志的心里能力。意思能力按照是否為法律所承認(rèn),可分為哲學(xué)上的意思能力和法律上的意思能力,法律主體是法律上意志的存在形式,意思資格屬于法學(xué)范疇,是法律主體之必要條件。意思能力非法律規(guī)定,屬事實(shí)能力,但法律上的意思能力為法律能力[39]。有學(xué)者認(rèn)為,意思能力是自然人認(rèn)識自己行為的動機(jī)與結(jié)果,并根據(jù)此認(rèn)識決定其正常的意思之能力,其為賦予自然人行為能力的前提[40]。因而,判斷人工智能是否具有意思能力,可以從動機(jī)的角度進(jìn)行考察。目前,“大數(shù)據(jù)+小任務(wù)范式”的人工智能缺乏因果性認(rèn)知推理能力,而動機(jī)正是掌握因果鏈條的結(jié)果之一,只有具備了因果性的推理能力,人工智能才能明確知道一個動機(jī)如何實(shí)現(xiàn)以及實(shí)現(xiàn)的效果如何,進(jìn)而才能將動機(jī)表達(dá)于外形成意思表示。目前的人工智能盡管在語言通訊方面發(fā)展迅猛,但是其進(jìn)行的所謂意思表示的基礎(chǔ)是程序算法,不具備內(nèi)生性的意思能力。

3.人工智能的責(zé)任能力

人工智能自身并不占有或者控制任何獨(dú)立財(cái)產(chǎn),因此,人工智能缺乏承擔(dān)民事責(zé)任的物質(zhì)基礎(chǔ)。由于人工智能不具備獨(dú)立意志,其所作出的處分財(cái)產(chǎn)的行為實(shí)為人工智能控制人的意思表示,因而法律關(guān)系的主體應(yīng)是其背后的人。同時,也無法參考非法人組織出資人、設(shè)立人承擔(dān)無限連帶責(zé)任的規(guī)定,將人工智能產(chǎn)生的損害結(jié)果追溯到生產(chǎn)者、設(shè)計(jì)者反而更具有可操作性,也具有相應(yīng)的理論基礎(chǔ)。民事責(zé)任能力是民事主體違反法律規(guī)定而承擔(dān)相應(yīng)的民事責(zé)任的能力。但是如前文所述,目前人工智能不具備較強(qiáng)的因果性認(rèn)知推理能力,因此,也就不具備承擔(dān)責(zé)任的可能性。此外,為人工智能設(shè)立保險(xiǎn)或者擔(dān)?;鹪诜蓪?shí)踐中也不具備可操作性。以自動駕駛汽車為例,設(shè)立保險(xiǎn)或者擔(dān)?;穑湄?cái)產(chǎn)的源頭還是要追溯到“人”。不能忽視的是,人工智能仍然是指人工智能產(chǎn)品,強(qiáng)如制造人形機(jī)器人的波士頓動力公司(Boston Dynamics)也并未將其研發(fā)的智能機(jī)器人視為人,而認(rèn)為是輔助人類的工具?,F(xiàn)階段人工智能仍然不具備承擔(dān)責(zé)任的能力。

4.人工智能的理性基礎(chǔ)

人是目的,而非手段。近代民法從康德哲學(xué)體系中抽象出了“人以外全是物”之理念,導(dǎo)致了“人”與“物”的二元對立[41]。以“理性”作為劃分民事主體與客體的基本標(biāo)準(zhǔn),是民事法律制度中“理性本位”理念的具體表現(xiàn)之一[42]。人工智能不具備人所具有的規(guī)范性認(rèn)知能力,其深度學(xué)習(xí)所依據(jù)的規(guī)則并非法律和道德意義上的規(guī)范性規(guī)則,而是邏輯語言,且無法認(rèn)識到事物背后所承載的法律意義和法律后果。換言之,人工智能缺乏多場景乃至全場景的認(rèn)知推理能力,且這種能力是從事民事活動所必備的。

人之所以是理性的,是因?yàn)槿藢τ谄渌鶑氖碌男袨橛小皯?yīng)不應(yīng)當(dāng)”的基本判斷,這種判斷取決于人的經(jīng)驗(yàn)、道德水準(zhǔn)、教育水平等多種因素,而人工智能則缺乏此類判斷,其行為模式是線性的、不可逆的。這里的不可逆并非指其任務(wù)無法終止,而是指其任務(wù)是否終止取決于算法下達(dá)的最后指令,而沒有自身的理性判斷參與其中。有學(xué)者指出,智能機(jī)器人通過預(yù)設(shè)算法可以獲得類似于理性選擇的結(jié)果,但這種“理性”只是對人類倫理道德的模擬[43]。盡管法律規(guī)范人的行為的原因有多種學(xué)說,但是本質(zhì)上法律規(guī)范與人的理性判斷是一致的,而人工智能因?yàn)椴痪邆洫?dú)立意志,理性也就無從談起。通過算法是否可以擬合成某種理性呢?理論上是可行的。但是一旦要求算法理性拓展到人類社會的方方面面,那就遠(yuǎn)遠(yuǎn)超過了人工智能的極限,彼時再討論人工智能是否具有法律主體的適格性或許已不再那么重要,更緊迫的是自然人以及人類社會的安全問題。

5.人工智能法律主體適格性的社會基礎(chǔ)

賦予人工智能法律主體適格性應(yīng)當(dāng)滿足基本的利益平衡要求,或者至少不會影響到特定人群的利益,應(yīng)從平衡整體利益的角度,去考慮是否應(yīng)當(dāng)從法律上確認(rèn)其法律主體的資格。以目前的發(fā)展來看,人工智能還達(dá)不到其所被要求的“社會重要性”。學(xué)者們認(rèn)為,“社會重要性”是將法律人格擴(kuò)展到新對象的根本驅(qū)動所在[44]。人工智能要想獲得社會基礎(chǔ),首要前提是取得社會的“價(jià)值共識”。價(jià)值共識蘊(yùn)含著價(jià)值排序,指導(dǎo)民事主體在進(jìn)行民事活動時的基本價(jià)值判斷,并且在某些特殊情況下給予緩沖地帶,如緊急避險(xiǎn)等。然而價(jià)值排序因人而異,也因環(huán)境的變化而變化,這在本質(zhì)上還需要一個“小數(shù)據(jù)+大任務(wù)范式”的認(rèn)知架構(gòu),只不過是將解決任務(wù)換成了價(jià)值衡量。

六、結(jié) 論

對于人工智能法律主體適格性面臨的諸多困境,筆者嘗試?yán)迩辶伺c人工智能法律主體資格相關(guān)的主要法律問題,認(rèn)為應(yīng)當(dāng)在法律場域中尋找人工智能的界定與劃分標(biāo)準(zhǔn),同時分析了今后人工智能的發(fā)展趨勢。面對現(xiàn)有標(biāo)準(zhǔn)的適用困境,筆者對目前人工智能法律主體適格性的判斷持否定態(tài)度,人工智能主體在獨(dú)立意志、意思能力、責(zé)任能力、理性基礎(chǔ)、社會基礎(chǔ)方面均無法達(dá)到可被賦予法律主體資格的標(biāo)準(zhǔn)?!皵?shù)字經(jīng)濟(jì)+算法”時代(4)即數(shù)字經(jīng)濟(jì)與人工智能的深度融合應(yīng)用時代,是數(shù)字經(jīng)濟(jì)更深層次的發(fā)展階段。(參見祝高峰:《論數(shù)智經(jīng)濟(jì)時代重要數(shù)據(jù)安全的法律保護(hù)》,《社會科學(xué)家》2021年第11期,第111頁),自然人仍然是構(gòu)成社會最基本的要素,其屬性是唯一的,具有不可替代性。法人具有的民事主體資格源于法人的構(gòu)成要件和法律規(guī)定。不論人工智能的“智力”多高,亦不同于法人和自然人,不能成為法律意義上的“人”。

猜你喜歡
民事主體人工智能
論自然人破產(chǎn)法的適用主體
民事推定適用的邏輯及其展開
論民事共同訴訟的識別進(jìn)路
法律方法(2021年4期)2021-03-16 05:35:18
2019:人工智能
商界(2019年12期)2019-01-03 06:59:05
人工智能與就業(yè)
數(shù)讀人工智能
小康(2017年16期)2017-06-07 09:00:59
加強(qiáng)民事調(diào)解 維護(hù)社會穩(wěn)定
紅土地(2016年6期)2017-01-15 13:45:54
下一幕,人工智能!
關(guān)于遺產(chǎn)保護(hù)主體的思考
民事保全:價(jià)值回歸與平等保護(hù)
扬中市| 赤峰市| 桑植县| 乐亭县| 甘谷县| 资中县| 康平县| 盐边县| 手机| 秀山| 威远县| 柳林县| 陆川县| 耿马| 晋城| 四子王旗| 宁海县| 长春市| 迁安市| 盐池县| 金昌市| 孟连| 双流县| 乌拉特前旗| 永吉县| 吴旗县| 宜黄县| 轮台县| 尚志市| 洱源县| 合山市| 克什克腾旗| 新绛县| 铜鼓县| 阿瓦提县| 山东省| 平利县| 格尔木市| 二手房| 吴忠市| 壤塘县|