【編者按】

12月18日，上海市社聯(lián)在上海市社會(huì)科學(xué)界學(xué)術(shù)年會(huì)上頒布了2020年度十大推介論文獎(jiǎng)?！澳甓韧平檎撐摹被顒?dòng)由上海市社聯(lián)2013年組織發(fā)起并連續(xù)多年推出。該活動(dòng)是對(duì)近一年（2020年度從2019年9月1日至2020年8月31日）以來(lái)，上海學(xué)者發(fā)表于國(guó)內(nèi)學(xué)術(shù)期刊、引起學(xué)界高度關(guān)注的原創(chuàng)性研究成果作出推薦，旨在探索建立科學(xué)權(quán)威、公開(kāi)透明的哲學(xué)社會(huì)科學(xué)成果評(píng)價(jià)體系，建立優(yōu)秀成果推介制度，把優(yōu)秀研究成果真正評(píng)出來(lái)、推廣開(kāi)。與目前大多數(shù)評(píng)獎(jiǎng)活動(dòng)不同，年度推介論文活動(dòng)無(wú)需作者自行申報(bào)，主要依托各學(xué)科權(quán)威專(zhuān)家學(xué)者、學(xué)術(shù)期刊主編、資深學(xué)術(shù)編輯等開(kāi)展多輪評(píng)審?fù)扑]，最終產(chǎn)生不超過(guò)10篇的推介論文。

澎湃新聞智庫(kù)報(bào)告欄目摘編了上海市社聯(lián)2020年度十大推介論文之一：司法人工智能的重塑效應(yīng)及其限度，以饗讀者。 

人工智能技術(shù)融入司法是數(shù)字時(shí)代的必然趨勢(shì)，其發(fā)展前景無(wú)需質(zhì)疑，但“要想讓算法更好地服務(wù)于人類(lèi)，我們必須承認(rèn)算法不是全能的”。智慧司法建設(shè)并不是一項(xiàng)司法革新的完美規(guī)劃，它對(duì)司法機(jī)制及其運(yùn)行的重塑效應(yīng)也是有限的。 

一、客觀性上的悖論

從全球范圍的實(shí)踐來(lái)看，算法決策和司法大數(shù)據(jù)的客觀性并不像人們想象的那樣易得，其也存在被主觀因素侵入的風(fēng)險(xiǎn)。 

1、算法決策的復(fù)雜性

人工智能在商業(yè)交易、公共政策的制定、司法過(guò)程、交通出行等日常生活中深度應(yīng)用的場(chǎng)景越來(lái)越多，它們不僅僅進(jìn)行預(yù)測(cè)和推薦，很多時(shí)候也在作定性判斷，如人臉識(shí)別、資格審查、屏蔽封號(hào)、自動(dòng)執(zhí)法等?！斑@些自動(dòng)化系統(tǒng)已經(jīng)由簡(jiǎn)單的行政管理工具變成了主要的 ‘決策者’”，形成了一種替代人腦決策的裁斷權(quán)力，并在資源配置和行為控制上對(duì)相對(duì)人產(chǎn)生重要影響。就智能輔助辦案系統(tǒng)而言，它所進(jìn)行的證據(jù)標(biāo)準(zhǔn)和規(guī)則指引、逮捕條件審查、證據(jù)鏈和全案證據(jù)審查判斷、社會(huì)危險(xiǎn)性評(píng)估、言詞證據(jù)審查、減刑假釋案件辦理、裁判偏離度提示、辦案程序監(jiān)督等等，也都是在行使算法裁斷權(quán)力。這種算法決策，并非簡(jiǎn)單的計(jì)算公式和無(wú)意識(shí)的程序運(yùn)行，而是從一開(kāi)始就被“教導(dǎo)”了法律知識(shí)與邏輯，輸入了主觀的定性判斷基準(zhǔn)。盡管它需經(jīng)司法裁判者最終確認(rèn)，才能產(chǎn)生實(shí)際的司法效力，但仍不可否認(rèn)其權(quán)力屬性。

其次，算法權(quán)力也會(huì)受價(jià)值偏好影響。設(shè)計(jì)者“可以建造、構(gòu)筑、編制網(wǎng)絡(luò)空間，使之保護(hù)我們最基本的價(jià)值理念”，同樣地，設(shè)計(jì)者“也可以建造、構(gòu)筑、編制網(wǎng)絡(luò)空間，使這些價(jià)值理念喪失殆盡”。代碼是被制造而非發(fā)掘出來(lái)的?；谙嗤臄?shù)據(jù)信息、技術(shù)條件、求解方案，分別由兩組各自封閉的程序員來(lái)設(shè)計(jì)算法，最后的輸出結(jié)果很可能不一樣。

例如，上海“206系統(tǒng)”工程龐大復(fù)雜，只能采取全國(guó)法院的“眾籌”模式來(lái)完成證據(jù)知識(shí)圖譜的繪制。這些法律適用規(guī)則的整理，其實(shí)就是對(duì)刑法知識(shí)的一次精加工，“編輯者的邏輯編排、要旨提煉、觀點(diǎn)選擇，體現(xiàn)了個(gè)人的價(jià)值取向、學(xué)術(shù)判斷、政策立場(chǎng)”。這些知識(shí)圖譜經(jīng)由程序員的代碼編寫(xiě)和算法建模，自然又會(huì)或多或少地滲入一些人為因素。盡管代碼的執(zhí)行是無(wú)偏差的，但“偏差”會(huì)被編碼到系統(tǒng)中。

再次，算法背后隱藏著算法黑箱與“算法霸權(quán)”。“用戶(hù)們無(wú)法看清其中的規(guī)則，無(wú)法提出不同意見(jiàn)，也不能參與決策過(guò)程，只能接受最終的結(jié)果?！边@就形成了一個(gè)算法決策的閉合回路，除非自我更新和改善，否則它將持續(xù)運(yùn)行，不受外界因素的干擾和影響。一旦算法決策出現(xiàn)偏見(jiàn)、不公乃至有意的“暗算”，就會(huì)誘發(fā)嚴(yán)重的社會(huì)危機(jī)。它不予公開(kāi)、不接受質(zhì)詢(xún)、不提供解釋、不進(jìn)行救濟(jì)，難免會(huì)有演化為“算法霸權(quán)” 的風(fēng)險(xiǎn)。于是，中國(guó)的智慧司法建設(shè)也應(yīng)著力消除算法黑箱和算法霸權(quán)的隱患。

未來(lái)在程序設(shè)計(jì)環(huán)節(jié)實(shí)現(xiàn)立法者、專(zhuān)家學(xué)者、律師和社會(huì)人士的開(kāi)放性參與，打造可公開(kāi)、可解釋、可救濟(jì)的智能系統(tǒng)，對(duì)于防范算法黑箱和算法霸權(quán)之風(fēng)險(xiǎn)，大有必要。 

2、司法大數(shù)據(jù)中的主觀性因素

首先，數(shù)據(jù)采集的“全樣本”是一種主觀界定。算法和算力仰賴(lài)于“數(shù)據(jù)喂養(yǎng)”，數(shù)據(jù)量越大、越全、越真，算法決策就越客觀精準(zhǔn)，人工智能也才越“聰明”。司法是一項(xiàng)非常復(fù)雜的定 分止?fàn)帣C(jī)制，涉及人財(cái)物、時(shí)間地點(diǎn)、主客觀狀態(tài)、行為方式、涉案工具等等，僅一個(gè)案件就會(huì)產(chǎn)生大量的司法數(shù)據(jù)。如果想就某一類(lèi)型或某一類(lèi)案由的案件進(jìn)行算法建模，就需要采集海量的數(shù)據(jù)。若要做到“全樣本”則難上加難，僅在什么時(shí)間、空間、范圍上來(lái)界定這個(gè)“全樣本”，就是一個(gè)很大的問(wèn)題。

從上海 “206系統(tǒng)”（編注：由科大訊飛與上海市公檢法機(jī)關(guān)共同研發(fā)的刑事案件智能輔助辦案系統(tǒng)，2018年3月，206系統(tǒng)在上海全面推廣應(yīng)用。）的研發(fā)過(guò)程來(lái)看，命案被劃分為現(xiàn)場(chǎng)目擊型、現(xiàn)場(chǎng)留痕型、認(rèn)罪供述得到印證型和拒不認(rèn)罪型四大類(lèi)，這四類(lèi)命案“證據(jù)標(biāo)準(zhǔn)指引”的建模算法，主要是基于上海市2012年至2016年間審結(jié)的591起命案數(shù)據(jù)。71個(gè)常涉刑事案件罪名的 “證據(jù)標(biāo)準(zhǔn)指引”，則是基于近三年全國(guó)102個(gè)常涉罪名刑事案件的數(shù)據(jù)制定的?？梢园l(fā)現(xiàn)，這些數(shù)據(jù)樣本都是三五年內(nèi)的。同樣，上海民事、行政案件智能輔助辦案系統(tǒng)從467個(gè)民商事案由、61個(gè)行政案由中首選了六大類(lèi)8個(gè)案由，雖然標(biāo)注電子卷宗達(dá)5800余份，標(biāo)注點(diǎn)數(shù)量達(dá)12 萬(wàn)個(gè)，但上海市2016年道路交通事故糾紛一個(gè)案由收案量就達(dá)51312件。

可見(jiàn)，研發(fā)智能輔助辦案系統(tǒng)所憑借的，暫時(shí)還只能是有限時(shí)間段內(nèi)、有限范圍內(nèi)的 “樣本”。 

其次，數(shù)據(jù)標(biāo)注是一種主觀選擇。數(shù)據(jù)標(biāo)注是司法知識(shí)圖譜構(gòu)建的重要基礎(chǔ)，上?！?06系統(tǒng)”的研發(fā)采取了人工標(biāo)注和自動(dòng)標(biāo)注兩種形式，人工的數(shù)據(jù)清洗和標(biāo)注自不待言，機(jī)器的自動(dòng)標(biāo)注也需要經(jīng)過(guò)程序設(shè)計(jì)人員的確認(rèn)。同樣，圖像識(shí)別、手寫(xiě)體識(shí)別、插圖簽章、涂抹塊檢測(cè)、插入檢測(cè)等準(zhǔn)確率雖然可達(dá)92% —98%，但它仍需人工審查校正，這些無(wú)疑也都是主觀選擇的過(guò)程。

再次，司法數(shù)據(jù)的闡釋理解是一種主觀判斷。標(biāo)定數(shù)據(jù)對(duì)機(jī)器學(xué)習(xí)和建模算法的效果具有很大影響。由于中文語(yǔ)詞具有多義性、模糊性和地方性，對(duì)于相同或者相似的文本知識(shí)和數(shù)據(jù)，不同的標(biāo)注人員會(huì)形成不同的闡釋理解，導(dǎo)致數(shù)據(jù)標(biāo)注結(jié)果可能因人而異。雖然可以通過(guò)構(gòu)建多層級(jí)數(shù)據(jù)標(biāo)注體系來(lái)消除語(yǔ)義分歧和增進(jìn)標(biāo)注的可解釋性，但仍有一定的主觀作用空間。這也正是“投入多少人工，就有多少智能”的原因所在。

由上可見(jiàn)，在科學(xué)技術(shù)發(fā)展到一定程度或治理能力足以防范相關(guān)風(fēng)險(xiǎn)之前，算法決策的客觀性與中立性都只能是有限的。更嚴(yán)重的是，算法決策往往以 “科學(xué)” 面目呈現(xiàn)，一旦算法決策變?yōu)橐环N被灌輸?shù)摹⒔o定的 “客觀”，造成 “假為真時(shí)真亦假” 的反向替代，司法也就異化成為它的反面了。這是二者最深層的區(qū)別，也是我們必須警醒的地方。  

二、正義判斷上的困境

司法人工智能讓人們看到了 “可視正義” 和 “數(shù)字正義” 的希望，但進(jìn)一步分析就會(huì)發(fā)現(xiàn)，“可視正義” 也好，“數(shù)字正義” 也罷，雖然近在咫尺，但也不會(huì)來(lái)得那么容易。

其一，難以對(duì)正義進(jìn)行建模計(jì)算。

首先，正義價(jià)值是普遍的，卻沒(méi)有統(tǒng)一標(biāo)準(zhǔn)。對(duì)待正義問(wèn)題，只能通過(guò)謀求最大公約數(shù)和重疊共識(shí)方式來(lái)獲得認(rèn)同。我們很難針對(duì)正義進(jìn)行共識(shí)性的要素抽取和建立通用的知識(shí)圖譜，“其價(jià)值難以用數(shù)字體現(xiàn)”，也就很難進(jìn)行建模計(jì)算。

其次，正義沒(méi)有價(jià)值位階，裁判需要權(quán)宜平衡。因此，比例原則、法益衡量等一直在司法裁判中占據(jù)重要位置。力圖解決一切、無(wú)所不能的“終極算法”還不存在。司法裁判中法官的權(quán)宜平衡一時(shí)還難以用算法來(lái)替代。

再次，實(shí)現(xiàn)正義依靠的是實(shí)質(zhì)判斷，而不是體現(xiàn)相關(guān)性的概率計(jì)算。美國(guó)曾研究測(cè)試，人工智能在584個(gè)案件中有79%的案件審理結(jié)果與歐洲人權(quán)法院的審判專(zhuān)家組判決結(jié)果相同。英國(guó) “機(jī)器律師”與倫敦100名律師在保險(xiǎn)合同案件的法律判斷比賽中，“機(jī)器律師” 以86.6%的準(zhǔn)確率領(lǐng)先于律師的66.3%。

這些事例似乎表明，算法決策比人腦決策更優(yōu)越。但實(shí)際情況是，“計(jì)算機(jī)并不是 ‘思考’，而是依據(jù)邏輯算法處理數(shù)據(jù)”。它主要是基于數(shù)據(jù)進(jìn)行相關(guān)性分析，對(duì)于復(fù)雜的疑難案件來(lái)說(shuō)，僅有數(shù)量、概率和相關(guān)性邏輯還遠(yuǎn)遠(yuǎn)不夠，正義的司法裁判需要通過(guò)綜合考量各種因素的實(shí)質(zhì)性判斷來(lái)實(shí)現(xiàn)。

其二，難以窮盡 “正義” 的樣本。擁有了司法正義的 “全樣本”，才可能實(shí)現(xiàn)精準(zhǔn)的算法正義。理論上講，這個(gè)司法知識(shí)圖譜應(yīng)該是法律法規(guī)、司法文件、法院判例、證據(jù)規(guī)則和案件事實(shí)的動(dòng)態(tài)集合，其數(shù)據(jù)采集是可以做到的。但實(shí)際上，大量的司法活動(dòng)難以被完全數(shù)據(jù)化，且各機(jī)關(guān)或機(jī)構(gòu)的數(shù)據(jù)處理標(biāo)準(zhǔn)常常不一致，數(shù)據(jù)交換也有障礙。

其三，正義難以零和博弈。從根本上說(shuō)，“算法就是把輸入轉(zhuǎn)換成輸出的計(jì)算步驟的一個(gè)序列”。算法的開(kāi)發(fā)設(shè)計(jì)者需要把知識(shí)系統(tǒng)轉(zhuǎn)化為數(shù)字系統(tǒng)，把法律邏輯轉(zhuǎn)化為數(shù)理邏輯，進(jìn)而把復(fù)雜的司法活動(dòng)簡(jiǎn)化為一種“無(wú)須滿足任何更多條件即可生成‘是’與‘否’的二元選項(xiàng)” 的代碼執(zhí)行和機(jī)器運(yùn)算。這固然提高了司法效率和裁判一致性，但不容否認(rèn)的是，“法律世界包羅萬(wàn)象、復(fù)雜混沌，常常沒(méi)有明確的對(duì)錯(cuò)之分”，尤其是司法正義，更不可能簡(jiǎn)化為一個(gè)是與否的零和博弈。

其四，正義難以忽略人性。從古到今，司法活動(dòng)都不是一個(gè)冰冷的、機(jī)械的規(guī)則適用過(guò)程，而是帶有鮮明的人文關(guān)懷。司法人工智能不會(huì)計(jì)算情感，不能與人進(jìn)行心靈互動(dòng)，自然也不可能有人文關(guān)懷，難以根據(jù)具體場(chǎng)景靈活地、創(chuàng)造性地維護(hù)正義價(jià)值。而越來(lái)越多的機(jī)器執(zhí)法和裁斷，越來(lái)越少的人際互動(dòng)和交流，有把公民變成 “馴服的身體”的危險(xiǎn)。

可見(jiàn)，司法人工智能只能帶來(lái)有條件的 “可視正義” 和 “數(shù)字正義”，即使法律人工智能已廣泛投入運(yùn)用，在追求司法正義的過(guò)程中，法律人的“情懷” 和“匠心” 仍然無(wú)法被復(fù)制和替代。

三、政治因素的遮蔽

現(xiàn)代法治的核心特征之一是司法中立，然而，司法畢竟是一種制度體系中的構(gòu)架，它不可能做到隔絕政治。例如，美國(guó)聯(lián)邦最高法院可以通過(guò)重新定義某些規(guī)則條款和標(biāo)準(zhǔn)，“來(lái)滿足大法官不斷變化的政策偏好，從而在集權(quán)與分權(quán)、保守與自由之間做出最有利于大法官的選擇”，但 “布什訴戈?duì)柊浮?之類(lèi)的司法裁決仍不是一種單純的司法行為，而是帶有明顯的政治考量。基于中國(guó)的制度屬性和歷史傳統(tǒng)，政治性因素對(duì)司法的影響也比較明顯。比如，“民憤極大” 就曾是一種從政治上、道義上來(lái)考慮的從重處罰情節(jié), “領(lǐng)導(dǎo)批示” 也會(huì)對(duì)案件的定性和裁判具有重要 “指導(dǎo)”作用。這些影響因素很難進(jìn)入算法決策的考量范圍。

四、精準(zhǔn)性上的障礙

人工智能之所以被廣泛應(yīng)用于生活領(lǐng)域，原因之一就是它具備遠(yuǎn)超人腦的精準(zhǔn)計(jì)算和超強(qiáng)預(yù)測(cè)能力。但在實(shí)際運(yùn)行中，算法決策未必能完全做到精準(zhǔn)，甚至還有一些風(fēng)險(xiǎn)需要加以防范。一是算法錯(cuò)誤。人工智能雖然都有 “先發(fā)制人” 和 “完美預(yù)防” 的預(yù)設(shè)，但無(wú)缺點(diǎn)的自動(dòng)化系統(tǒng)并不存在，需要容忍不可避免的系統(tǒng)錯(cuò)誤和故障。

二是算法自主。隨著人工神經(jīng)網(wǎng)絡(luò)技術(shù)的發(fā)展，人工智能在分析、預(yù)測(cè)和判斷上的某些能力已經(jīng)超過(guò)了人類(lèi)。有時(shí)還會(huì)出現(xiàn)算法超出設(shè)計(jì)預(yù)期的運(yùn)算方式和輸出結(jié)果，令設(shè)計(jì)者難以理解的情況，即算法自主或者算法異化現(xiàn)象。

三是算法不能。其實(shí)從圖靈開(kāi)始，人們就已經(jīng)意識(shí)到，雖然在很多情況下算法執(zhí)行的任務(wù)是人類(lèi)無(wú)法完成的，但算法并不能解決所有問(wèn)題，如不少刑事案件中犯罪者的動(dòng)機(jī)和目的。

四是算法差異。在人工智能的實(shí)際應(yīng)用中，相同的任務(wù)或應(yīng)用可以采用不同的算法來(lái)完成，但這些不同算法的正確性、容錯(cuò)性和效率性存在優(yōu)劣之別。從審級(jí)上說(shuō)，從基層人民法院到最高人民法院，究竟是使用一套算法還是四套算法？如果使用一套算法，就會(huì)導(dǎo)致四個(gè)審級(jí)的智能裁判結(jié)果完全一致，不同審級(jí)之間的監(jiān)督功能就會(huì)喪失; 如果使用四套算法，那又如何保證它們的計(jì)算品質(zhì)相同? 從地域上說(shuō)，全國(guó)如果使用一套算法，要如何解決經(jīng)濟(jì)、社會(huì)和文化上的地域差異問(wèn)題? 如果使用多套算法，如何保證全國(guó)的司法統(tǒng)一性? 可見(jiàn)，盡管算法決策是基于客觀的數(shù)據(jù)分析和理性計(jì)算作出的，但面對(duì)重大疑難案件和大國(guó)的司法運(yùn)行，有很多復(fù)雜因素難以用建模算法來(lái)回應(yīng)。

算法只能延續(xù)和提煉人類(lèi)知識(shí)，但很難開(kāi)拓和創(chuàng)造人類(lèi)知識(shí)。算法決策能夠通過(guò)程序性、公式化計(jì)算來(lái)優(yōu)化訴訟程序和處理簡(jiǎn)單案件，卻難以處理重大的復(fù)雜疑難案件; 它能夠促進(jìn)形式正義，卻很難實(shí)現(xiàn)實(shí)質(zhì)正義。算法有可能勝任法庭上的多項(xiàng)工作，但無(wú)法勝任判決工作，包括證據(jù)標(biāo)準(zhǔn)指引、條件審查、校驗(yàn)糾錯(cuò)、裁判偏離度提示等，都只能是人腦決策的輔助工具。關(guān)鍵之時(shí)還需要人來(lái)做決定，由人來(lái)?yè)?dān)任最終決策者。

也許，隨著人工智能技術(shù)的突破升級(jí)，算法決策替代人腦決策的空間會(huì)更大、質(zhì)量也更高，但它依然是司法助手、工作伙伴，而不是獨(dú)立裁判的 “法官”。即便是 “強(qiáng)人工智能”時(shí)代的 “奇點(diǎn)”到來(lái)，人類(lèi)也會(huì)重新規(guī)劃自身主體地位的發(fā)展藍(lán)圖。

（作者馬長(zhǎng)山系華東政法大學(xué)教授、博士生導(dǎo)師，本文首發(fā)于《法學(xué)研究》2020年第4期）