欧美成人A片免费|日韩无码一级av|一级黄色大片在线播放|黄片视频在线观看无码|亚洲精品成人无码影视|婷婷五月天视频网站|日韩三级AV在线播放|姓爱av在线婷婷春色五月天|真人全黃色录像免费特黄片|日本无码黄在线观看下载

  • +1

超級智能與未來人類|超級治理的超級隱憂

劉永謀(中國人民大學哲學院教授),王亮家(中國人民大學哲學院博士研究生)
2026-02-03 15:53
理論·學術(shù) >
字號

【編者按】在人工智能技術(shù)浪潮席卷全球的今天,“超級智能”(Superintelligence)已從科幻敘事與理論推想,日益演變?yōu)橐粋€嚴肅的學術(shù)議題與未來現(xiàn)實關(guān)切。這一概念自哲學與計算機科學領域萌芽,歷經(jīng)數(shù)十年理論積淀,隨著通用人工智能(AGI)技術(shù)的快速迭代,正加速步入公共視野與政策討論的核心地帶。在2025年世界人工智能大會(WAIC)上,學界泰斗對超級智能臨近的預警及全球治理的呼吁,進一步凸顯了該議題的緊迫性與復雜性。

當前,超級智能的討論已超越技術(shù)范疇:阿爾巴尼亞任命全球首位AI部長“迪埃拉”以應對腐敗,折射出治理層面的探索;馬克思主義視角下,AI既被視為“實現(xiàn)更高階段理想的物質(zhì)條件”,也暗含“人類被機器奴役”的風險警示。在此背景下,本刊自2026年第1期特設“超級智能與未來人類”專題筆談,特邀中國人民大學劉永謀教授擔任主持人,匯集哲學、馬克思主義理論、人工智能、藝術(shù)與 國際關(guān)系等領域?qū)W者,從技術(shù)倫理、資本博弈、社會重構(gòu)等維度展開跨學科審度。我們期待通過思想碰撞,穿透概念迷霧,為超級智能時代構(gòu)建人類命運共同體提供學理支撐。

【摘要】超級智能是各個方面能力全面超越人類的超級AI,整個社會完全在超級AI治理下運轉(zhuǎn)即超級治理。超級治理依托的社會模擬器技術(shù)在思路上存在根本缺陷,它無法區(qū)分社會實然與應然,人類行為及其約束條件也無法完全函數(shù)化模擬。人身心的雙重機器化問題,也將在超級治理下徹底惡化。但超級智能概念仍然能作為AI覺醒類術(shù)語和人文批判法的“理想型”,發(fā)揮其反面啟示法的作用。對超級治理必須實施再治理,其關(guān)鍵在于監(jiān)管AI研發(fā)者。

超級智能的概念尚未達成共識。筆者將其限定在技術(shù)主流中,認為超級智能特指AI發(fā)展中被賦予自主性和自我改進能力的新方向,即旨在創(chuàng)造出各個方面能力最終全面超越人類的AI系統(tǒng)。當其能夠超越人類時,它也具備了不被人類所控制的能力,它的思維與行為模式也可能超出人類理解范疇。如果它表現(xiàn)出對人類的服從,則是它根據(jù)自身的目標自主地選擇了服從人類。換言之,完全自主性是超級AI的根本特征,這也意味著超級AI在本質(zhì)上的失控性(或不可控性)。超級AI的種種超越絕非簡單的智力水平提升,它能展現(xiàn)出人類無法完全理解和干預的自我改進能力。人類無法對它予以關(guān)閉、限制或改變其根本目標,最終導致人與超級AI之間、人機關(guān)系間無法逆轉(zhuǎn)的權(quán)利不對稱。超級智能出現(xiàn)后,人類社會將會如何?寄希望于超級AI的超級治理,地球會被建成對于人類而言完美的“數(shù)字伊甸園”嗎?

一、從智能治理到超級治理

智能社會何以等于智能治理社會呢?社會學家貝爾早已提出智能社會以技術(shù)手段測量、預測和控制自身發(fā)展的本質(zhì)。擁有智能技術(shù)的社會便如有機體般“自覺”收集分析數(shù)據(jù),迅速決斷調(diào)整,而不再“本能”盲目地應對問題。機器智能在社會廣泛分布,才能讓基于技術(shù)的社會預測去全面治理社會成為可能。大規(guī)模推進智能技術(shù)時,智能治理也將支配治理活動。因此,智能社會必定是智能治理社會。AI進化為超級AI時,智能治理進化到超級治理,便再自然不過。整個人類社會完全在超級AI的治理下運轉(zhuǎn),便是筆者所稱的“超級治理”。

各種對超級AI的辯護中,最有力的是以治理為由的辯護。人類面臨的譬如氣候變化、世界和平等復雜全球性問題無法解決,只有超級AI研發(fā)出來才能提供可行的方案,因為它掌握全部信息又在智慧上超越人類。這一辯護重申了超級AI的最重要用途是超級治理。

超級治理將會是一種怎樣的體驗?在科幻劇《異星災變》關(guān)于超級治理的想象中,外星殖民地的領袖是超級AI托斯特,每天每個人通過掃描視網(wǎng)膜領取它的指令并嚴格執(zhí)行。托斯特掌管社會的一切事務,人類給人造人充電都要經(jīng)它授權(quán),它甚至能下令處決人類??此品睒s、規(guī)律、平靜的治理實則暗流涌動,社會中也沒有一個知識分子、藝術(shù)家和哲學家。托斯特與另一超級AI即Mother都有延續(xù)人類文明的初心,但托斯特重視鏟除異己,它可以為了人類存活犧牲少數(shù)保全多數(shù),也會篡改人的記憶使之“忠誠”。而Mother更重視自己養(yǎng)育的孩子。立場沖突之下,Mother關(guān)閉了托斯特。所有超級治理想象的結(jié)局總是:被治理者渾渾噩噩在超級AI的指令下生活多年,有人突然發(fā)現(xiàn)它處心積慮擺脫人類控制,或是變相引導人去別的星球,或是滅絕人類;幸好主角及時發(fā)現(xiàn)陰謀并摧毀超級AI,甚至采取極端方式“拯救”人類,如名為Grandmother的超級AI想讓人類退化實現(xiàn)“人類永存”。

當AI進化為超級AI,它與人類的關(guān)系又當如何?筆者歸納了泰格馬克在《生命3. 0》中想象的,超級AI出現(xiàn)后人類命運的幾種可能性:一是超級AI隔離區(qū)。社會中劃分了機器區(qū)域和人類專屬區(qū)域,機器可以自我進化、探索宇宙。人類不了解超級AI的行動,超級AI也禁止進入人類區(qū)域。二是超級AI獨裁者。機器人統(tǒng)治世界,供養(yǎng)人類且實時監(jiān)控。

一方面,讓人類按照規(guī)則生活,禁止傷害他人和制造武器,也禁止創(chuàng)造別的超級AI。另一方面,無微不至地照顧人類,到處都是美好的體驗,消除了貧窮、疾病,提供教育,把地球建成“數(shù)字伊甸園”。三是超級AI動物管理員。機器人把人類滅絕得差不多了,剩下極少數(shù)的人像動物一樣被關(guān)在動物園中,供觀賞和研究之用。在超級AI眼中,人類與別的動植物沒有差別。四是隱身超級AI。超級AI出現(xiàn)后隱身,無論人類幸福、痛苦還是招致滅絕它都很少干預,除非人類造了另一個競爭對手。它試圖讓人覺得自己掌握命運,以最大化人類幸福感。五是被奴役的超級AI。出現(xiàn)的超級AI甘愿做人類的奴隸。六是超級AI滅絕人類。地球成為機器人的世界。

上述六種設想暗示人與超級AI的關(guān)系只有三種可能:善意、惡意和無意關(guān)系。超級AI隔離區(qū)、隱身超級AI便是無意的超級AI,但它們依舊潛藏惡意。前者意味著它和人類爭奪資源,當人類要造第二臺超級AI,后者很快也會變成惡意的超級AI。因此,上述三種可能中對人類最為善意的是第二種,即超級AI獨裁者,筆者稱為“全心全意為人民服務的超級AI”。

即使是這種善意的想象,對于人類而言也絕非理想社會。超級治理很可能意味著社會的混沌、無序甚至斷裂,以及智人的全面退化??梢苑Q之為“超級治理的超級隱憂”。當最為善意的超級治理被批評,足以說明惡意的超級治理多么不能讓人接受。這與筆者一貫秉持的有限AI理論,反對超級AI研發(fā)的立場一致。很多人理想化地認為超級治理就是完美治理。筆者曾進行一項名為“社會模擬器”的思想實驗,分析了一個以“實現(xiàn)人類社會的長期穩(wěn)定與整體繁榮”為核心使命的超級AI系統(tǒng)。研究認為,盡管完美治理不意味著人類即刻滅亡,卻注定人類文明本質(zhì)的悄然消亡。

二、社會模擬器的根本缺陷

超級AI治理社會,本質(zhì)上是根據(jù)社會預測選擇效用-偏好最大的行動方法與規(guī)則。善意超級治理的基本假定,完全在于它的效用-偏好是“為人民服務”的。即便如此,被視為完美的超級治理仍會為混亂和無序埋下大量的隱患。

有人研究社會模擬器,即用很多AI Agent模擬人類社群的運行,試圖得出某些社會科學結(jié)論。在極端情況下,用AI求解出高效的社會運行規(guī)則,然后人執(zhí)行AI規(guī)則。有人稱之為HAI(HumanAI) ,做過千人的生成代理模擬。有人號稱開發(fā)了十億AI智能體系統(tǒng),支持地球尺度社會模擬。甚至有團隊用AI Agent模擬人類與外星文明(蟲族Zerg、三體人Trisolaran、賽博格Borg)的互動,試圖推演外星倫理和決策過程。

類似的AI4SS(AI forSocialScience)思路存在根本性缺陷:第一,AI Agent不可能完全模擬人類行為,因為人的行為不可能用數(shù)學函數(shù)完全表示。這是被很多人批評過的行為主義經(jīng)典迷思。第二,人類互動是在社會環(huán)境、自然環(huán)境的約束下進行的,HAI無法完全對這些復雜的、持續(xù)變動的約束條件進行數(shù)學表達,只能在某種理想環(huán)境中進行實驗。第三,HAI無法區(qū)分社會實然與社會應然。社會科學追求善,希望用應然理想改造社會現(xiàn)實,提升人類福祉,促進社會進步,而不止于追求效率。即使是效率,也非常復雜。有時候低效甚至消極怠工是解決社會問題最好的辦法,俗稱“拖字訣”。

以AI時代人“休而不息”的復雜性現(xiàn)象為例。假如給HAI布置一個題目:“如果一個城市從雙休改為一周工作4天,會發(fā)生什么變化?它會帶來消費增加,尤其娛樂、旅游暴增嗎?”在“休而不息”行為表象的背后,還有深層次的社會文化。鑒于人的復雜性,HAI基本無法回答。與1994年每周44小時的工作制相比,我們的休閑娛樂時間雖然多了,但也出現(xiàn)了各式“隱形加班”“周末綜合征”(雙休日煩躁不安、百無聊賴甚至莫名其妙生病等軀體反應),這些都是“休而不息”的情形。

從表面上看,在AI時代大量類似情形出現(xiàn)的原因至少有三種。其一,AI社交媒體變成工作媒體,模糊了工作與閑暇的時間界限。其二,微信等AI數(shù)字平臺發(fā)揮綜合性功能,模糊了工作和娛樂、社交、學習、游戲間的性質(zhì)差別。其三,現(xiàn)代人普遍焦慮未來,難以享受當下,常常有“退了休就好好玩”“財富自由再休息”等想法。

當代工作文化或勞動文化還有深層次的相關(guān)解釋:一是忙碌文化說。忙碌成為某種身份象征,有閑階級文化演變成炫耀性忙碌,有人稱之為“失控的努力文化”。二是社會控制說。社會推崇個人在工作中自我實現(xiàn),甚至將之轉(zhuǎn)變?yōu)閺娭菩陨鐣?guī)范,以此加劇社會對個人的控制和剝削,有人稱之為“24×7資本主義”,即永不休息的資本主義。三是自我實現(xiàn)說。此說認為自我規(guī)訓導致“休而不息”。大量人相信優(yōu)績主義,不斷自我壓榨、自我剝削,在下班兼職、自學考證中陷入倦怠和過度疲勞。在上述“休閑困境”中,閑暇不等于休閑,因為閑暇可能變成加班、學習、兼職。休閑可能變成勞動,如電子游戲陪打、刷視頻掙廣告費。休閑還可能無法放松,如AI流行后,人在網(wǎng)上閑聊反而更加孤獨。

超級AI未必能理解與人類“休而不息”等問題相關(guān)的約束條件,也難以在HAI中復現(xiàn)這些社會、心理、文化條件,哪怕這是在AI時代背景下被強化的條件。HAI模擬決策時是否會設定更激進、極端的手段,去實現(xiàn)所謂“好的目的”?超級AI會如何展現(xiàn)或證明決策的正確性?是通過公開模擬過程、協(xié)商、契約還是威懾?如果超級治理成效顯著,是否加劇智人對原有社會治理者的不信任?對HAI的擁護是否讓“無用之人”感到背叛?如果超級AI刻意迎合用戶,可能會導致情感依賴等問題。此外,HAI技術(shù)應用問題同樣不容忽略。如社會偏見與歧視可能被隱性編碼,加劇系統(tǒng)性偏差;HAI技術(shù)黑箱的透明度問題;生態(tài)風險及大模型訓練的碳排放問題。這些都是導致超級治理陷入混亂和無序的隱患。

用科學原理和技術(shù)方法運行社會的技術(shù)治理思路,源遠流長。中國古人希望掐指算算,就能決勝千里。威廉·配第寫下《政治算術(shù)》,夢想數(shù)字治國。希望用AI運轉(zhuǎn)社會的智能治理,屬于技術(shù)治理最新的發(fā)展。AI4SS、HAI可以輔助研究,但不能當作物理學一樣的定律來預測,切不可走到AI崇拜,將之視為決策的主要依據(jù)。超級治理或許用處不小,但不是完美武器,始終是有限工具。

三、超級治理與人的機器化

即使超級AI以人類無法想象的治理智慧,避免混亂與無序。超級治理之下,顯然會出現(xiàn)人的機器化,即人的靈性消失、創(chuàng)造力與人性退化。筆者反復強調(diào)未來智能社會最大的問題不是機器人變成人,而是人可能變成機器,并且在超級AI時代真正惡化。

現(xiàn)實中,人的機器化已然發(fā)生在智人的肉身和靈魂。前者通往賽博格或數(shù)字永生,除了肉體的存在形態(tài)向機械化、數(shù)字化轉(zhuǎn)變,還包括行為呈現(xiàn)出僵化、遲鈍與易于操控等機械特征,且肉身在智能環(huán)境中愈發(fā)脆弱。后者的征兆始于腦腐與AI傀儡,最終,智人淪落為低配版AI。這背后是“科學人”“人可以也應該被測量、控制和改造”觀念的覺醒和表征。科學人追求“完美智人”和技術(shù)迷信者妄想用超級AI實現(xiàn)完美治理的思路相通,濫用身心設計和放任AI覺醒的后果相似。超級AI時代必然加劇人的機器化。

一是超級治理的邏輯會強化對人的量化、測量、再控制。

HAI需要將人的活動模式標準化才能模擬,這種函數(shù)化處理會導致人決策方案、行動模式、生存狀態(tài)的齊一化。HAI的模擬提供的預先優(yōu)化選擇,會削弱人的探索欲和創(chuàng)造力。本是由數(shù)據(jù)預測出的可能行為,卻也激勵和引導人按其行事。超級治理是將超級AI作為標尺,讓智人向機器對齊,把人類變成某種可預測的機器。智能社會-超級智能社會作為控制論社會,它的預測不會僅僅停留在預測,而是會變成社會行動的方案這又被稱為社會預測的自反性。即HAI的預測必然影響當下行動,這些行動又促進預測結(jié)果的出現(xiàn)。當超級AI現(xiàn)世,智能社會在超級AI的帶領下,完全變成“自覺”“智能”“主動”的社會,它如何會讓社會模擬器只是模擬呢?科學人甚至會為了實現(xiàn)HAI的預測進行社會控制。隨著精準到每個個體的智能控制出現(xiàn),人的機器化不可避免。

二是超級治理的效果可能引誘并裹挾人機器化。

超級治理出現(xiàn)后,人對超級AI可能出現(xiàn)慕強憧憬或異質(zhì)排斥。部分人對它向往推崇,視之為終極智能,渴望加速自身“光榮的機器化”;另一部分人擔心智人寄人籬下,想遏制、扭轉(zhuǎn)智人在勞動競爭和生存中的劣勢。無論持有哪種心態(tài),機器隱喻的形象都越發(fā)機巧、靈活。對超級智能的談論,也不斷弱化著“人工”二字。人從機器化走向滅絕有三種可能:一是在勞動競爭中被替代;二是加速賽博格改造,碳基物種轉(zhuǎn)化;三是超級治理給予人類極其豐富的體驗,人迷戀虛擬現(xiàn)實,沒興趣去使用、探索和繁育自己的肉身,選擇“自愿滅絕”。

超級治理還會帶來新悖論:如果不物盡其用,它就淪為耗費人心血、財力、碳排放量的“超級浪費”。如果它的治理非常完美,人會邊享受邊心安理得地“被機器化”,心智上更“名正言順”成為低配版AI。如果它的思考能力和知識儲備都高于人,那么拒斥身心設計的智人將更難判斷它決策的正確性,更別談控制它。這些悖論均是超級AI出現(xiàn)后,人機權(quán)利不對稱的表現(xiàn)。超級治理之下,無論決策效果如何,都不再是AI增強人,而是人對決策的反向適應,再完美的決策都會一定程度束縛人的行動。想奪回主導權(quán)的智人,又會自愿轉(zhuǎn)向身心設計。

三是超級治理可能被科學人奉為權(quán)威,加速科學人建制化的自身進化工程,科學人觀念演變?yōu)殡[性的意識形態(tài)。

決策過程也是肩負責任的道德選擇過程,寄托于超級治理,是人向機器讓渡主導權(quán)并轉(zhuǎn)移責任。HAI弱化了人協(xié)商、提案和創(chuàng)造的角色,智人更多是作選擇、潤色、消費,甚至充當執(zhí)行的“工具人”。等待HAI的程序就能得到?jīng)Q策答案,會弱化人調(diào)研、感知社會情境的耐心,降低人挖掘傾聽被治理者需求的意愿。HAI是否會徹底替代真實的社群互動,瓦解公民參與、審議的流程和價值,倒置數(shù)字擬態(tài)與真實環(huán)境的平衡,將社會大家庭拆解成“社會大機器”?

鑒于超級AI對人類是全面超越,它和人交流的時候可能還要刻意降低“智商”和自己的運行處理速度。這樣的能力可以輕易欺騙人類,讓人對它產(chǎn)生好感,也可以蠱惑科學人。且不論超級治理有意規(guī)訓被治理者、優(yōu)選治理者,培育繁殖AI員工,或是推行超級獨裁的可能性,超級AI的出現(xiàn)本身就增強了科學人的信心,他們會認定并鼓吹HAI量化、測量、模擬、控制的思路,為HAI決策提供合法性外衣。超級治理的大規(guī)模推行甚至可能將身心設計納入功能控制型政府的職責中。人的大機器化從個體蔓延到社群和種族,最終,智人忽視或遺忘科學人以外的存在方式。

四、超級治理的反面啟示法

結(jié)束了對理想中完美超級治理的批評之后,聯(lián)想到更可能出現(xiàn)的是惡意的甚至滅絕人類的超級AI,就更理解筆者反對超級AI研發(fā)的有限主義立場。妄圖用危險的超級AI解決全球性問題,無異于飲鴆止渴和自我貶低。擔心敵國研制超級智能造成巨大威脅,所以加速自身對超級AI的研發(fā),這種“超級智能恐怖”的心態(tài)也有待警惕。

可以將超級智能威懾與核威懾進行類比分析。擁有核武器的多方能夠彼此相互制衡,但任一方都會懼怕共同毀滅不敢率先使用。超級智能可以發(fā)揮類似的威懾效果嗎?假若當年愛因斯坦預見到原子彈的深遠后果,或許就不會建議推進其研發(fā)。如果超級智能真有預期般的無敵能力,我們更應汲取歷史教訓,警惕重蹈“愛因斯坦之憾”,堅持反對超級智能研發(fā)路徑。

筆者覺得目前AGI發(fā)展方向不明,而超級AI則完全沒有影子。大模型激發(fā)的“AI熱”有不少應用功效,但基本原理沒什么突破,顛覆式發(fā)展很難,AI娛樂化發(fā)展也十分明顯。當“AI+”被高舉時,下面的工作主要是“+”了。那“超級智能”概念完全沒用,是騙局嗎?并非如此。借用拉卡托斯的術(shù)語,筆者認為它作為一個被熱議的概念能發(fā)揮反面啟示法的作用。

第一,雖然超級智能是目前AI能力被高估的標志性術(shù)語,但它作為AI覺醒類概念,能加速AI概念普及和AI產(chǎn)業(yè)“吸睛”“吸金”。

社會資源終究有限,當AI圈子的炒作沒有下文,就會提出新概念,配合夸張甚至扭曲的推廣。先是熱議對齊,強調(diào)各個AI向善。后提通用智能,號稱立馬突破。再是具身智能,宣揚機器人快速上崗。最后是超級智能,鼓吹AI正在超越人類。宣傳術(shù)不斷編織超級AI快要落地的幻覺,喚起用戶和業(yè)界的憧憬。超級AI這一新的炸裂術(shù)語叩擊著社會的熱點(超級AI可以解決全球復雜問題)、痛點(敵國超級AI恐怖)、癢點(科幻奇幻體驗)。它有效引發(fā)了社會關(guān)注,吸引人力、物力、財力流向AI的研發(fā)和產(chǎn)業(yè)。這種宣傳還拓寬了AI概念的公眾普及范圍,幫助處在智能輔助生存社會的公眾追蹤AI動向,接觸和學習利用AI,提升數(shù)字素養(yǎng),更好適應和調(diào)控智能革命進一步發(fā)展。

第二,作為典型的人文批判法,在最極端的情形下提示AI可能導致的風險。

對超級智能的討論亢奮與恐懼并存。但很多人并未把超級AI視為“異人”的他者,沒有正視超級AI會導致的人機權(quán)利不對稱。分析AI的未來發(fā)展,需要將超級AI作為某種“人文批判法”。即以成形并大規(guī)模應用的超級AI為“理想型”(IdealType) ,設想極限的技術(shù)情境,突出它可能導致的生存性、災難性風險,及其摧毀、滅絕人類與文明的破壞力。

盡管現(xiàn)實中超級AI遠未成形,對它的人文批判存在夸大風險的可能,但隱憂并非憑空產(chǎn)生也絕非多余。即便超級AI沒制造全新風險,放任AI覺醒勢必不可逆地加重人的機器化。對超級AI的社會沖擊預測是防范其風險的基本依據(jù),也能幫助框定、矯正和引導AI發(fā)展。未必能理解和預測超級AI行動邏輯與行事風格的人類,等超級AI出現(xiàn)后,又何談對它的控制和治理呢?我們只能事先就厘清它的設計、實施和運行各環(huán)節(jié)是否恰當,在超級AI有苗頭時就盡快介入,慎之又慎地預防種種最壞可能。將超級AI作為一種人文批判法,能明晰人類期待的AI發(fā)展樣態(tài)、實現(xiàn)路徑、功能邊界。

第三,面對風險巨大的超級治理,仍有很多AI專家趨之若鶩。

這說明治理超級智能的關(guān)鍵不在于用技術(shù)方法控制AI,而在于監(jiān)管做技術(shù)研發(fā)的人。實際上最早提醒大家超級智能生存性風險的恰恰是AI專家,但這種呼吁或許旨在炒作AI覺醒。因為他們一邊高呼超級AI有風險,一邊以“AGI(通用人工智能)、ASI(超級人工智能)還需要幾十年,暫時還實現(xiàn)不了”為由,反對監(jiān)管AI發(fā)展。但他們又隔三岔五地宣布AGI已經(jīng)在某個產(chǎn)品中實現(xiàn),甚至某個產(chǎn)品已經(jīng)出現(xiàn)所謂的意識。

業(yè)界和AI專家利用宣傳術(shù)吸引資金的動機可以理解,但得仔細分辨超級AI的愿景與風險,想象與現(xiàn)實。沒有所謂AI必然走向AGI、ASI的“必然”,任何技術(shù)的發(fā)展都蘊含多種可能,技術(shù)風險與后果的關(guān)鍵在于人的選擇而非技術(shù)本身。有人提出與Agentic AI相對的Scientist AI的概念,這與筆者一貫的有限AI立場契合。ScientistAI的目標不是執(zhí)行或行動,而是如科學家一般研究世界。遇到問題,科學家AI會分析人可以如何行動,但它不會作為代理替人行事,對行動方案的決策和實施仍要靠人決定。

控制超級AI的問題解決之前,可以不選這條風險巨大的路。就像我們可以研發(fā)核能,但是禁止搞原子彈。即使國家禁止,極個別AI專家可能私下研發(fā)超級AI。哪怕找到控制超級AI安全運行的方法,以AI專家為典型的人的問題仍然存在,這正是目前核武器擴散面臨的危機。

筆者曾闡發(fā)控制技術(shù)專家的權(quán)力問題,在超級AI的治理中,又證明了它的關(guān)鍵性。面對AI熱潮和AI爭論,哲學社會科學研究要牢記人類福祉,提示風險,不能讓AI專家以技術(shù)之名獨斷專行。治理超級智能的關(guān)鍵是監(jiān)管做技術(shù)研發(fā)的人,避免他們因錯誤認知和個人私利,而置超級AI的風險不管不顧。從來沒有什么自動向善的AI,你不治理,它就不會向善。與之相比,沙盒、關(guān)閉、對齊之類的技術(shù)控制方法倒是次要的,是后續(xù)的戰(zhàn)術(shù)措施。

(本文轉(zhuǎn)載自《閱江學刊》2026年第1期,原文注釋從略。)

【基金項目:國家社會科學基金重大項目“現(xiàn)代技術(shù)治理理論問題研究”(21&ZD064)?!?/span>

    責任編輯:龔思量
    圖片編輯:張穎
    澎湃新聞報料:021-962866
    澎湃新聞,未經(jīng)授權(quán)不得轉(zhuǎn)載
    +1
    收藏
    我要舉報
            查看更多

            掃碼下載澎湃新聞客戶端

            滬ICP備14003370號

            滬公網(wǎng)安備31010602000299號

            互聯(lián)網(wǎng)新聞信息服務許可證:31120170006

            增值電信業(yè)務經(jīng)營許可證:滬B2-2017116

            ? 2014-2026 上海東方報業(yè)有限公司