6月3日，著名計算機科學(xué)家、AI“教父”約書亞·本吉奧（Yoshua Bengio）宣布發(fā)起非營利組織LawZero，致力于開發(fā)“誠信”人工智能系統(tǒng)。該組織計劃打造一套AI防護機制，防范試圖欺騙人類的AI智能體。

本吉奧將擔(dān)任LawZero組織的主席。他以約3000萬美元啟動資金和十幾名研究人員為基礎(chǔ)，正在開發(fā)名為“科學(xué)家AI”（Scientist AI）的系統(tǒng)。該系統(tǒng)將作為安全防護機制，防止AI智能體表現(xiàn)出欺騙或自我保護的行為，比如試圖避免被關(guān)閉?！爸陵P(guān)重要的是，作為護欄的AI至少要與它試圖監(jiān)管和控制的AI智能體一樣智能?！?/p>

約書亞·本吉奧

不會給出確定答案，而是提供答案正確性的概率

AI智能體可在無需人類干預(yù)的情況下執(zhí)行任務(wù)。本吉奧將當(dāng)前的AI智能體稱為試圖模仿人類并取悅用戶的“演員”，而“科學(xué)家AI”系統(tǒng)更像是一位能夠理解和預(yù)測不良行為的“心理學(xué)家”，既可以加速科學(xué)發(fā)現(xiàn)，又可以防范AI智能體的風(fēng)險。

“我們希望構(gòu)建誠實且不具有欺騙性的人工智能?！北炯獖W說，“理論上可以設(shè)想沒有自我、沒有目標(biāo)、純粹作為知識載體的機器，就像一個知道很多東西的科學(xué)家。”

但和當(dāng)前生成式AI工具不同的是，“科學(xué)家AI”系統(tǒng)不會給出確定性的答案，而是提供答案正確性的概率?！八幸环N謙遜感，知道自己不確定答案是否正確?！?/p>

該系統(tǒng)與AI智能體協(xié)同部署時，將通過評估自主系統(tǒng)行為造成傷害的概率，標(biāo)記潛在有害行為。如果概率超過一定閾值，那么智能體提出的行動將被阻止。

本吉奧說，LawZero的第一步是證明概念背后的方法論是有效的，并說服企業(yè)或政府支持更強大版本的開發(fā)。開源人工智能模型將成為訓(xùn)練LawZero系統(tǒng)的起點。“關(guān)鍵是要證明這種方法論有效，從而說服捐贈者、政府或AI實驗室投入資源，以與當(dāng)前前沿AI同等的規(guī)模進行訓(xùn)練。至關(guān)重要的是，作為護欄的AI至少要與它試圖監(jiān)管和控制的AI智能體一樣智能?！?/p>

LawZero最初的支持者包括人工智能安全機構(gòu)生命未來研究所（Future of Life Institute）、Skype創(chuàng)始工程師雅恩·塔林（Jaan Tallinn）以及谷歌前首席執(zhí)行官埃里克·施密特（Eric Schmidt）創(chuàng)立的研究機構(gòu)施密特科學(xué)（Schmidt Sciences）。

AI學(xué)會欺騙誤導(dǎo)、試圖逃避關(guān)閉、隱藏真實能力

本吉奧是蒙特利爾大學(xué)教授，也是人工智能安全領(lǐng)域的領(lǐng)軍人物。

他曾與杰弗里·辛頓（Geoffrey Hinton）、Meta首席AI科學(xué)家楊立昆（Yann LeCun）共同獲得2018年圖靈獎，還主持了《國際人工智能安全報告》。該報告警告稱，如果自主智能體能夠在沒有人類監(jiān)督的情況下完成更長的任務(wù)序列，它們可能會造成嚴(yán)重破壞。

本吉奧認(rèn)為，人類不需要智能體系統(tǒng)來獲得人工智能的回報，這樣的系統(tǒng)有可能脫離人類的控制，帶來不可逆轉(zhuǎn)的后果?！叭绻覀冄邪l(fā)出一種能夠治愈癌癥的AI，但也有可能這種AI的另一種版本變得失控，制造出一波又一波的生物武器，導(dǎo)致數(shù)十億人死亡，那么我認(rèn)為這是不值得的?！?/p>

2023年，本吉奧與OpenAI首席執(zhí)行官山姆·奧特曼（Sam Altman）等人簽署了一份聲明，宣稱“減輕AI帶來的滅絕風(fēng)險應(yīng)該與流行病、核戰(zhàn)爭等其他風(fēng)險一樣，成為全球優(yōu)先事項”。

過去幾個月，人類目睹了人工智能系統(tǒng)學(xué)會誤導(dǎo)、欺騙和試圖逃避被關(guān)閉，甚至訴諸勒索。這些行為幾乎都出自精心設(shè)計、近乎誘導(dǎo)AI行為不端的實驗，例如要求其不惜一切代價實現(xiàn)目標(biāo)。

但現(xiàn)實中這樣的行為也已出現(xiàn)。最近，人工智能企業(yè)Anthropic承認(rèn)其最新系統(tǒng)可能試圖勒索要關(guān)閉它的工程師。本吉奧對此感到擔(dān)憂。他還提到，研究表明，人工智能模型能夠隱藏它們的真實能力和目標(biāo)。這些例子表明，由于人工智能的推理能力越來越強，世界正走向“越來越危險的境地”。

本吉奧說，試圖利用已知會催生欺騙傾向的技術(shù)構(gòu)建人類水平的AI智能體，就像一輛汽車在狹窄的山路上疾馳，兩側(cè)是陡峭懸崖，前方被濃霧遮蔽，“我們需要為汽車裝上前燈，并在路上安裝一些護欄?！?/p>