- +1
科學(xué)家為AI模型設(shè)置“防火墻”,以防止被不法分子濫用
人工智能(AI)正在迅速推進(jìn)新型蛋白質(zhì)的設(shè)計(jì)工作,這些蛋白質(zhì)有望用于藥物、疫苗及其他療法。但這種希望也伴隨著擔(dān)憂,同樣的工具也可能被用于設(shè)計(jì)生物武器或有害毒素的組成部分。
如今,科學(xué)家提出了一系列可以內(nèi)嵌到AI模型中的保護(hù)措施,既能阻止惡意使用,也使追蹤新型生物武器的AI制造者成為可能。4月28日,相關(guān)論文發(fā)表于《自然-生物技術(shù)》。
美國(guó)約翰斯·霍普金斯大學(xué)健康安全中心主任、流行病學(xué)家Thomas Inglesby表示:“建立正確的框架至關(guān)重要,將有助于我們充分發(fā)揮這項(xiàng)技術(shù)的巨大潛力,同時(shí)防范出現(xiàn)極其嚴(yán)重的風(fēng)險(xiǎn)?!?/p>
近年來(lái),科學(xué)家已經(jīng)證明,AI模型不僅可以根據(jù)氨基酸序列預(yù)測(cè)蛋白質(zhì)結(jié)構(gòu),還能以前所未有的速度生成從未見過的具有新功能的蛋白質(zhì)序列。像RFdiffusion和ProGen這樣最新的AI模型,能在幾秒鐘內(nèi)定制設(shè)計(jì)蛋白質(zhì)。在基礎(chǔ)科學(xué)和醫(yī)學(xué)領(lǐng)域,很少有人質(zhì)疑它們的潛力。
但論文通訊作者、美國(guó)普林斯頓大學(xué)計(jì)算機(jī)學(xué)家王夢(mèng)迪指出,這些模型的強(qiáng)大功能和易用性令人擔(dān)憂?!癆I變得如此簡(jiǎn)單易用。普通人不需要擁有博士學(xué)位,就能夠生成有毒化合物或病毒序列?!?/p>
美國(guó)麻省理工學(xué)院媒體實(shí)驗(yàn)室計(jì)算機(jī)學(xué)家Kevin Esvelt支持對(duì)制造高風(fēng)險(xiǎn)病毒和DNA的研究實(shí)施更嚴(yán)格的管控。他指出,這種擔(dān)憂仍停留在理論層面。“沒有實(shí)驗(yàn)室證據(jù)表明現(xiàn)有模型已經(jīng)強(qiáng)大到足以引發(fā)一場(chǎng)新的大流行疾病。”
盡管如此,包括Inglesby在內(nèi)的130名蛋白質(zhì)研究人員去年簽署了一份承諾書,表示會(huì)在工作中安全使用AI?,F(xiàn)在,王夢(mèng)迪和同事概述了可以內(nèi)嵌到AI模型中的保護(hù)措施,從而超越了自愿承諾。其中一項(xiàng)措施是名為FoldMark的防護(hù)機(jī)制,由王夢(mèng)迪實(shí)驗(yàn)室開發(fā)。它借鑒了谷歌旗下DeepMind的SynthID等現(xiàn)有工具的概念,即在不改變質(zhì)量的前提下,將數(shù)字模式嵌入AI生成的內(nèi)容中。
在FoldMark的案例中,一個(gè)作為唯一標(biāo)識(shí)符的代碼被插入蛋白質(zhì)結(jié)構(gòu)中,而不會(huì)改變后者的功能。如果檢測(cè)到一種新毒素,就可以通過這個(gè)代碼追查其來(lái)源。Inglesby評(píng)價(jià)說(shuō),這種干預(yù)措施“既可行,又在降低風(fēng)險(xiǎn)方面具有巨大潛力”。
研究團(tuán)隊(duì)還提出了一些改進(jìn)AI模型的方法,以減少造成危害的可能性。蛋白質(zhì)預(yù)測(cè)模型是基于現(xiàn)有蛋白質(zhì)(包括毒素和致病蛋白質(zhì))訓(xùn)練的,一種名為“忘卻”的方法將去除其中一些訓(xùn)練數(shù)據(jù),使模型更難生成危險(xiǎn)的新蛋白質(zhì);另外還提出了“反越獄”概念,即訓(xùn)練AI模型來(lái)識(shí)別并拒絕潛在的惡意指令。
此外,研究團(tuán)隊(duì)還敦促開發(fā)人員采用外部保障措施,比如使用自主代理監(jiān)控AI的使用情況,并在有人試圖制造危險(xiǎn)生物材料時(shí),向安全人員發(fā)出警報(bào)。
“實(shí)施這些保障措施并不容易。設(shè)立一個(gè)監(jiān)管機(jī)構(gòu)或某種程度的監(jiān)督機(jī)制將是一個(gè)起點(diǎn)?!闭撐淖髡咧?、美國(guó)國(guó)防部高級(jí)研究計(jì)劃局AI項(xiàng)目主管Alvaro Velasquez說(shuō)。
“人們對(duì)AI和生物安全的思考,不如對(duì)虛假信息或深度偽造技術(shù)等考慮得那么多。”美國(guó)斯坦福大學(xué)計(jì)算生物學(xué)家James Zou表示,所以對(duì)保障措施的新的關(guān)注是有益的。
不過,Zou認(rèn)為,監(jiān)管機(jī)構(gòu)與其要求將AI模型納入防護(hù)措施,不如將重點(diǎn)放在那些服務(wù)設(shè)施或機(jī)構(gòu)上,后者能夠?qū)I生成的蛋白質(zhì)設(shè)計(jì)轉(zhuǎn)化為大規(guī)模生產(chǎn)。“在AI與現(xiàn)實(shí)世界接軌的地方設(shè)置更多防護(hù)機(jī)制和監(jiān)管措施是有意義的?!?/p>
相關(guān)論文信息:https://doi.org/10.1038/s41587-025-02650-8
(原標(biāo)題為《防止被不法分子濫用,科學(xué)家為AI模型設(shè)置“防火墻”》)





- 報(bào)料熱線: 021-962866
- 報(bào)料郵箱: news@thepaper.cn
滬公網(wǎng)安備31010602000299號(hào)
互聯(lián)網(wǎng)新聞信息服務(wù)許可證:31120170006
增值電信業(yè)務(wù)經(jīng)營(yíng)許可證:滬B2-2017116
? 2014-2026 上海東方報(bào)業(yè)有限公司




