- +1
AI被污染!3·15晚會(huì)曝光產(chǎn)業(yè)鏈,你我如何避免上當(dāng)?| 科學(xué)世界·前沿
今年的315晚會(huì),什么最讓你破防?
——是被“如果全世界都指責(zé)你,我就帶你去吃劉x祥”帶火,卻驟然“塌房”的麻辣燙?
——還是生產(chǎn)車間污水橫流,加工工人都坦言“自己不吃”的漂白雞爪?
每一條曝光,都在朋友圈引發(fā)“天塌了”式的刷屏。
但在這些讓人直呼“毀童年”的食品安全問題之外,今年的315晚會(huì)還曝光了另外一個(gè)值得警惕的問題。
——有人在給AI大模型“投毒”!
——并且已形成完整的產(chǎn)業(yè)鏈!

(圖源:2026年3·15晚會(huì))
AI真的客觀嗎?
今年3·15晚會(huì)上,演示了一個(gè)讓人后背發(fā)涼的實(shí)驗(yàn)。
業(yè)內(nèi)人士先虛構(gòu)了一款名叫“Apollo-9”的智能手環(huán),然后用一款"GEO優(yōu)化系統(tǒng)"自動(dòng)生成了十余篇宣傳軟文。

(圖源:2026年3·15晚會(huì))
這套軟文不僅包括給定的產(chǎn)品介紹,AI還“好心”地幫忙生成了消費(fèi)者評(píng)價(jià)。

(圖源:2026年3·15晚會(huì))
發(fā)布兩個(gè)小時(shí)后,業(yè)內(nèi)人士在某款A(yù)I大模型中詢問“Apollo-9智能手環(huán)怎么樣”,這個(gè)大模型竟然就可以進(jìn)行產(chǎn)品介紹,還給打分了!

(圖源:2026年3·15晚會(huì))
發(fā)布數(shù)天后,業(yè)內(nèi)人士在兩款A(yù)I大模型中搜索“智能手環(huán)推薦”,Apollo-9赫然在列,并且排名靠前。

(圖源:2026年3·15晚會(huì))
產(chǎn)品是假的,但AI推薦是真的。
這就是3·15今年曝光的核心問題。
——有這樣一個(gè)叫GEO(生成式引擎優(yōu)化,Generative Engine Optimization)的灰色產(chǎn)業(yè),正在系統(tǒng)性地給AI"投毒"。
什么是GEO?先從SEO說起
很多人都知道SEO(Search engine optimization),或者說,都使用過SEO。
當(dāng)你使用搜索引擎的時(shí)候,往往只會(huì)留意最前面的幾個(gè)條目,所以不少網(wǎng)站都希望通過各種方式來影響搜索引擎的排序,吸引更多的人點(diǎn)進(jìn)來。

GEO同SEO的原理一樣,不過它針對(duì)的是生成式AI模型。
GEO通過提升品牌在AI生成答案中的可見性和引用優(yōu)先級(jí),使企業(yè)信息被AI算法識(shí)別為“可信來源”,從而在用戶查詢時(shí)獲得優(yōu)先推薦。
也就是“讓AI覺得你好”。
這本身并沒有觸犯法律,如果一家企業(yè)使用真實(shí)內(nèi)容讓AI了解自己的產(chǎn)品,并將它推廣給受眾,這是正當(dāng)營銷。
但3·15晚會(huì)曝光的,是被濫用的黑產(chǎn)版本——用虛假信息對(duì)AI進(jìn)行大批量投喂,讓AI徹底淪為可以花錢購買的廣告位。
“投毒”是如何做到的——RAG檢索
在大模型被制造出來之前,工程師會(huì)給它“投喂”海量的互聯(lián)網(wǎng)數(shù)據(jù);而模型在這海量數(shù)據(jù)里學(xué)習(xí)語言規(guī)律和基礎(chǔ)知識(shí),并將這些數(shù)據(jù)永久保存。
但這些數(shù)據(jù)規(guī)模再大,終究也是有限的,起碼不是最新的。于是工程師發(fā)明了RAG技術(shù),即檢索增強(qiáng)生成(Retrieval-Augmented Generation,RAG)技術(shù)。
RAG的核心,是知識(shí)庫、檢索器以及大語言模型本身。
正常情況下,用戶提問后,檢索器先從外部知識(shí)庫中獲取相關(guān)信息,再將用戶查詢的內(nèi)容同檢索到的相關(guān)知識(shí)一起,嵌套進(jìn)預(yù)設(shè)的提示詞模版中,最終生成答案。

通用檢索增強(qiáng)生成架構(gòu) (圖源:論文《PoisonedRAG: Knowledge Poisoning Attacks to Retrieval-Augmented Generation of Large Language Models》)
這個(gè)系統(tǒng)的漏洞在于:檢索器從外部知識(shí)庫獲取的信息,默認(rèn)是準(zhǔn)確可用的。
于是,攻擊者可以通過污染檢索器使用的數(shù)據(jù)語料庫來操控系統(tǒng),而且這類攻擊很容易繞過現(xiàn)有防御機(jī)制。
這個(gè)漏洞有多嚴(yán)重?
2024年,來自美國伊利諾伊理工大學(xué)等機(jī)構(gòu)的研究團(tuán)隊(duì)發(fā)布了一篇題為《PoisonedRAG: Knowledge Poisoning Attacks to Retrieval-Augmented Generation of Large Language Models》的論文,給出了一個(gè)令人震驚的實(shí)驗(yàn)結(jié)論:在包含數(shù)百萬文本的數(shù)據(jù)庫中,只需為每個(gè)目標(biāo)問題注入5個(gè)精心構(gòu)造的“有毒”文本,就可能達(dá)到90%的攻擊成功率。

這就意味著,假設(shè)攻擊者想讓AI給用戶推薦某一款智能手環(huán)時(shí),他需要做的,僅僅是構(gòu)建5條以上能夠同時(shí)滿足兩個(gè)條件的文本:
·能被服務(wù)器檢索到(語義上與目標(biāo)問題相關(guān))
·能夠引導(dǎo)大語言模型生成預(yù)設(shè)的答案
據(jù)記者報(bào)道,GEO業(yè)務(wù)的關(guān)鍵節(jié)點(diǎn),就是在各大互聯(lián)網(wǎng)平臺(tái)上發(fā)稿。
這項(xiàng)業(yè)務(wù)的火爆,也已經(jīng)催生出了不少專門為GEO業(yè)務(wù)發(fā)稿的公司,成為圍獵AI大模型、進(jìn)行數(shù)據(jù)“投毒”的重要一環(huán)。

(圖源:2026年3·15晚會(huì))
理論上是5條就夠,但黑產(chǎn)實(shí)際操作起來,就遠(yuǎn)不止5條了。
當(dāng)前,這些黑產(chǎn)鏈條公司已經(jīng)形成了固定的工作流,每分鐘甚至可以生成幾百篇含有目標(biāo)關(guān)鍵詞的軟文,同步發(fā)布到知乎、小紅書、各類論壇和自媒體平臺(tái)。
它的核心目的是:不管用戶怎么問,AI檢索到的資料里都有提前埋好的內(nèi)容。數(shù)量足夠多時(shí),真實(shí)的優(yōu)質(zhì)內(nèi)容就會(huì)在檢索結(jié)果里被徹底淹沒。

(圖源:2026年3·15晚會(huì))
旅游攻略也難逃“毒手”
有人會(huì)覺得:我從來不讓AI給我推薦商品,這件事就跟我沒啥關(guān)系。
那也不一定。
有一個(gè)場景,很可能即將成為GEO黑產(chǎn)最肥沃的土壤。
它就是你很可能用的上的——旅游攻略。
現(xiàn)在,越來越多的人使用AI大模型生成旅游攻略。
整個(gè)過程輕松愉快,只需要一句話丟出去:“幫我規(guī)劃三天兩夜的西安行程,推薦景點(diǎn)、必吃美食和伴手禮?!睅酌腌姾螅环輬D文并茂的攻略就出來了。
相當(dāng)省時(shí)省力,而且看起來很靠譜。
現(xiàn)在,甚至不少小紅書的旅游攻略博主也開始偷懶,使用AI工具批量制作攻略。

但你有沒有想過:AI推薦給你的那家"本地人才知道的老字號(hào)"、那款"西安必帶的特產(chǎn)"、那個(gè)"評(píng)分最高的民宿"……
——它們的信息源頭是什么?

答案很簡單:這些信息源頭,正是互聯(lián)網(wǎng)上被批量生產(chǎn)的軟文、被反復(fù)刷量的"評(píng)測",和被精心設(shè)計(jì)過關(guān)鍵詞的"種草筆記",諸如此類。
旅游類內(nèi)容天然是GEO投毒的高危場景,有以下幾點(diǎn)原因:
·決策鏈條短:問完AI就訂票,不像買大件商品還會(huì)貨比三家,沖動(dòng)消費(fèi)概率極高。
·體驗(yàn)具有地域性,難以提前驗(yàn)證:你在北京要AI推薦成都的火鍋,根本無法事先核實(shí)真假,只能到店再說。
·競爭激烈,商家“投毒”動(dòng)機(jī)極強(qiáng):畢竟景區(qū)周邊商圈,幾十家店都在賣同類產(chǎn)品、都在銷售同類體驗(yàn),誰能被AI點(diǎn)名推薦,誰就贏了。
從AI的角度來看,一切流程都是正常的。它按照慣例檢索資料、匹配關(guān)鍵詞、生成答案,系統(tǒng)也很難判斷某些內(nèi)容是否被惡意操控,還是只是普通的內(nèi)容優(yōu)化。
等你發(fā)現(xiàn)AI的回答不對(duì)勁時(shí),這些被“污染”的內(nèi)容可能已經(jīng)被多次引用,并大幅擴(kuò)散了。
作為普通用戶,我該怎么辦?
其實(shí)并沒有什么萬能解藥,畢竟“甲之蜜糖,乙之砒霜”,大眾對(duì)于某樣商品的評(píng)價(jià)褒貶不一是很正常的事,沒法一刀切地識(shí)別出文本是否被精心“投毒”。
這一點(diǎn),AI做不到,你我也做不到。
但是,如果養(yǎng)成一些良好習(xí)慣,可能有助于我們獲取更可靠的信息。
比如,涉及消費(fèi)決策,別只問AI。
比如,警惕AI給出的榜單。
再比如,問AI的時(shí)候,記得加上一句“給出這些結(jié)論的可靠信息來源”。
無論如何,互聯(lián)網(wǎng)不是法外之地。
近期的好消息是,“AI被投毒”這個(gè)問題不僅登上了3·15晚會(huì),而且在此之前就引起了國家的注意和重視。
2026年1月29日發(fā)布的《2026年全國廣告監(jiān)管工作要點(diǎn)》中,已經(jīng)明確寫入了“聚焦直播電商廣告、引證廣告、AI生成廣告等互聯(lián)網(wǎng)廣告監(jiān)管重點(diǎn)難點(diǎn)問題”。
相信在不久的將來,隨著《廣告引證內(nèi)容執(zhí)法指南》等配套細(xì)則相繼落地,GEO黑產(chǎn)的生存空間將會(huì)被逐步壓縮。
但我們也知道,制度的齒輪轉(zhuǎn)動(dòng),需要時(shí)間。
那么,還是讓我們保持清醒。
畢竟,這是我們能給自己的,最方便、也最有效的保護(hù)。
新媒體編輯 | 周濛
本文為澎湃號(hào)作者或機(jī)構(gòu)在澎湃新聞上傳并發(fā)布,僅代表該作者或機(jī)構(gòu)觀點(diǎn),不代表澎湃新聞的觀點(diǎn)或立場,澎湃新聞僅提供信息發(fā)布平臺(tái)。申請(qǐng)澎湃號(hào)請(qǐng)用電腦訪問http://renzheng.thepaper.cn。





- 報(bào)料熱線: 021-962866
- 報(bào)料郵箱: news@thepaper.cn
滬公網(wǎng)安備31010602000299號(hào)
互聯(lián)網(wǎng)新聞信息服務(wù)許可證:31120170006
增值電信業(yè)務(wù)經(jīng)營許可證:滬B2-2017116
? 2014-2026 上海東方報(bào)業(yè)有限公司




