1000萬(wàn)上下文？2萬(wàn)億參數(shù)？MoE混合架構(gòu)，原生多模態(tài)。清明假期，你是否也被Meta這波Llama 4系列模型發(fā)布后，各種酷炫數(shù)據(jù)和名詞炸醒？

曾經(jīng)的開源領(lǐng)袖，實(shí)際已經(jīng)被DeepSeek搶了各種風(fēng)頭。在扎克伯格下死命令，4月初必須發(fā)布新版本大模型的強(qiáng)大壓力下，Llama一切動(dòng)作已經(jīng)變形。原本使命是超越GPT和Claude等閉源模型，吊打一切的存在，然后呢？實(shí)現(xiàn)了嗎？

Llama 4系列模型發(fā)布：

Llama 4 Scout（?。?/p>

單張H100 GPU可運(yùn)行，適合本地部署，支持1000萬(wàn)token上下文，這是行業(yè)最牛成績(jī)。

Llama 4 Maverick（中）

總參數(shù)高達(dá)4000億，但推理時(shí)僅激活部分專家，效率更高。

多模態(tài)性能超越GPT-4o，在ChartQA、DocVQA等基準(zhǔn)測(cè)試中領(lǐng)先，編程能力媲美DeepSeek v3，但參數(shù)僅一半。

Llama 4 Behemoth（大，預(yù)覽版）

Meta 2萬(wàn)億參數(shù)巨獸，仍在訓(xùn)練中。

超大參數(shù)，據(jù)說(shuō)STEM任務(wù)超越GPT-4.5、Claude3.7等。

將作為“教師模型”，用于蒸餾優(yōu)化更小的Llama 4模型。

測(cè)評(píng)分?jǐn)?shù)高居全球第二

Llama 4 Maverick 目前在LM Arena 排行榜上排名第二，僅次于 Gemini 2.5 Pro。

而且具備原生多模態(tài)能力：Llama 4采用了早期融合（Early Fusion）技術(shù)，可以用海量的無(wú)標(biāo)簽文本、圖片和視頻數(shù)據(jù)一起來(lái)預(yù)訓(xùn)練模型。

超長(zhǎng)上下文：

Scout 版本支持1000萬(wàn) tokens（約15000頁(yè)文本?。?，醫(yī)學(xué)、科研、代碼分析等超長(zhǎng)文檔處理能力直接拉滿。

在其他大模型僅有200萬(wàn) tokens上下長(zhǎng)度時(shí)，小扎掏出了大炸雷，不想和大家閑聊。

幾個(gè)核心技術(shù)

MoE架構(gòu)效率炸裂：

Llama 4開始轉(zhuǎn)向采用混合專家模型（MoE），推理時(shí)僅激活部分參數(shù)，成本更低——Maverick 推理成本僅$0.19/百萬(wàn)token，比GPT-4o便宜90%。

iRoPE實(shí)現(xiàn)超長(zhǎng)上下文:

iRoPE（交錯(cuò)旋轉(zhuǎn)位置編碼）是Meta為L(zhǎng)lama 4設(shè)計(jì)的升級(jí)版位置編碼技術(shù)。

局部注意力層：用旋轉(zhuǎn)位置編碼（RoPE）處理短上下文（如8K token），保留位置關(guān)系。

全局注意力層：直接去掉位置編碼（NoPE），通過(guò)動(dòng)態(tài)調(diào)整注意力權(quán)重處理超長(zhǎng)內(nèi)容，類似“模糊匹配”長(zhǎng)距離關(guān)聯(lián)。

就像讀書時(shí)用書簽（RoPE）標(biāo)記重點(diǎn)段落，同時(shí)靠記憶（NoPE）串聯(lián)全書脈絡(luò)。

埋葬RAG技術(shù)？

相比RAG技術(shù)，iRoPE無(wú)需依賴外部知識(shí)庫(kù)檢索，直接通過(guò)模型內(nèi)部自身處理完整信息，減少信息丟失風(fēng)險(xiǎn)，預(yù)計(jì)未來(lái)會(huì)成為大模型技術(shù)標(biāo)配，以后大模型容易忘記前文的事情，基本就不會(huì)出現(xiàn)了。

開源但有限制：商用需遵守 Meta 政策，月活超7億的公司需額外授權(quán)，且產(chǎn)品名必須帶“Llama”。

鯨哥在Together AI上體驗(yàn)了Llama 4 Scout，并沒有什么特別的強(qiáng)悍之處，DeepSeek對(duì)比之下體感還是強(qiáng)很多。Llama 4有點(diǎn)像Google，“參數(shù)沒輸過(guò)，實(shí)戰(zhàn)沒贏過(guò)”。

一句話總結(jié)：Meta 這次把開源AI卷到新高度，多模態(tài)+長(zhǎng)上下文+超低成本，Llama 4 可能是目前最香的開源大模型之一。

但下周OpenAI o3和Claude等新模型發(fā)布，Llama 4估計(jì)又會(huì)被奪走注意力。

而且最新消息，Meta高層在后訓(xùn)練階段中，將多個(gè)benchmark測(cè)試集混入訓(xùn)練數(shù)據(jù)。有副總裁因?yàn)長(zhǎng)lama刷分問(wèn)題憤而辭職，也就說(shuō)目前官宣的成績(jī)有很大的水分。

Meta旗下?lián)碛蠪acebook、Whatsapp等知名社交APP，全球還有超30億月活用戶，這波Meta在AI領(lǐng)域?yàn)榱搜陲椔浜髤s公然造假，留給市場(chǎng)一句嘆息。