社交媒體巨頭Meta發(fā)布了旗下最強(qiáng)開源人工智能（AI）模型Llama 3.1，扎克伯格稱開源是AI的未來前進(jìn)方向。

當(dāng)?shù)貢r(shí)間7月23日，Meta發(fā)布了旗下最新開源模型Llama 3.1，包含8B、70B和405B這三個(gè)參數(shù)規(guī)模。Meta方面表示，迄今為止，Llama系列所有版本的總下載量已超過三億次。Meta的CEO馬克·扎克伯格稱Llama 3.1的出現(xiàn)“將成為行業(yè)的一個(gè)轉(zhuǎn)折點(diǎn)”，并發(fā)文詳談了公司的開源AI策略。

今年4月，Meta剛剛發(fā)布Llama 3。Llama 3.1在Llama 3的基礎(chǔ)上進(jìn)行了重大更新，可以進(jìn)行八種語言的對(duì)話、編寫更高質(zhì)量的計(jì)算機(jī)代碼，并解決更復(fù)雜的數(shù)學(xué)問題。Llama 3.1模型已被用于驅(qū)動(dòng)聊天機(jī)器人Meta AI，該產(chǎn)品已加入Instagram和WhatsApp等應(yīng)用程序，同時(shí)有獨(dú)立網(wǎng)站。

據(jù)介紹，在150多個(gè)基準(zhǔn)測試集中，Llama 3.1 405B版本的表現(xiàn)基本追平甚至超越了此前最強(qiáng)閉源模型GPT-4o和Claude 3.5 Sonnet，而參數(shù)較小的8B和70B模型也能夠與谷歌、Mistral AI以及OpenAI旗下參數(shù)相似的各大模型相媲美。

Llama 3.1 405B版本在基準(zhǔn)測試集中取得優(yōu)異成績。來源：Meta

而Llama 3.1模型背后，其訓(xùn)練數(shù)據(jù)的規(guī)模也相當(dāng)驚人。為了在超過15萬億個(gè)token上訓(xùn)練Llama 3.1 405B模型，Meta團(tuán)隊(duì)大幅優(yōu)化了整個(gè)訓(xùn)練棧，并把模型算力規(guī)模首次擴(kuò)展到了超過16000個(gè)英偉達(dá)H100 GPU。

具體來看，團(tuán)隊(duì)依然采用了標(biāo)準(zhǔn)的僅解碼器的Transformer架構(gòu)，并采用迭代的post-training流程，每輪都進(jìn)行SFT（監(jiān)督微調(diào)）和DPO（直接偏好優(yōu)化），以提高能力性能。與Llama的以往版本相比，團(tuán)隊(duì)還提高了用于預(yù)訓(xùn)練和post-training的數(shù)據(jù)的數(shù)量和質(zhì)量。

同時(shí)，Meta的開源生態(tài)進(jìn)一步擴(kuò)張，Llama 3.1已經(jīng)在超過25個(gè)企業(yè)的平臺(tái)上推出，包括亞馬遜云科技、微軟云Azure、谷歌云、Oracle等主要云平臺(tái)。其中，亞馬遜云科技、Databricks和英偉達(dá)正在推出全套服務(wù)，以支持開發(fā)人員微調(diào)和訓(xùn)練自己的模型。

借這次機(jī)會(huì)，Meta還更新了開源許可，首次允許開發(fā)者使用Llama模型的輸出來改進(jìn)其他模型。Meta表示，團(tuán)隊(duì)也會(huì)將圖像、視頻和語音功能整合到 Llama 3 中，使模型能夠識(shí)別圖像和視頻，并通過語音支持交互，但該功能仍在開發(fā)中。

23日當(dāng)天，扎克伯格也為Llama 3.1發(fā)布了一篇長文，標(biāo)題為《開源AI是前進(jìn)之路》，將Llama 3.1稱為“行業(yè)的一個(gè)轉(zhuǎn)折點(diǎn)”。

在文中，扎克伯格將開源模型和開源的Linux操作系統(tǒng)進(jìn)行了比較，稱Linux因其可定制性、成本效益和安全性而受到歡迎，并最終成為云計(jì)算和移動(dòng)設(shè)備操作系統(tǒng)的行業(yè)標(biāo)準(zhǔn)，“相信AI也會(huì)以類似的方式發(fā)展?！?/p>

扎克伯格認(rèn)為，盡管一些AI公司正在開發(fā)領(lǐng)先的閉源模型，開源AI正在迅速縮小差距，并且開源的模式有利于公司發(fā)展：“我們必須確保始終能夠用到最佳技術(shù)，同時(shí)不能陷入競爭對(duì)手的封閉生態(tài)系統(tǒng)，因?yàn)楦偁帉?duì)手會(huì)限制我們的構(gòu)建?！痹瞬襁€在此處特別點(diǎn)名了蘋果的“蘋果稅”，稱其為影響Meta的一次經(jīng)歷。

扎克伯格強(qiáng)調(diào)，開源能夠促進(jìn)完整的生態(tài)系統(tǒng)發(fā)展，并讓行業(yè)中的各類模型都保持競爭力、高效和開放。而從更長遠(yuǎn)的角度來看，開源會(huì)讓AI變得更安全，讓這項(xiàng)技術(shù)更均勻、更安全地在整個(gè)社會(huì)部署，并讓系統(tǒng)更加透明，可以受到廣泛的審查。

另外，在接受外媒采訪時(shí)，扎克伯格透露，Meta已經(jīng)在開發(fā)Llama 4，Meta的聊天機(jī)器人已經(jīng)擁有“數(shù)億名”用戶，他預(yù)計(jì)Meta之外的其他公司也將使用Llama來訓(xùn)練自己的AI模型。扎克伯格還指出，認(rèn)為“美國在AI發(fā)展方面能夠永遠(yuǎn)領(lǐng)先中國5-10年”的觀點(diǎn)是不現(xiàn)實(shí)的，在AI競賽中對(duì)中國封鎖是大錯(cuò)特錯(cuò)，“美國保持6-8個(gè)月的領(lǐng)先是合理的（目標(biāo)）?！?/p>

7月23日，Meta（Nasdaq：META）股價(jià)收于每股488.69美元，漲0.26%，總市值1.24萬億美元。Wind數(shù)據(jù)顯示，自今年年初以來，Meta股價(jià)已上漲38.35%。