1月15日，澎湃科技（www.xinlihui.cn）獲悉，AI獨(dú)角獸企業(yè)MiniMax上海稀宇科技有限公司（以下簡稱“MiniMax”）發(fā)布并開源新一代01全新系列模型。該系列模型包含基礎(chǔ)語言大模型MiniMax-Text-01和視覺多模態(tài)大模型MiniMax-VL-01。MiniMax稱該系列模型可以實(shí)現(xiàn)高效超長文本輸入。MiniMax認(rèn)為，2025年將是Agent高速發(fā)展的關(guān)鍵年份，無論是單Agent系統(tǒng)還是多Agent系統(tǒng)，都需要更長的上下文來支持持續(xù)記憶和大量通信。

據(jù)了解，MiniMax-01系列模型首次大規(guī)模實(shí)現(xiàn)線性注意力機(jī)制，傳統(tǒng)Transformer架構(gòu)不再是唯一的選擇。

MiniMax-01系列模型核心性能在多項(xiàng)任務(wù)評測結(jié)果顯示結(jié)果

目前領(lǐng)先的大語言模型大都基于Transformer架構(gòu)，而Transformer核心的自注意力機(jī)制是其計(jì)算成本的重要來源。為了優(yōu)化計(jì)算效率，MiniMax研究社區(qū)提出了稀疏注意力、低秩分解和線性注意力等許多技術(shù)。通過使用線性注意力，原生Transformer的計(jì)算復(fù)雜度可從二次復(fù)雜度大幅下降到線性復(fù)雜度，在處理長輸入的時(shí)候具有非常高的效率。

據(jù)了解，該模型的參數(shù)量高達(dá)4560億，其中單次激活459億。模型綜合性能比肩海外頂尖模型，同時(shí)能夠高效處理全球最長400萬token的上下文，是GPT-4o的32倍，Claude-3.5-Sonnet的20倍。

MiniMax認(rèn)為，2025年將是Agent高速發(fā)展的關(guān)鍵年份，無論是單Agent系統(tǒng)還是多Agent系統(tǒng)，都需要更長的上下文來支持持續(xù)記憶和大量通信。MiniMax-01系列模型的推出，正是為了滿足這一需求，邁出建立復(fù)雜Agent基礎(chǔ)能力的第一步。

此外，MiniMax聲稱受益于架構(gòu)的創(chuàng)新、效率的優(yōu)化、集群訓(xùn)推一體的設(shè)計(jì)以及內(nèi)部大量并發(fā)算力復(fù)用，得以用業(yè)內(nèi)最低的價(jià)格區(qū)間提供文本和多模態(tài)理解的API，標(biāo)準(zhǔn)定價(jià)是輸入token1元/百萬token，輸出token8元/百萬token。

目前，MiniMax-01系列開源模型已應(yīng)用于MiniMax旗下產(chǎn)品海螺AI，并在全球范圍內(nèi)上線，企業(yè)與個人開發(fā)者可前往MiniMax開放平臺使用API。