“希望在接下來(lái)的十年、二十年的時(shí)間，繼續(xù)把K4、K5到K100做的更好?！?/p>

1月10日，在清華大學(xué)基礎(chǔ)模型北京市重點(diǎn)實(shí)驗(yàn)室主辦的AGI-Next前沿峰會(huì)上，AI大模型獨(dú)角獸月之暗面（Kimi）創(chuàng)始人、CEO楊植麟談到Kimi在未來(lái)的發(fā)展規(guī)劃。

澎湃新聞?dòng)浾?范佳來(lái) 攝

在大模型迎來(lái)上市潮流之際，同為大模型獨(dú)角獸的Kimi的資本動(dòng)態(tài)受到外界廣泛關(guān)注。去年12月31日，楊植麟曾在內(nèi)部全員信中表示，公司已完成5億美元C輪融資，賬面有超過(guò)100億元人民幣的現(xiàn)金儲(chǔ)備。

此外，信中還透露，Kimi全球付費(fèi)用戶數(shù)月增速170%，受K2 Thinking大模型帶動(dòng)，Kimi在海外的大模型API收入增長(zhǎng)4倍。

楊植麟表示，自2019年以來(lái)，全球大模型的發(fā)展都遵循一個(gè)核心規(guī)律——Scaling Law，本質(zhì)上就是“更多算力、更多數(shù)據(jù)、更大模型參數(shù)，能讓AI更聰明、犯錯(cuò)更少”。這一規(guī)律的落地，離不開(kāi)主流架構(gòu)Transformer的支撐。

他舉例說(shuō)明，Transformer與早期的LSTM架構(gòu)相比，在處理短文本任務(wù)時(shí)效果相近，但面對(duì)長(zhǎng)文本、復(fù)雜任務(wù)時(shí)，Transformer能更清晰地記住邏輯關(guān)系，就像“看短文章不分上下，讀長(zhǎng)篇報(bào)告則優(yōu)勢(shì)明顯”，這也成為其適配當(dāng)下編程、復(fù)雜問(wèn)題求解等場(chǎng)景的關(guān)鍵。

基于這一核心規(guī)律，Kimi的技術(shù)研發(fā)聚焦兩大方向：讓AI“學(xué)東西更快”和“記東西更久”。為實(shí)現(xiàn)這兩個(gè)目標(biāo)，團(tuán)隊(duì)取得了兩項(xiàng)關(guān)鍵技術(shù)突破。一是推出MUON二階優(yōu)化器，相較于行業(yè)沿用十年的Adam優(yōu)化器，新優(yōu)化器讓AI的學(xué)習(xí)效率翻倍，“原本要讀100份資料才能學(xué)會(huì)的技能，現(xiàn)在50份就夠，還學(xué)得更扎實(shí)”。

二是研發(fā)Kimi Linear架構(gòu)，解決了傳統(tǒng)技術(shù)“記久了就出錯(cuò)”的問(wèn)題，在處理百萬(wàn)字級(jí)長(zhǎng)文本時(shí)，速度比傳統(tǒng)架構(gòu)快6-10倍，且邏輯更穩(wěn)定。

值得一提的是，團(tuán)隊(duì)還攻克MUON優(yōu)化器訓(xùn)練中的“Logit爆炸”難題，通過(guò)動(dòng)態(tài)QK-clip技術(shù)，在不影響效果的前提下，實(shí)現(xiàn)萬(wàn)億參數(shù)級(jí)Kimi K2模型的穩(wěn)定訓(xùn)練。作為中國(guó)首個(gè)真正意義上的Agent模型，Kimi K2具備兩三百步工具調(diào)用能力，能獨(dú)立完成復(fù)雜編程、難題推導(dǎo)等任務(wù)，在核心測(cè)試HLE中準(zhǔn)確率達(dá)到45%，超越了OpenAI同類模型。

楊植麟透露，目前已有多款中國(guó)開(kāi)源模型成為行業(yè)測(cè)試標(biāo)準(zhǔn)，“中國(guó)技術(shù)不僅要好用，還要參與制定規(guī)則”。面向未來(lái)，團(tuán)隊(duì)將持續(xù)迭代技術(shù)，下一代模型將采用Kimi Delta Attention新型線性注意力機(jī)制，進(jìn)一步提升短長(zhǎng)文本任務(wù)性能與速度。同時(shí)，未來(lái)的大模型還將具備更多“審美”和“價(jià)值觀”，擺脫同質(zhì)化發(fā)展。

對(duì)于公眾關(guān)心的AI安全問(wèn)題，楊植麟分享與Kimi的對(duì)話感悟：“AI可能是人類探索未知的鑰匙，能幫我們攻克癌癥、解決能源危機(jī)、探索宇宙。雖然有風(fēng)險(xiǎn)，但放棄發(fā)展就等于放棄人類文明的上限?！?/p>

他表示，團(tuán)隊(duì)將在做好風(fēng)險(xiǎn)控制的前提下持續(xù)突破，計(jì)劃未來(lái)十年、二十年內(nèi)，陸續(xù)推出K4、K5直至K100系列模型。（記者注：目前最新版本的Kimi大模型是K2）