一水 發(fā)自 凹非寺

量子位 | 公眾號 QbitAI

龍蝦太火，所有人都想一試。但真到了上手環(huán)節(jié)就會迎來第一道“攔路虎”——

急急急，究竟哪個模型最適合OpenClaw啊？？

知道你急，龍蝦之父親自趕來支招了：可以關(guān)注這個因吹斯汀的榜單。

榜單名為PinchBench，專為龍蝦而生，從成功率、速度、價格等維度評估全球大模型對OpenClaw的適配程度。（劃重點，還是實時更新那種）

這個榜單其實今年2月底就出現(xiàn)了，但現(xiàn)在卻更火了——

這里面不止有龍蝦之父推薦的功勞，更重要的原因是咱中國模型的表現(xiàn)確實出色。（老外一看，嗯？？）

前排國產(chǎn)模型含量好高啊

熟悉龍蝦的朋友都知道，這選模型可是一件大事。

畢竟龍蝦這玩意兒一吃token耗錢，二又不能太慢影響用戶體驗。

換言之，人人都在價格和速度之間艱難走鋼絲。

而PinchBench要做的，就是直接告訴你答案——它按照成功率、速度、價格這三個基本維度對全球模型進行排名，所以哪個模型更擅長什么基本都一目了然。

截至本文發(fā)稿前，榜單具體情況如下——

整體而言，中國模型在成功率和速度方面都有不俗表現(xiàn)，價格方面則稍遜。

比成功率，除了第一名谷歌Gemini 3 Flash，第二、第三名都出自國內(nèi)。

第一名（Gemini 3 Flash）：成功率95.1%

第二名（MiniMax M2.1）：成功率93.6%

第三名（Kimi K2.5）：成功率93.4%

而且注意沒，MiniMax用的還不是它家最新模型MiniMax M2.5。

（注：MiniMax M2.5于春節(jié)期間上線，官方主打“讓無限運行復(fù)雜Agent在經(jīng)濟上可行”。）

比速度，國產(chǎn)模型MiniMax M2.5更是一舉超越Gemini、Llama等模型，登上榜首。

當(dāng)時發(fā)布時，MiniMax M2.5就在SWE-Bench Verified測試中，完成任務(wù)的速度較上一代M2.1提升了37%，端到端運行時間縮短至22.8分鐘，與Claude Opus 4.6持平。

而Claude Opus 4.6的最新排名是30（M2.1是第22）。

不過在價格方面，國產(chǎn)模型和OpenAI、谷歌模型相比則缺乏優(yōu)勢。

排第一的GPT-5-nano（專為輕量級、高性價比場景設(shè)計），輸入價格低至0.05美元/百萬tokens，輸出價格低至0.40美元/百萬tokens。

而國產(chǎn)模型中最便宜的MiniMax M2.1，輸入價格為2.1元/百萬tokens（約0.3美元/百萬tokens），輸出價格為8.4元/百萬tokens（約1.2美元/百萬tokens）。

平均下來，后者的價格幾乎是前者的3倍。

綜合來看，如果要在成功率和價格之間取得最佳平衡，下面這張圖可以作為參考。

左上角的方框已經(jīng)圈選出了還不錯的模型——一共8個，其中有4個還都是中國模型。

Anyway，在這份專為龍蝦而生的Benchmark中，國產(chǎn)模型的含量確實很高，而且在某些單項上表現(xiàn)出色。

那么問題來了，這榜單靠譜嗎？背后的篩選機制又是什么？

來看PinchBench的介紹。

誰是PinchBench？

簡單來說，PinchBench并不是某家大廠推出的標(biāo)準(zhǔn)Benchmark，而是來自一支做Agent基礎(chǔ)設(shè)施的創(chuàng)業(yè)團隊。

團隊名為Kilo AI，由GitLab前聯(lián)合創(chuàng)始人兼CEO Sid Sijbrandij投資并參與創(chuàng)立，曾推出爆火“氛圍編程”工具Kilo Code。

年初龍蝦爆火后，他們又順勢推出了基于OpenClaw構(gòu)建的全托管智能體平臺KiloClaw。

而隨著KiloClaw一起發(fā)布的，就有PinchBench這個智能體框架評測工具。

PinchBench主要被用來測試不同大模型在真實工作流中的執(zhí)行能力，和傳統(tǒng)大模型Benchmark（比如知識問答、數(shù)學(xué)推理）不同，其定位更接近“Agent能力測試”——

不只看模型會不會回答問題，而是看模型能不能完成一整件事。

目前它大約包含23個真實任務(wù)的測試，包括但不限于：

查詢并整理資料

寫郵件或生成報告

調(diào)用API完成操作

……

在評分機制上，PinchBench采用的是自動化檢查+LLM評審的組合方式：

一部分任務(wù)有明確的自動檢查腳本，例如是否生成正確文件、是否完成指定操作等；另一部分任務(wù)則會由LLM Judge來判斷結(jié)果質(zhì)量。

最終統(tǒng)計的核心指標(biāo)就是我們上面提到的Success Rate（任務(wù)完成率）、Speed（完成速度）、Cost（推理成本）。

由于評測方式偏向真實任務(wù)流程，值得注意的是，在PinchBench的排行榜上，你會看到一個有意思的現(xiàn)象——

更大的模型并非總是制勝之道。

換言之，那些偏Agent優(yōu)化或推理效率更高的模型，排名反而比傳統(tǒng)主流大模型更靠前。

這一點也是PinchBench最近在圈子里被頻繁討論的原因之一。

BTW，PinchBench目前還是完全開源的，用戶也可以在平臺上自行運行或添加新任務(wù)。

如果以后不知道怎么選模型，不妨自己動手一試。

PinchBench開源地址：

https://github.com/pinchbench/skill

參考鏈接：

[1]https://x.com/steipete/status/2030312187915309311

[2]https://pinchbench.com/about?utm_source=chatgpt.com

一鍵三連「點贊」「轉(zhuǎn)發(fā)」「小心心」

歡迎在評論區(qū)留下你的想法！

— 完 —

? 今天，你養(yǎng)蝦了嗎？