澎湃新聞?dòng)浾?李晶昀 AI 創(chuàng)意

“杭州六小龍”企業(yè)之一群核科技3月19日宣布，公司自主研發(fā)的空間理解模型SpatialLM正式開(kāi)源。該模型能夠基于從視頻中提取的點(diǎn)云數(shù)據(jù)，準(zhǔn)確認(rèn)知和理解其中的結(jié)構(gòu)化場(chǎng)景信息，并將它以腳本語(yǔ)言的形式呈現(xiàn)出來(lái)。

“就像我們環(huán)顧四周環(huán)境便可以理解背后的空間結(jié)構(gòu)一樣?！比汉丝萍既绱吮扔鳌＞唧w運(yùn)行中，可以簡(jiǎn)單理解，給SpatialLM“刷”一段視頻，它便能生成物理正確的3D場(chǎng)景布局。

據(jù)介紹，該模型特點(diǎn)之一是更通用的數(shù)據(jù)輸入模式。SpatialLM無(wú)須借助智能穿戴設(shè)備作為傳感器輸入數(shù)據(jù)，手機(jī)、相機(jī)所拍攝的視頻均可以成為數(shù)據(jù)來(lái)源，大大降低了開(kāi)發(fā)者的數(shù)據(jù)采集門檻。

其次是物理正確的場(chǎng)景創(chuàng)建能力?？臻g場(chǎng)景是否符合物理正確原則，是影響機(jī)器人空間理解效果的關(guān)鍵。

SpatialLM 基于視頻重建的3D結(jié)構(gòu)化場(chǎng)景

群核科技稱，這得益于公司在過(guò)去十余年中積累了海量的3D數(shù)據(jù)和空間認(rèn)知數(shù)據(jù)。該公司由黃曉煌、陳航、朱皓于2011年聯(lián)合創(chuàng)辦，主要以空間設(shè)計(jì)軟件市場(chǎng)為目標(biāo)。旗下產(chǎn)品包含空間設(shè)計(jì)軟件酷家樂(lè)、海外版產(chǎn)品Coohom，以及為AIGC、具身人工智能、AR/VR、機(jī)器人等提供虛擬環(huán)境訓(xùn)練的群核空間智能平臺(tái)SpatialVerse。

根據(jù)弗若斯特沙利文的資料，按2023年的平均月活躍用戶（MAU）數(shù)目計(jì)量，群核科技是全球最大的空間設(shè)計(jì)平臺(tái)；按2023年的收入計(jì)量，公司亦是中國(guó)最大的空間設(shè)計(jì)軟件提供商，約占22.2%的市場(chǎng)份額。2024年，群核科技的平均月活躍訪客數(shù)為8630萬(wàn)名。

群核科技方面表示，SpatialLM突破了大語(yǔ)言模型對(duì)物理世界幾何與空間關(guān)系的理解局限，讓機(jī)器具備空間認(rèn)知與推理能力，為具身智能等相關(guān)領(lǐng)域提供空間理解基礎(chǔ)訓(xùn)練框架。

值得一提的是，群核科技去年已發(fā)布群核空間智能解決方案（下稱“SpatialVerse”），SpatialVerse主要通過(guò)合成數(shù)據(jù)方案為機(jī)器人搭建起接近物理真實(shí)的“數(shù)字道場(chǎng)”，幫助它們?cè)诜抡姝h(huán)境下完成例如疊被子、遞送水杯、開(kāi)關(guān)冰箱門等行動(dòng)的交互訓(xùn)練。

群核科技稱，有了SpatialLM模型和SpatialVerse，機(jī)器人將獲得從認(rèn)知理解到行動(dòng)交互的完整閉環(huán)訓(xùn)練，也就是既能“看懂”世界，又能學(xué)會(huì)行動(dòng)決策，進(jìn)而在真實(shí)世界里順利“上崗”。

實(shí)際上，去年12月，群核科技聯(lián)合創(chuàng)始人兼董事長(zhǎng)黃曉煌在一次公開(kāi)演講中即提到，當(dāng)我們談到具身智能或者機(jī)器人的時(shí)候，“疊被子困境”是一個(gè)非常典型的場(chǎng)景。

“目前的 ChatGPT 大語(yǔ)言模型，可以很容易地讓機(jī)器人理解人類的指令，‘給我疊一個(gè)被子’，它也可以通過(guò)視覺(jué)判斷哪床被子是疊好的、哪床被子沒(méi)疊好，但它很難執(zhí)行?；蛘弋?dāng)它學(xué)會(huì)疊一床被子后，換個(gè)形狀可能就又不會(huì)了?！秉S曉煌指出，“機(jī)器人的大腦在數(shù)字世界里，但身體卻在物理世界中?！?/p>

而如何讓機(jī)器人正確理解物理世界，黃曉煌認(rèn)為關(guān)鍵是要有海量可交互的三維數(shù)據(jù)。

群核科技最新也提及，開(kāi)源僅僅是一個(gè)起點(diǎn)。“具身智能正處在爆發(fā)式發(fā)展的新階段，我們希望以空間模型和數(shù)據(jù)開(kāi)源為契機(jī)，讓更多具身智能從業(yè)者有機(jī)會(huì)參與二次創(chuàng)新，共同推動(dòng)產(chǎn)業(yè)技術(shù)底座持續(xù)進(jìn)化。”

此外值得關(guān)注的是，今年的2月14日，群核科技已正式向港交所遞交上市申請(qǐng)，也是“杭州六小龍”中首家啟動(dòng)IPO進(jìn)程的公司。

成立至今，該公司已獲得包括IDG資本、紀(jì)源資本、順為資本、云啟資本、經(jīng)緯創(chuàng)投、線性資本、Hearst、Pavillion、高瓴創(chuàng)投、Coatue等多家機(jī)構(gòu)投資。IPO前，IDG資本、紀(jì)源資本、高瓴創(chuàng)投均持有群核科技超10%的股份。