原創(chuàng) 王藝 甲子光年

Runway CTO：將在“幾天內(nèi)”向付費用戶提供。

作者｜王藝

編輯｜趙健

文生視頻領域又有新人來卷了。

北京時間6月17日晚九點，Runway發(fā)布了其最新的視頻大模型Gen-3 Alpha，這是Runway即將推出的一系列模型中的第一個。Runway稱，與Gen-2相比，Gen-3 Alpha在保真度、一致性和運動方面有了重大改進，并且朝著構(gòu)建“通用世界模型”的道路上邁出了重要一步。

Runway成立于2018年，是一家AI視頻編輯軟件提供商。很早之前，Runway在文生圖領域就曾經(jīng)大放異彩，和Stability AI一起訓練了大名鼎鼎的Stable Diffusion模型。

2023年2月，Runway提出了首個AI編輯模型Gen-1，用戶可以在原視頻基礎上進行編輯操作；2023年2月，在很多用戶都沒拿到Gen-1內(nèi)測資格的時候，Gen-2就發(fā)布了。相比Gen1，Gen-2在實現(xiàn)更高保真度和一致性的同時，增加了Multi-Motion Brush功能，允許用戶在一張圖像上選擇多個區(qū)域，并對每個區(qū)域設置不同的運動速度參數(shù)；同時，Gen-2還可以無需原視頻基礎，從頭升成視頻。

本次發(fā)布的Gen-3 Alpha模型使用視頻和圖像聯(lián)合訓練，其特色包括：

90秒內(nèi)快速生成10秒視頻

并行生成多個視頻

模型驅(qū)動新的文本到視頻（T2V）、圖像到視頻（I2V）和文本到圖像（T2I）

動作筆刷、高級攝像機控制、導演模式

即將推出用于精細控制結(jié)構(gòu)、風格、動作的工具

Runway CTO Anastasis Germanidis發(fā)帖表示，在多模態(tài)模型中，“控制”（即可控性）是關(guān)鍵，視頻擴散模型（Vedio Diffusion Models）還遠遠未達到通過Scaling帶來的性能提升；并且這些模型在學習預測視頻的任務時，構(gòu)建了視覺世界的強大表征，因此對于這些表征的把握至關(guān)重要。

Anastasis Germanidis在接受采訪時也透露了Gen-3 Alpha的發(fā)布時間點：將在“幾天內(nèi)”首先向付費 Runway用戶提供，但免費版本也將在未來某個時間點向所有用戶開放。

相比于其他視頻生成模型，Gen-3 Alpha更加側(cè)重于為專業(yè)的藝術(shù)家服務，其宣傳語就是——“For artists, by artists（為藝術(shù)家而生，由藝術(shù)家而生）?！?/p>

這也是Runway的愿景，Runway的強大逼真的影像生成能力可能會在影視創(chuàng)作領域掀起AI革命。

Runway CEO Cristóbal Valenzuela曾在今年3月份發(fā)帖稱——“讓我們拍電影吧。我們不要花5000萬美元拍一部電影，而是用100萬美元拍500部電影?！?/p>

1.更細顆粒度的時間控制

Gen-3 Alpha接受了高度描述性、時間密集的說明文字的訓練，因此能夠?qū)崿F(xiàn)富有想象力的過渡，和更為精確的場景元素關(guān)鍵幀，在動作跟隨和時間控制上表現(xiàn)得更加精準：

Prompt: An extreme close-up shot of an ant emerging from its nest. The camera pulls back revealing a neighborhood beyond the hill.

提示詞：一只螞蟻從巢中爬出來的特寫鏡頭。鏡頭向后拉，顯示出山那邊的一個社區(qū)。

Prompt: Handheld camera moving fast, flashlight light, in a white old wall in a old alley at night a black graffiti that spells ‘Runway’.

提示詞:手持相機快速移動，手電筒的燈光，在一個古老的小巷的白色舊墻上的黑色涂鴉，拼寫“Runway”。

Prompt: An astronaut running through an alley in Rio de Janeiro.

提示詞：一名宇航員正在里約熱內(nèi)盧的一條小巷里奔跑。

2.更逼真的人類角色

此次發(fā)布的Gen-3 Alpha擅長創(chuàng)造具有多種動作、手勢和情感的富有表現(xiàn)力的人類角色，給了視頻創(chuàng)作者更好的“講故事”的可能性：

Pompt: Subtle reflections of a woman on the window of a train moving at hyper-speed in a Japanese city.

提示詞：日本某城市高速行駛的火車窗戶上，映出一位女性的微妙倒影。

Prompt: An older man playing piano, lit from the side.

提示詞：一位老男人在彈鋼琴，燈光從側(cè)面照來。

3.更多樣的藝術(shù)風格

Gen-3 Alpha擁有一支“跨學科”的訓練團隊——它由研究科學家、工程師和藝術(shù)家組成；同時，不同于其他多模態(tài)大模型在特定基礎上訓練而成，Gen-3 Alpha是從零開始訓練的，這就使其突破了原有視頻范式的束縛，帶來了一定的創(chuàng)造力。也因此，Gen-3 Alpha能更好地詮釋各種藝術(shù)風格和電影術(shù)語。

Prompt: A man made of rocks walking in the forest, full-body shot.

提示詞：一個由巖石構(gòu)成的男人在森林中行走，全身照。

Prompt: An ultra-wide shot of a giant stone hand reaching out of a pile of rocks at the base of a mountain.

提示詞：一張超廣角鏡頭，一只巨大的石手從山腳下的一堆巖石中伸出。

Prompt: Aerial view shot of a cloaked figure elevating in the sky betweem slyscrapers.

提示詞：從空中拍攝的隱形人物在摩天大樓之間的天空中升起。

此外，Runway還在官網(wǎng)中表示，作為 Gen-3系列模型的一部分，他們一直與領先的娛樂和媒體組織合作并建立伙伴關(guān)系，為他們提供Gen-3 Alpha的定制版本。Gen-3系列模型的定制版允許用戶生成更加風格化、與現(xiàn)實更加一致的內(nèi)容，并且可以針對特定的藝術(shù)和敘事要求進行編輯。

同時，Runway團隊還將為Gen-3 Alpha還將發(fā)布一套新的保護措施，包括全新的內(nèi)部視覺審核系統(tǒng)和C2PA（Coalition for Content Provenance and Authenticity，是一套新的技術(shù)標準和開源代碼，可以標注內(nèi)容來源）出處標準，以確保Gen-3 Alpha生成內(nèi)容版權(quán)的有效性。

4.網(wǎng)友：比Luma和Sora還要先進

相較于之前視頻模型發(fā)布時外界的褒貶不一，此次發(fā)布的Gen-3 Alpha之后，網(wǎng)友的反應卻相當?shù)囊恢隆獛缀跛腥硕荚跒镚en-3 Alpha生成的效果所驚嘆，質(zhì)疑聲寥寥。

比如有網(wǎng)友認為，Gen-3 Alpha生成動漫的能力是他們“很了解用戶需求”的表現(xiàn)；

再比如有網(wǎng)友驚嘆到，文本轉(zhuǎn)視頻的問題很快就解決了！

更是有人直接放上了瞠目結(jié)舌的表情以示震撼：

也有網(wǎng)友直接把Gen-3 Alpha和Luma Dream Machine的demo放在一起進行了對比，可以看出，無論在畫質(zhì)還是視頻創(chuàng)意上，Gen-3 Alpha都明顯優(yōu)于Dream Machine；更有網(wǎng)友表示，“看起來比Luma和Sora還要先進”。

自今年二月Sora發(fā)布以來，AI視頻領域就一直有玩家躍躍欲試，前有Snap Video、Vidu，后有快手可靈、Yisu、Dream Machine。相較于之前的AI視頻產(chǎn)品，可靈和Dream Machine在視頻真實性、連貫性上大大增強，已經(jīng)有了一點“世界模型”的影子；

然而，AI視頻領域的老玩家Runway在此期間的一直保持沉默，似乎是在養(yǎng)精蓄銳，直到今天才帶來了驚艷世界、可控性更強、效果不輸Sora的“世界模型”Gen-3 Alpha。

可以說，我們沒有等來Sora，但等來了世界模型的全面開花。而下一個驚艷眾人的世界模型是誰，我們也將拭目以待。

（封面圖來源：Runway）

END.

原標題：《Runway發(fā)布Gen-3 Alpha：用100萬美元拍500部電影的時代來了?。鬃庸饽辍?/p>

閱讀原文