原創(chuàng) 數(shù)字生命卡茲克 數(shù)字生命卡茲克

眾多AI視頻創(chuàng)作者翹首以盼的Runway的Gen3，終于面向部分超級(jí)合作者開放了。

我的好基友@閑人一坤也是第一時(shí)間拿到了內(nèi)測(cè)資格，我就直接把號(hào)要來(lái)了。

我從中午到凌晨，跑了12個(gè)小時(shí)，幾百個(gè)Case。

發(fā)現(xiàn)我之前開的香檳，沒(méi)開早。

先放幾個(gè)我覺得還不錯(cuò)的case。

Runway Gen3，在模型質(zhì)量上，還是能把Luma和可靈拉開一些差距，特別是審美上。雖然也就是70分跟60分的區(qū)別，但至少，在模型質(zhì)量上，確實(shí)是我認(rèn)為的當(dāng)今No.1。

不過(guò)，現(xiàn)在只上了文生視頻，圖生和那些可控工具還沒(méi)上。

給我急急急急急急急急急急急急急急急急死了。

在我跟坤哥瞎吉爾一頓跑了快100個(gè)case之后，我決定還是偏系統(tǒng)性地測(cè)一下，這個(gè)系統(tǒng)只是比瞎跑系統(tǒng)一點(diǎn)，肯定比不過(guò)南洋理工或者上海人工智能實(shí)驗(yàn)室那種專業(yè)級(jí)別的測(cè)試，所以別杠我，杠就是你對(duì)= =

測(cè)試的構(gòu)筑方法上，其實(shí)我之前想了蠻久的，去年我其實(shí)規(guī)劃過(guò)一版測(cè)試維度，大類上有語(yǔ)義理解、畫面細(xì)節(jié)質(zhì)量、運(yùn)動(dòng)質(zhì)量、鏡頭移動(dòng)質(zhì)量、一致性、衰減性等等。

然后比如在運(yùn)動(dòng)幅度上，又可以拆為：人臉五官運(yùn)動(dòng)質(zhì)量、人物肢體運(yùn)動(dòng)質(zhì)量、動(dòng)物運(yùn)動(dòng)質(zhì)量、剛體運(yùn)動(dòng)質(zhì)量、流體運(yùn)動(dòng)質(zhì)量等等。

寫完以后我就覺得太扯淡了，不是這個(gè)劃分扯淡，是我的人力有點(diǎn)扯淡。真要這么跑一遍，那我就好幾天啥事都不用干了。

所以現(xiàn)在，為了達(dá)到成本與效率最優(yōu)解，我就非常簡(jiǎn)單粗淺地，按風(fēng)格去劃分，分為：

寫實(shí)風(fēng)格、動(dòng)畫風(fēng)格、科幻風(fēng)格、玄幻風(fēng)格、抽象風(fēng)格。

每個(gè)風(fēng)格里面跑10~15個(gè)prompt，每個(gè)prompt roll三遍，雖然只有文生視頻，但其實(shí)也基本能看出來(lái)模型整體質(zhì)量和特征了。

而寫prompt這活，當(dāng)然是交給AI去干了。

畢竟有公式可以套：

Prompt = 鏡頭語(yǔ)言+光影+主體描述+主體運(yùn)動(dòng)+場(chǎng)景+氛圍。

然后我就讓GPT根據(jù)公式和規(guī)則，給我哐哐哐的寫了幾噸的prompt。

再把這些prompt，扔到gen3里面跑case。

目前只能用文生視頻，其他的功能都還沒(méi)上。在最下面可以切換生成視頻的片段長(zhǎng)度，可選5s和10s兩種。

生成速度非常的快，親測(cè)10s的基本也就1分半就能跑出來(lái)，這個(gè)可比Luma好多了，那玩意動(dòng)不動(dòng)十幾分鐘。

而文章礙于篇幅，我就每個(gè)風(fēng)格，展示5個(gè)有代表性的case，讓大家一睹為快。

（注：在gen3中生成視頻我使用的都是英文，下面的是為了方便大家看所以所有prompt才都翻譯成了中文）

一.寫實(shí)風(fēng)格

寫實(shí)風(fēng)格測(cè)試的東西很簡(jiǎn)單，主要就是看現(xiàn)實(shí)城市街景、自然風(fēng)光、室內(nèi)場(chǎng)景等，也看看人物的面部表情、光影效果、細(xì)節(jié)紋理等。

核心還是現(xiàn)實(shí)世界的寫實(shí)。

1. 特寫鏡頭，溫暖的晚霞，一位長(zhǎng)發(fā)飄逸、面帶溫柔微笑的年輕女子，坐在咖啡館的露臺(tái)上，輕啜咖啡，背景中是模糊的城市景觀和人群交通，氛圍放松而舒適。

這個(gè)可以看到杯子是變形的，手的位置也很奇怪。除了這兩問(wèn)題之外，其他都還挺穩(wěn)。

2. 中景鏡頭，刺眼的正午陽(yáng)光，施工現(xiàn)場(chǎng)的工人們穿著安全裝備操作起重機(jī)，背景中聳立著摩天大樓，氛圍動(dòng)態(tài)而繁忙。

這個(gè)問(wèn)題就非常多了，肢體變形，人物消失，穿過(guò)了明明在遠(yuǎn)方的桿子，摩天大樓的細(xì)節(jié)也有問(wèn)題。

3.低角度鏡頭，戲劇性的側(cè)面光，一位專業(yè)廚師在繁忙的廚房里切菜，周圍蒸汽彌漫，鍋碗瓢盆懸掛，氛圍緊張而專注。

地獄難度，涉及到切菜也就是人、刀、菜的三者交互，所以基本都跟魔法一樣，不能看。

4.傾斜鏡頭，傍晚的街燈，一位音樂(lè)家在繁華的街角彈吉他，行人匆匆而過(guò)，商店門面上明亮的霓虹燈，氛圍熱鬧而充滿活力。

算是很能夸的一個(gè)鏡頭了，人物主體是非常穩(wěn)定的。但是背景過(guò)于復(fù)雜，很明顯的BUG就是剛開始的車開過(guò)去的時(shí)候，有個(gè)粉衣服的人是跟車合為一體的。

5.極限特寫鏡頭，自然光線，一位畫家的手在調(diào)色板上混合顏色，背景是畫布和畫架，手指上沾有顏料，氛圍專注而富有創(chuàng)造力。

很棒的一個(gè)鏡頭。是能明顯感受到有因果關(guān)系的，手和筆會(huì)影響顏料，還有粘連的效果。雖然肯定沒(méi)法跟現(xiàn)實(shí)世界比，但是已經(jīng)很不錯(cuò)了。

總結(jié)：寫實(shí)風(fēng)格整體看，還是人物特寫和風(fēng)景最穩(wěn)，一旦涉及到全景或者中景，當(dāng)人物沒(méi)有足夠的面積空間時(shí)，肢體變形就極為嚴(yán)重，但是如果不涉及到人物與物體的交互，那穩(wěn)定性還是非常強(qiáng)的。

而Runway有一說(shuō)一，在光影的審美上，是真的強(qiáng)。畢竟電影出身，審美是真舒服。

二.動(dòng)畫風(fēng)格

主要就是看對(duì)各種風(fēng)格的包容度以及審美，比如2D、3D、皮克斯、吉卜力等等。

1.特寫鏡頭，柔和的晨光，一位粉色頭發(fā)、大眼睛的年輕女孩，日式動(dòng)漫風(fēng)格，望著窗外，櫻花在空中飄落，背景是傳統(tǒng)的日本房屋，氛圍寧?kù)o且懷舊。

風(fēng)格倒是正常，櫻花飄地也很好看，就是人物動(dòng)態(tài)太少，跟寫實(shí)比差太多了，基本沒(méi)有任何表演可言。

2.中景鏡頭，夕陽(yáng)余暉，一位未來(lái)派機(jī)器人和一個(gè)人類女孩，3D動(dòng)畫風(fēng)格，走在霓虹燈閃爍的街道上，周圍是全息標(biāo)志和飛行汽車，城市景觀中高聳的建筑，氛圍鮮活且高科技。

我真不是故意嚇大家才把這個(gè)傳上來(lái)的，是他真的BUG的有特點(diǎn)，因?yàn)槲遗艹鰜?lái)好多前后不分的視頻，這個(gè)就是典型代表。

3.高角度鏡頭，明亮的正午陽(yáng)光，一群充滿活力的玩具復(fù)活，皮克斯風(fēng)格，在一個(gè)孩子色彩繽紛的臥室里，玩具車和動(dòng)作人物四處移動(dòng)，氛圍愉快且充滿活力。

奇奇怪怪的鏡頭，風(fēng)格也不是皮克斯的典型風(fēng)格，物體也都是莫名其妙的出來(lái)，最后小熊突然變成積木飛了那一瞬間我是真沒(méi)繃住。

4.跟蹤鏡頭，柔和的黃昏光，一位勇敢的少女戰(zhàn)士，手持發(fā)光的劍，幻想動(dòng)漫風(fēng)格，跑過(guò)一片迷人的森林，周圍是神話生物和古老遺跡，氛圍史詩(shī)且冒險(xiǎn)。

除了手上那把劍不知道是個(gè)什么玩意，也沒(méi)有神話生物和古老遺跡啥的，都挺好。

5.越肩鏡頭，昏暗的室內(nèi)燈光，一位年輕的巫師手持魔法書，中世紀(jì)動(dòng)漫風(fēng)格，在宏偉的圖書館中施法，書架上擺滿了古老的書籍和魔法神器，氛圍神秘且魔幻。

最后的那一下特效帥炸了，就是人物的臉變形了，從一個(gè)異瞳萌妹不知道是個(gè)什么玩意，而且也不是越肩視角，不過(guò)越肩視角這個(gè)就不強(qiáng)求了，沒(méi)幾個(gè)能畫出來(lái)的。

總結(jié)：動(dòng)畫風(fēng)格整體化上，其實(shí)都挺差勁的，吉卜力、3D、美漫啥的效果表現(xiàn)都極差，整體審美、物理動(dòng)態(tài)也比寫實(shí)差很多，明顯感受到了數(shù)據(jù)集的不足，runway整體還是非常的偏寫實(shí)和電影的。

三.科幻風(fēng)格

我自己最喜歡的風(fēng)格，主要看模型的數(shù)據(jù)集和泛化能力，能不能把一些很科幻的場(chǎng)景表現(xiàn)出來(lái)。應(yīng)該也是我跑得最多的case，好像文檔里放了將近20個(gè)。

1.廣角鏡頭，霓虹城市燈光反射在金屬表面，一個(gè)巨型機(jī)甲從一個(gè)流線型車輛變形為高聳的機(jī)器人，齒輪和面板無(wú)縫轉(zhuǎn)換，背景中有未來(lái)感的摩天大樓和飛行汽車，氛圍緊張且高科技。

我是有多想不開才會(huì)讓AI給我跑變形金剛。但是他居然變了出來(lái)，雖然整體都很奇怪，但是至少是變了，這個(gè)prompt理解是猛的。

2.中景鏡頭，鮮艷的藍(lán)色和銀色調(diào)，兩臺(tái)機(jī)甲陷入史詩(shī)般的戰(zhàn)斗，迅速交換打擊并發(fā)射能量武器，四周是煙霧和爆炸的破壞性城市戰(zhàn)場(chǎng)，氛圍充滿動(dòng)感和動(dòng)作感。

真的，帥炸了，我愛慘了，這打架是正兒八經(jīng)會(huì)打起來(lái)的啊，真的會(huì)爆炸??！科幻還是得runway??！

3.跟蹤鏡頭，昏暗的走廊，一群太空海軍陸戰(zhàn)隊(duì)小心翼翼地穿過(guò)廢棄的飛船，燈光閃爍和詭異的聲音，氛圍緊張且懸疑。

整體都很穩(wěn)，氛圍和質(zhì)感也無(wú)敵，就是有個(gè)人出BUG卡門里了。

4.廣角鏡頭，旋轉(zhuǎn)的五彩斑斕的漩渦，一個(gè)流線型的時(shí)間旅行飛船快速穿過(guò)隧道，周圍是光線和能量軌跡，氛圍令人興奮且超凡脫俗。

這光影，這質(zhì)感，想哭，我的新片子，想馬上就要開始做了！??！

5.特寫鏡頭，強(qiáng)烈對(duì)比的照明，一個(gè)宇航員在空間站外漂浮，背景中可見地球和月亮，星星在頭盔面罩上反射，氛圍寂靜且孤立。

這種大特寫，必然穩(wěn)定，人物還有眼球表演，只能說(shuō)，牛逼。

總結(jié)：沒(méi)啥可說(shuō)的，在科幻領(lǐng)域上，runway就是No.1，其他都得靠邊站。我的新片子，已經(jīng)開始準(zhǔn)備了，有點(diǎn)興奮的睡不著覺了。

四.玄幻風(fēng)格

跟科幻一樣，也偏想象，很吃數(shù)據(jù)集和泛化。主要就是看魔法、神話世界啥的。

1.特寫鏡頭，柔和溫暖的燈光，一位年輕的女巫師，眼睛發(fā)光，手持頂端有水晶的法杖，長(zhǎng)袍上有復(fù)雜的符文，背景是迷人的森林，氛圍魔法且寧?kù)o。

所有的一切都很穩(wěn)，除了只有三根手指，否則就是完美的。

2.越肩鏡頭，昏暗的火炬光，一個(gè)盜賊在黑暗地牢里撬開一扇巨大的華麗門鎖，周圍是古老的符號(hào)和蜘蛛網(wǎng)，氛圍緊張且秘密。

很有趣的一個(gè)是人走過(guò)火的時(shí)候，手上真的有東西被點(diǎn)著了。當(dāng)然BUG問(wèn)題很大，門最后變成了現(xiàn)代門。而且頂上出來(lái)了游戲的方位條，感覺是扒了刺客信條的數(shù)據(jù)集。

3.廣角鏡頭，月光之夜，一個(gè)覆蓋著發(fā)光符文的巨型石像從密林中出現(xiàn)，樹木搖晃，腳下的地面開裂，背景是古老的遺跡，氛圍神秘且不祥。

有一種憨批巨像的即視感，除了人物丑，沒(méi)啥其他的問(wèn)題。

4.傾斜鏡頭，月光之夜，一群精靈在神圣的樹林中進(jìn)行儀式，發(fā)光的符文和魔法能量在他們周圍旋轉(zhuǎn)，古老的樹木和星空，氛圍神秘且敬畏。

雕像造型上非?？颂K魯魔幻的一段，最后的光效非常華麗，runway不愧是電影出身，這小特效做得一個(gè)比一個(gè)頂。

5.廣角鏡頭，夢(mèng)幻般的燈光，一座古老的城堡坐落在懸崖上，周圍環(huán)繞著旋轉(zhuǎn)的霧氣，天空中一條龍翱翔，中世紀(jì)幻想風(fēng)格，氛圍壯麗且神秘。

龍的畫面面積太小了，所以還是那個(gè)問(wèn)題，風(fēng)控變形，其他都很準(zhǔn)，也很理解語(yǔ)義。

總結(jié)：玄幻相比之下，沒(méi)有runway的科幻那么長(zhǎng)板，還是會(huì)弱一些，適合做西方玄幻，中國(guó)玄幻不好測(cè)，等出圖生視頻了再測(cè)，效果不一定有可靈強(qiáng)。

五.抽象風(fēng)格

抽象風(fēng)格其實(shí)就是測(cè)試抽象的幾何圖形、色彩斑斕的空間、不規(guī)則形狀等等，主要關(guān)注形狀、顏色、運(yùn)動(dòng)和情感，而不是具體的物體或場(chǎng)景。

1.特寫鏡頭，明亮霓虹色與暗背景形成鮮明對(duì)比，分形圖案有節(jié)奏地?cái)U(kuò)展和收縮，氛圍強(qiáng)烈且令人著迷。

我是沒(méi)想到gen3的分形藝術(shù)能做的這么穩(wěn)這么好。

2.低角度鏡頭，鮮明的黑白色調(diào)，銳利的角形圖案不規(guī)則地移動(dòng)，創(chuàng)造出混亂和迷失方向的感覺。

這就是藝術(shù)，沒(méi)啥可說(shuō)的，最后有點(diǎn)不穩(wěn)了。

3.搖攝鏡頭，明亮的彩色粒子旋轉(zhuǎn)并匯聚成抽象的形態(tài)，營(yíng)造出一種生動(dòng)的運(yùn)動(dòng)和興奮感。

想起了我以前用C4D做的粒子效果，辛辛苦苦渲半天，還真不如這個(gè)。

4.跟蹤鏡頭，流動(dòng)的金屬表面反射環(huán)境光，形狀在移動(dòng)中拉伸和彎曲，營(yíng)造出一種未來(lái)主義的超現(xiàn)實(shí)感。

液體金屬質(zhì)感無(wú)敵，這以后誰(shuí)還做特效啊= =

5.廣角鏡頭，鮮艷顏色的漸變平滑融合，重疊的半透明幾何圖形緩慢旋轉(zhuǎn)，營(yíng)造出一種平靜和流動(dòng)的感覺。

無(wú)敵，這顏色漸變，再調(diào)調(diào)能追上蘋果了。

總結(jié)：gen3的抽象藝術(shù)，是我完全沒(méi)想到能做到這么好的程度，對(duì)AE包裝這塊的沖擊可能會(huì)有點(diǎn)大，這種特效以后都不用做了，AI直出。

寫在最后

上面的case，只是部分。

所有的其他case，我都放在了飛書文檔里，想要看全部的，關(guān)注我公眾號(hào)后，后臺(tái)私信"gen3"就有了。

Runway這一波，還是展現(xiàn)了自己作為老牌公司的實(shí)力，整整六年時(shí)間的沉淀。

就像他們老板自己說(shuō)的那樣。

一夜成名，從不存在。

這背后是時(shí)間、精力、金錢的積累，是在低谷期在睡不著覺的時(shí)候的瘋狂的煎熬。

所以，才有了今天的Runway。

誰(shuí)沒(méi)有過(guò)低谷，誰(shuí)沒(méi)有過(guò)煎熬呢，但是他們撐了過(guò)來(lái)，用這六年在電影工業(yè)和AI技術(shù)上的積累，做出了比同行高一等審美和技術(shù)力的大模型。

前方的路，還很漫長(zhǎng)。

他們當(dāng)然也有可能有無(wú)數(shù)的挑戰(zhàn)。

但是，至少在今天。

他們就是我心中那實(shí)至名歸的。

No.1。

原標(biāo)題：《我測(cè)了12個(gè)小時(shí)的RunwayGen3，發(fā)現(xiàn)這就是AI視頻的No.1?！?/p>

閱讀原文