- +1
我遇到一群要把“機(jī)器人”訓(xùn)練成藝術(shù)家的人
原創(chuàng) 史中 淺黑科技 淺黑科技 收錄于話題#淺黑科技9#科技2#人工智能4#字節(jié)跳動(dòng)2#巨量引擎1

淺友們好~我是史中,我的日常生活是開撩五湖四海的科技大牛,我會(huì)嘗試各種姿勢(shì),把他們的無(wú)邊腦洞和溫情故事講給你聽。如果你想和我做朋友,不妨加微信(shizhongmax)。
我遇到一群要把“機(jī)器人”訓(xùn)練成藝術(shù)家的人
文 | 史中
(一)會(huì)“造人”的人
2020年的春天,對(duì)于林達(dá)松來(lái)說(shuō)格外漫長(zhǎng)。
寒風(fēng)掃過(guò)濟(jì)南空蕩的街頭,像鬼魅一樣搖動(dòng)著他小龍蝦店落下的卷簾閘門。
店里十幾個(gè)兄弟,都給放了長(zhǎng)假。疫情一天不過(guò)去,他的龍蝦店就虧損一天;疫情一個(gè)月不過(guò)去,龍蝦店就虧損一個(gè)月。
從大學(xué)畢業(yè)就創(chuàng)業(yè),辛辛苦苦經(jīng)營(yíng)三年,自己的店剛成了整條街最靚的崽,老天爺就把路堵得死死的。。。林達(dá)松坐在屋里,心里的悶氣怎么都出不來(lái),只好窩在沙發(fā)上刷抖音。
本來(lái)也就看看唱歌跳舞,看看別人做美食,突然一下,林達(dá)松從沙發(fā)上彈了起來(lái)。他刷到了“別人家的小龍蝦店”,關(guān)鍵是,后面居然還掛著外賣鏈接,更關(guān)鍵的是,還有很多人下單的亞子。
“別人能在抖音上做外賣,那我憑啥不能?”他拍大腿。
上網(wǎng)一通搜,他發(fā)現(xiàn)抖音上確實(shí)可以投廣告,除了掏廣告費(fèi)以外,只有一個(gè)條件:你得自備一個(gè)用來(lái)推廣的視頻。
林達(dá)松也沒學(xué)過(guò)剪輯,也沒當(dāng)過(guò)網(wǎng)紅,視頻要咋弄完全兩眼一抹黑。他硬著頭皮登錄廣告后臺(tái),想找找教程,突然眼里映入一根救命稻草:有一個(gè)自動(dòng)生成視頻的功能。
他按照指示上傳了一些圖片、視頻素材。沒想到,奇跡發(fā)生了——幾秒鐘之后,系統(tǒng)自動(dòng)幫他剪輯好了一個(gè)廣告視頻,看上去還挺像那么回事。

廣告大概長(zhǎng)這樣,我截了幾張圖
現(xiàn)在回想,林達(dá)松還真是賭對(duì)了。很多鄰居都刷到了他們的廣告,真有不少人在抖音上訂他的小龍蝦,最多的時(shí)候一天賣出112單。
好多人想買來(lái)嘗嘗,卻不太熟悉在抖音的下單流程,就去后臺(tái)問,店員一邊炒菜一邊打字當(dāng)客服,街道上行人稀少,他的后廚卻忙得團(tuán)團(tuán)轉(zhuǎn)。后來(lái)林達(dá)松只好又拍了很多短視頻告訴大家如何下單,閑下來(lái)還做直播跟大伙聊天。
塞翁失馬,焉知非福。一個(gè)小龍蝦店就這樣陰差陽(yáng)錯(cuò)成為了“抖音網(wǎng)紅”,反而比以前更火了。
林達(dá)松的故事,其實(shí)只是萬(wàn)千飯店老板的縮影。這次疫情,把很多線下的活動(dòng)都逼到了線上。人們的生活節(jié)奏雖然和以前不同,但是似乎也沒有變得更壞。
嗯,今天的中哥講故事就到這里,再見。
等等,你有沒有注意到,剛才的故事里,有一個(gè)可怕的細(xì)節(jié)。。。
林達(dá)松最開始做推廣視頻的時(shí)候,是系統(tǒng)自動(dòng)幫他剪輯的。。。
這是個(gè)啥系統(tǒng)?居然自己會(huì)剪輯??不是隨便的阿貓阿狗視頻,還剪的是廣告視頻???
細(xì)節(jié)背后有魔鬼,今天的故事,從這兒才剛剛開始。
如果再早幾年,大概在2018年,如果你刷抖音,也會(huì)看到廣告。只不過(guò),那時(shí)候的廣告可以用“簡(jiǎn)陋”來(lái)形容。
簡(jiǎn)單的背景音樂,一個(gè)相貌平平的產(chǎn)品圖從頭挺到尾,死魚一樣動(dòng)都不動(dòng)。
用戶刷抖音的過(guò)程中,看到這種廣告,會(huì)突然有種我是誰(shuí)我在哪為什么給我看這個(gè)的感覺。。。不僅推廣效果不盡如人意,還會(huì)讓一些用戶“賭氣”退出抖音,損失慘重。。。
注意,廣告不夠好,不等于產(chǎn)品不夠好。
彼時(shí),互聯(lián)網(wǎng)電商已經(jīng)經(jīng)歷了十幾年的發(fā)展,玩法可謂相當(dāng)“成熟”——在某寶做個(gè)推廣的費(fèi)用恨不得比帕瓦羅蒂的《我的太陽(yáng)》還高。很多產(chǎn)品厚道誠(chéng)實(shí)經(jīng)營(yíng)的后起中小商家實(shí)在卷不動(dòng),看到了在抖音上做宣傳的機(jī)會(huì),于是紛紛把廣告戰(zhàn)場(chǎng)轉(zhuǎn)移到抖音上的廣告平臺(tái),這個(gè)平臺(tái)就叫“巨量引擎”。
本來(lái)是好事,但問題也跟著來(lái)了:
中小商家手里的廣告素材大多只有圖片。本來(lái)就小本經(jīng)營(yíng)薄利多銷,大多數(shù)商家沒有預(yù)算去專門拍個(gè)視頻(賣耳挖勺的還找人拍個(gè)視頻廣告那恐怕半年利潤(rùn)都搭進(jìn)去了。。。);就算有預(yù)算,也不知道該找誰(shuí)拍這種抖音風(fēng)格的廣告。
所以,在抖音上就出現(xiàn)了不少“對(duì)不起觀眾”的廣告創(chuàng)意。
這是個(gè)問題,得有人解決。
Andy,就是巨量引擎找來(lái)解決這個(gè)問題的的人。因?yàn)樗幸粋€(gè)特異功能——造人。具體來(lái)說(shuō),是制造“機(jī)器人”。
加入之前,Andy的日常工作就是用算法和智能造出無(wú)數(shù)人“機(jī)器人”幫人做投資。機(jī)器人,自然有諸多好處,沒有恐懼,也不會(huì)貪婪,還不知疲倦。
既然機(jī)器人能做投資,那會(huì)不會(huì)也能做創(chuàng)意呢?
(二)一個(gè)“創(chuàng)意機(jī)器人”的誕生
哥們,不是說(shuō)不信你啊。
但創(chuàng)意這個(gè)事兒,可是人類文明皇冠上的明珠,結(jié)合了心理學(xué)、美學(xué)、傳播學(xué)、生理衛(wèi)生常識(shí),多少老師傅為了吟安一個(gè)字,都得捻斷數(shù)根須。你一個(gè)搞技術(shù)的,寫點(diǎn)代碼就能讓電腦代替人搞創(chuàng)造,這屬實(shí)。。。不太科學(xué)啊。。。
以上這段話,雖然沒有人真的對(duì) Andy 說(shuō)過(guò),但有些同事的眼神里明顯就是這個(gè)意思。
Andy 這么聰明的人,能看不出來(lái)么?
巨量引擎有個(gè)“傳統(tǒng)文化”,就是寫“OnePage”(一頁(yè)計(jì)劃書)。大概就是回答幾個(gè)終極命題:你想做什么?步驟是什么?最終效果會(huì)是什么?中間需要誰(shuí)怎么支持?
Andy 的這份 OnePage,像程序腳本一樣精密地回答了所有質(zhì)疑。其中的核心精神我給你翻譯一下:
1、無(wú)數(shù)創(chuàng)意工作組成了一個(gè)金字塔,越是塔尖的創(chuàng)意越要靠天才的人類大腦,計(jì)算機(jī)不可能替代,但這樣的工作相對(duì)較少;
2、創(chuàng)意工作中大部分其實(shí)是塔底的“微創(chuàng)新”,替換圖片、調(diào)整字體、增改效果,類似于砌墻搬磚。創(chuàng)新幅度越小,越有可能被“機(jī)器人”模擬;
3、據(jù)此,創(chuàng)意團(tuán)隊(duì)的工作就變成了兩條:
1)從最底層的簡(jiǎn)單創(chuàng)意開始用“機(jī)器人”模擬人。然后像打怪升級(jí)一樣,一點(diǎn)點(diǎn)往金字塔上層爬,挑戰(zhàn)更復(fù)雜的創(chuàng)意。當(dāng)然,復(fù)雜到一定程度后“機(jī)器人”一定會(huì)遇到極限。
2)再往上,就屬于計(jì)算機(jī)無(wú)法完成的“塔尖”創(chuàng)意工作。對(duì)于這些,機(jī)器人就知趣地靠邊站,搭建一個(gè)“平臺(tái)”,用算法輔助創(chuàng)意人工作,也可以幫廣告主更方便地對(duì)接到創(chuàng)意人。

怎么樣,這個(gè)“造人計(jì)劃”聽起來(lái)很帶勁吧。好的,牛吹完了,接下來(lái)就到了把吹出去的牛X實(shí)現(xiàn)的環(huán)節(jié)了。
宏偉的金字塔,當(dāng)然是從最底下的一層磚開始鋪。這最基礎(chǔ)的一層機(jī)器人被 Andy 稱為:“PPT 視頻”。
啥是“PPT 視頻”?
剛才說(shuō)過(guò),很多廣告主只有產(chǎn)品的圖片素材,這就像一個(gè)廚師面前只有豆腐白菜?!渡嗉馍系闹袊?guó)》告訴我們,面對(duì)簡(jiǎn)單的食材,最有效的“炒菜”方法就是善用火候和佐料。
具體到“PPT 視頻”,就是系統(tǒng)自動(dòng)把幾張圖片連綴起來(lái),加上恰如其分的轉(zhuǎn)場(chǎng)動(dòng)效、動(dòng)感有趣的音樂和文字,生成一個(gè)綜合得分很高的視頻。
這個(gè)想法不錯(cuò),可是要把“PPT 視頻”系統(tǒng)真做出來(lái),Andy 此時(shí)還缺一群幫手。
在字節(jié)跳動(dòng),有一群宇宙頂尖的設(shè)計(jì)師,他們?nèi)粘F鋵?shí)是給抖音、今日頭條這些日活幾億的 App 的交互界面做設(shè)計(jì),但在2018年的時(shí)候,視頻廣告創(chuàng)意實(shí)在亟待提升,于是這群設(shè)計(jì)師也被抓來(lái)“定點(diǎn)幫扶”創(chuàng)意團(tuán)隊(duì)。
他們最初幫扶的方法是:表演。
具體是醬的:設(shè)計(jì)師用專業(yè)設(shè)計(jì)軟件做出一個(gè)牛X的廣告視頻,然后技術(shù)團(tuán)隊(duì)“照貓畫虎”,把這個(gè)視頻用代碼寫成模板。將來(lái)廣告主只要在模板里把原圖片替換成自己的圖片就能生成一段屬于自己的廣告視頻了。
就像下面這樣:


小繆和 Joey 在2018年前后腳被 Andy 招到巨量引擎創(chuàng)意技術(shù)團(tuán)隊(duì),他們就是當(dāng)時(shí)“照貓畫虎”的主力。
作為金光閃閃的“前端工程師”,他倆之前每天都和App、網(wǎng)頁(yè)的視覺呈現(xiàn)效果打交道,“玩花活兒”那可是專業(yè)的。
你看小繆老濕,只用一天時(shí)間就吹著口哨臨摹了一個(gè)模板,發(fā)給原作者設(shè)計(jì)師看。
滿心歡喜的他等來(lái)了暴擊。
“不對(duì),你做的這個(gè)和我給的不一樣,向左偏了一個(gè)像素!”設(shè)計(jì)師才看了預(yù)覽視頻三秒鐘,就脫口而出。
“什么玩意兒?”小繆把自己做的東西放大10086倍仔細(xì)數(shù),不多不少就是偏了一個(gè)像素。。。
這個(gè)小毛病只算“前菜”,接下來(lái)的吐槽才是暴風(fēng)驟雨。
你用的字體和我的不一樣,那一橫尾巴上差了個(gè)飄逸的勾兒。字號(hào)也不對(duì),小了半號(hào)。顏色,還有顏色,你用的不是我的色號(hào),這可是今年最流行的色號(hào),這怎么能錯(cuò)呢??
設(shè)計(jì)師雖說(shuō)“龜毛”,但客觀上講,人家的審美確實(shí)超越技術(shù)宅N個(gè)檔次。
就拿動(dòng)畫曲線來(lái)說(shuō),設(shè)計(jì)師做出來(lái)的是華麗麗的變速運(yùn)動(dòng),每一個(gè)效果都像果凍一樣Q彈,而小繆復(fù)現(xiàn)出來(lái)就只剩下勻速搖擺,靈魂盡失。。。

代碼界叱咤風(fēng)云的冷面殺手小繆,在設(shè)計(jì)師面前只能像小學(xué)生一樣,哦哦哦是是是原來(lái)這樣啊,灰頭土臉地拿回來(lái)揣摩著自己改。
模板數(shù)量成百上千,每個(gè)都要經(jīng)歷幾輪“拉鋸戰(zhàn)”改到在設(shè)計(jì)師心中至少60分才能過(guò)關(guān)。。。
縱然做得辛苦,但這樣的模板是真好用。
廣告主在自己的后臺(tái),只要上傳幾張照片,再選定一個(gè)模板,五秒鐘都不要就能自動(dòng)生成一個(gè)像模像樣的廣告。這些廣告雖然由圖片拼成,觀感卻很接近抖音原生視頻,投放出去用戶點(diǎn)擊量和成交量都比以前大幅提升。
可是,精益求精的代價(jià)就是——慢。
因?yàn)橐磸?fù)修改,那時(shí)候一個(gè)星期做一個(gè)模板都算是快的。
Joey 回憶。
壞消息接踵而至:模板其實(shí)是個(gè)“消耗品”。一個(gè)模板推出之后,開始觀眾還覺得新奇,看得多了就習(xí)慣了。幾天之后廣告效果就開始下降,廣告主就想另尋新“板”。按照這種“彈藥”消耗的速度,Joey 他們的產(chǎn)出完全續(xù)不上。。。

不對(duì)啊,大家組隊(duì)原本是為了節(jié)省人力的,怎么反倒一個(gè)個(gè)都累得要死要活呢?大家趕緊圍在一起調(diào)整方案:
現(xiàn)在咱們的生產(chǎn)關(guān)系已經(jīng)妥妥地限制了生產(chǎn)力發(fā)展。為啥非要我們這些設(shè)計(jì)的門外漢來(lái)多一道照貓畫虎呢?如果我們能做出一個(gè)“萬(wàn)能轉(zhuǎn)換器”,把設(shè)計(jì)師在專業(yè)軟件里做的設(shè)計(jì)直接生成對(duì)應(yīng)的模板不就行了?
Andy 出主意。
“對(duì),以后設(shè)計(jì)師想做啥特效就做啥特效,愛改多少遍就改多少遍,可以做到精益求精,我們技術(shù)宅只提供‘轉(zhuǎn)換器’,那是真·一勞永逸!”大伙兒附議。

轉(zhuǎn)換器大概相當(dāng)于這個(gè)“魔鏡”,放進(jìn)去一個(gè)成品,它就能抽象出一個(gè)模板。
思路可行,但要做出轉(zhuǎn)換器,至少得知道設(shè)計(jì)軟件是怎么運(yùn)作的吧。。。在座各位面面相覷,沒人懂。
第二天,這輩子都沒碰過(guò)后期設(shè)計(jì)的 Joey 就坐在工位上,捧著一本《動(dòng)效設(shè)計(jì):從入門到放棄》。
開始屏幕上的各種框框是啥意思都不知道,學(xué)了一個(gè)星期,基本邏輯就了解了。我發(fā)現(xiàn)一個(gè)驚人的秘密,原來(lái)設(shè)計(jì)軟件里不只是能拖拖拽拽,還可以用代碼編程,也可以通過(guò)插件實(shí)現(xiàn)各種外掛功能。
Joey 嘴角開始上揚(yáng)。
呵呵,說(shuō)到代碼,我們可是專業(yè)的。既然還能用代碼玩兒,那就別怪我們不客氣了。這群技術(shù)宅手仿佛手握加特林機(jī)槍穿越到恐龍世界,瞬間火力全開。
用了一個(gè)月時(shí)間,他們終于搞定了一堆工程問題,“萬(wàn)能轉(zhuǎn)換器”新鮮出爐——無(wú)論是字體、底紋還是圖片,只需通過(guò)幾行精巧的代碼就可以替換為任意目標(biāo),再經(jīng)過(guò)一些插件和瀏覽器框架,不需要人工干預(yù)(或者只需要設(shè)計(jì)師本人微調(diào))就能成為一個(gè)模板。
有了這套工業(yè)大生產(chǎn)系統(tǒng),設(shè)計(jì)師突然開掛——“想什么就來(lái)什么”。PPT 視頻模板的生產(chǎn)速度從過(guò)去的“一周幾個(gè)”飆升到“一天幾十個(gè)”。
在網(wǎng)線對(duì)面,廣告主都驚了。原來(lái)等好幾天才能盼來(lái)一個(gè)新模板, 現(xiàn)在突然高產(chǎn)似母豬,簡(jiǎn)直不要太夢(mèng)幻。

注意,模板多了,可不僅僅是選擇豐富了這么簡(jiǎn)單,它催生了一個(gè)廣告投放玩法的底層轉(zhuǎn)變:
創(chuàng)意從“供不應(yīng)求”變成了“供給充分”。于是,廣告主可以用同樣一套素材,通過(guò)N個(gè)模板生成N個(gè)創(chuàng)意視頻,然后分別投放,哪個(gè)效果好,就實(shí)時(shí)增加那個(gè)廣告的投放。
這像極了咱們吃飯——過(guò)去窮,只有紅薯,那只好天天吃紅薯;現(xiàn)在有了各種花樣菜式,就可以點(diǎn)一桌子菜,各種都嘗嘗,哪個(gè)好吃就再來(lái)一份,來(lái)兩份,來(lái)三份。豈不美哉?

上面三個(gè)就是同樣素材生成的不同模板。
果不其然,2018年,“PPT 視頻”這個(gè)創(chuàng)意機(jī)器人被廣告主使用的次數(shù)激增。那幾個(gè)月間,抖音里的廣告以肉眼可見的速度整體變得高級(jí),就像改革開放以后一夜之間街上所有人都突然穿得花花綠綠一樣。
這時(shí)候誰(shuí)再投放一個(gè)只有一張圖片的廣告,不僅廣告效果遜色很多,連自己都覺得掉價(jià)。。。
造好了了“PPT 視頻”這個(gè)底座,Andy 和同學(xué)們一口氣都沒歇,馬上開始挑戰(zhàn)新難度。
一天做幾十個(gè)模板而不知疲倦的工程化能力只算是機(jī)器人“強(qiáng)健的體魄”,而接下來(lái)最主要的就是給機(jī)器人注入“聰明的靈魂”。
亮亮,就是靈魂鑄造師之一。
(三)一萬(wàn)個(gè)靈魂
如果亮亮老師傅是游戲里的法師,那么他最善用的武器就叫做:“人工智能”。
這里中哥先啰嗦一句,糾正一下很多淺友的誤區(qū)。人工智能,并不一定是那種上知天文下曉地理跟你琴棋書畫對(duì)答如流的“通用智能”;在我們身邊,存在著更多潤(rùn)物細(xì)無(wú)聲的只負(fù)責(zé)某些特定工作的“專用智能”。
我們不妨把這種專用智能稱為“靈魂”。
舉兩個(gè)最簡(jiǎn)單的例子你就明白了:
廣告主在使用“PPT 視頻”生成創(chuàng)意的時(shí)候,上傳的圖片畫質(zhì)有的是高清的,有的是渣渣的,此時(shí)你就需要一個(gè)“鑒圖靈魂”,用來(lái)鑒別畫質(zhì)及不及格,不及格要讓他重新傳。
“PPT 視頻”生成的最終廣告是“豎屏”9:16的,但廣告主上傳的圖片大多為橫版,有的是16:9,有的是4:3,此時(shí)就需要一個(gè)“裁剪靈魂”,把圖像裁剪成統(tǒng)一的標(biāo)準(zhǔn)比例。
就拿圖像裁剪來(lái)說(shuō)吧,這里面門道可多了。
絕不能拿來(lái)一張圖片就按照長(zhǎng)寬比硬裁。重要的是,你要識(shí)別出整張圖片里的主體在哪里,以這個(gè)主體為中心進(jìn)行裁剪。而識(shí)別主體,就要用到人工智能了。
亮亮解釋。

“裁剪靈魂”,大概就是這樣工作。
圖片雅致舒服,當(dāng)然少不了要配上適合的音樂。到底啥子音樂適合這則廣告呢?亮亮告訴我,經(jīng)過(guò)他們的多年摸索,至少有兩個(gè)維度很重要:歌曲本身熱不熱、歷史表現(xiàn)好不好。
所謂歌曲本身熱不熱,就是算不算“抖音神曲”。如果一首歌經(jīng)常被抖音里的創(chuàng)作者選用,那么做成廣告視頻配樂大概率也會(huì)受到人們喜歡。所以,智能系統(tǒng)要根據(jù)數(shù)據(jù),智能計(jì)算出來(lái)最近什么歌是抖音神曲,再推給廣告主選用。(當(dāng)然前提是有商業(yè)版權(quán))
所謂歷史表現(xiàn)好不好,就是某個(gè)音樂之前被用作廣告背景音樂以后,到底效果咋樣。點(diǎn)擊率行不行?成交量好不好?如果是同樣的“PPT 模板”,僅僅音樂不同,音樂A比音樂B的效果好10%,那么就說(shuō)明這個(gè)音樂特別適合做廣告,給其他廣告主也推薦一下多半沒錯(cuò)。
你看,為每一條廣告把關(guān)推薦音樂,這就是“音樂靈魂”的職責(zé)所在。

“音樂靈魂”大概是這樣工作。
現(xiàn)在,圖片有了,音樂有了,就差個(gè)動(dòng)人的好題目了。你猜對(duì)了,起標(biāo)題同樣離不開“靈魂”。
一個(gè)好標(biāo)題往往幽默風(fēng)趣直擊人心,人工智能沒辦法一下子就做好。不過(guò),這難不倒亮亮他們,處理這種情況,是有套路的。
他們最初采用的方法就是“萬(wàn)金油”。
什么樣的廣告標(biāo)題受人歡迎,就讓系統(tǒng)自動(dòng)記下來(lái),然后把里面特指的關(guān)鍵詞刪除,這就搞出了一個(gè)放之四海皆準(zhǔn)的標(biāo)題,例如:“快來(lái)看快來(lái)看,這家店特價(jià)啦!”
后來(lái),技術(shù)宅們又把標(biāo)題系統(tǒng)升級(jí)了,把好標(biāo)題里的關(guān)鍵信息替換一下。例如:“新店開業(yè),波西米亞碎花裙只要49元!”替換成“新店開業(yè),真空包裝大豬蹄子只要19元!”
不過(guò),這些都是技術(shù)不成熟時(shí)候的過(guò)渡策略,因?yàn)槿斯ぶ悄懿]有真的理解題目的意義,所以有時(shí)候會(huì)略微智障?!氨热纾袮公司的專屬?gòu)V告語(yǔ)推薦給B公司?!绷亮琳f(shuō)。
隨著人工智能語(yǔ)義理解技術(shù)的突飛猛進(jìn),亮亮手里的武器越來(lái)越強(qiáng)大,人工智能孜孜不倦地閱讀今日頭條和互聯(lián)網(wǎng)上成千上萬(wàn)的文章和標(biāo)題,漸漸掌握了“出口成章”的能力。
現(xiàn)在你只要給系統(tǒng)幾個(gè)關(guān)鍵詞,它就能自動(dòng)幫你創(chuàng)作題目,大概率效果還不錯(cuò)。
亮亮對(duì)這個(gè)“標(biāo)題靈魂”很有信心。

“標(biāo)題靈魂”大概這樣工作。
視頻、音樂、標(biāo)題全部生成好了,這下人工智能的歷史使命完成了吧!并不是,其實(shí)面前還有最最最關(guān)鍵的一步:智能投放。
要知道,人和人是如此千差萬(wàn)別,面對(duì)同一個(gè)視頻,一千個(gè)人心中有一千個(gè)哈姆雷特。看到同一個(gè)廣告,不同人的感覺也是不同的。
所以,廣告投放的原則就是,把這個(gè)廣告推給最需要這個(gè)廣告的人。
亮亮告訴我,雖然個(gè)性化投放的規(guī)則極其復(fù)雜,但本質(zhì)上這還是個(gè)“推薦算法”的問題,有很多現(xiàn)成的經(jīng)驗(yàn)可循。
例如,一個(gè)廣告視頻會(huì)被系統(tǒng)學(xué)習(xí),生成幾個(gè)“標(biāo)簽”。假如一個(gè)視頻的標(biāo)簽是:“靚女”、“吃火鍋”,那么把這個(gè)廣告推薦給平常喜歡看美女的用戶,推薦給喜歡吃火鍋的用戶效果就會(huì)比較好。
假如一個(gè)視頻的標(biāo)簽是“狗”、“久石讓音樂”,那么推薦給喜歡看狗狗,或者喜歡聽久石讓音樂的用戶,效果也會(huì)不錯(cuò)。

“推薦靈魂”大概這樣工作。
你看,如果把自動(dòng)創(chuàng)意平臺(tái)比作一個(gè)龐大的機(jī)器,不僅機(jī)器本身的材質(zhì)要堅(jiān)實(shí)可靠,在每一個(gè)關(guān)鍵點(diǎn)位也要把守著一個(gè)小小的“靈魂”,這些靈魂各司其職,讓它負(fù)責(zé)守護(hù)的部件得以滑潤(rùn)運(yùn)轉(zhuǎn),高效精細(xì),值得依賴。
故事講到這,我們不妨回到 Andy 的“OnePage”,一年多過(guò)去了,大家發(fā)現(xiàn)他當(dāng)年列出的項(xiàng)目正按部就班地一個(gè)一個(gè)被打勾,精準(zhǔn)得讓人嘆服。
同事們看巨量引擎創(chuàng)意中心這幫人的眼神也從“納尼”變成“喲西”。
2018年底,創(chuàng)意技術(shù)金字塔的底座“PPT 視頻”已經(jīng)相當(dāng)成熟了,Andy 開始帶著團(tuán)隊(duì)挑戰(zhàn)下一個(gè)目標(biāo)——對(duì)人工智能和代碼架構(gòu)要求都高得多的機(jī)器人:“微電影”。
(四)機(jī)器人“導(dǎo)演”
啥是微電影?
你可以這樣理解,“PPT 視頻”是把圖片拼起來(lái),“微電影”就是把視頻拼起來(lái)。
這對(duì)于巨量創(chuàng)意團(tuán)隊(duì)有啥新挑戰(zhàn)嗎?不僅有挑戰(zhàn),而且還是極限挑戰(zhàn)。
你想想看,廣告主不可能各個(gè)都是張藝謀,大部分都是“攝影小白”、“剪輯小白”,但是這些原始的視頻素材卻需要他們拍攝上傳。那拍出來(lái)的視頻肯定是五花八門,什么角度的都有,什么光線的都有,什么背景的都有。
這些參差不齊的視頻上傳之后,第一個(gè)要面對(duì)它們的就是“人工智能大法師”亮亮。
整個(gè)場(chǎng)面,他要HOLD住先。。。
此時(shí),人工智能要做的工作大概分為三步:第一是“視頻預(yù)處理”,第二是“鏡頭分割”,第三是“音樂卡點(diǎn)”。
先說(shuō)“視頻預(yù)處理”。
一堆“靈魂”一擁而上,有的負(fù)責(zé)把過(guò)亮的視頻調(diào)暗,有的負(fù)責(zé)把過(guò)暗的視頻調(diào)亮,有的負(fù)責(zé)把視頻的白平衡和色調(diào)統(tǒng)一,有的負(fù)責(zé)把抖動(dòng)的視頻穩(wěn)住。

這些都搞定以后,視頻算是基本能看了。
此時(shí),我們的老朋友“裁切靈魂”才會(huì)登場(chǎng),尋找到視頻里的主角,然后以Ta為中心把畫面裁切成標(biāo)準(zhǔn)比例的豎屏。

然后是“鏡頭分割”。
廣告主上傳的幾段視頻,有可能長(zhǎng)度是5秒,有可能拍了1分鐘,還有可能直接把十幾分鐘的產(chǎn)品宣傳片給整上來(lái)了。
但是經(jīng)過(guò)測(cè)算,一條抖音廣告最佳長(zhǎng)度大概是15秒,所以人工智能必須挑出每段視頻里最精彩的那幾秒,行話叫做“高光片段”。
講真,這個(gè)工作給藝術(shù)細(xì)胞差一點(diǎn)的人都不一定能干好,對(duì)于人工智能的難度可想而知?!案吖忪`魂”需要根據(jù)各種指標(biāo)判斷出一個(gè)視頻中間運(yùn)鏡最穩(wěn)的一段,或者是畫面最閃爍燃爆變化劇烈的瞬間,這就像在一集電視劇中挑出打斗、接吻的鏡頭那么穩(wěn)準(zhǔn)狠。

高光靈魂
好不容易把高光鏡頭挑出來(lái),接下來(lái)要把它們排列成一個(gè)完整的視頻。
注意,這里可高深了,不能把視頻像壘磚一樣放在那就了事,你需要按照音樂的鼓點(diǎn)和重音把它們組合起來(lái),這才是賞心悅目的剪輯。
于是就到了最后一步“音樂卡點(diǎn)”。
來(lái),請(qǐng)出我們的“卡點(diǎn)靈魂”。
卡點(diǎn)靈魂可是受盡了折磨。人工智能當(dāng)然聽不懂音樂,只會(huì)根據(jù)一些指標(biāo),例如一段音樂里重音的周期變化來(lái)猜測(cè)鼓點(diǎn)的位置??墒前凑者@個(gè)方法卡出來(lái)的鼓點(diǎn),經(jīng)常和人類的感覺相悖。
怎么調(diào)整都不能盡如人意。
亮亮只好求助于字節(jié)跳動(dòng)的大神部門,專門負(fù)責(zé)底層人工智能底層技術(shù)研究的 AI Lab,讓“卡點(diǎn)靈魂”去他們那里“進(jìn)修”一下,再回來(lái)上班兒。。。
AI Lab 的老師傅果然給力,經(jīng)過(guò)他們回爐重造的“卡點(diǎn)靈魂”聰明了不少,成千上萬(wàn)首歌,卡出來(lái)的點(diǎn)位變得越來(lái)越準(zhǔn),基本不用人工校驗(yàn)了。

卡點(diǎn)靈魂
于是,無(wú)數(shù)視頻的高光片段就這樣,如同碧玉一樣嚴(yán)絲合縫地鑲嵌進(jìn)鼓點(diǎn)的插槽,就連最嚴(yán)重的強(qiáng)迫癥看了也會(huì)直呼舒爽。
一個(gè)機(jī)器人導(dǎo)演的“微電影”作品就這樣完成了。

從“PPT 視頻”升級(jí)到“微電影”本來(lái)是大好事,沒想到卻給 Joey 和小繆他們帶來(lái)了一個(gè)意想不到的“神坑”。
由于微電影用到的技術(shù)太多太前沿,所以只能在巨量創(chuàng)意后臺(tái)合成成片以后再輸出給廣告主,也就是說(shuō):廣告主不能做修改。
這下人們開始吐槽:我想換成自己選的音樂,為啥不行?我想按照自己的方法卡點(diǎn),為啥不讓?

各種“靈魂”們忙一通,在后端生成視頻,打包好,通過(guò)網(wǎng)線傳給用戶。

用戶看到的是成品,不能改。
用戶是上帝啊,不改進(jìn)不行。
但是,工程難題就擺在這:如果放開用戶修改的權(quán)限,那用戶每次哪怕只改動(dòng)一幀,都要回后臺(tái)花半分鐘重新渲染一遍。改一下半分鐘,改一下半分鐘,這樣用戶的吐槽肯定會(huì)像火山爆發(fā)一樣比以前還多。。。
大敵當(dāng)前,小繆必須趕快研發(fā)出一個(gè)“實(shí)時(shí)渲染系統(tǒng)”。這個(gè)系統(tǒng)雖然運(yùn)行在用戶的網(wǎng)頁(yè)里,卻要能調(diào)動(dòng)用戶電腦顯卡的 GPU 來(lái)實(shí)時(shí)渲染。

用戶在自己的電腦上也要能渲染視頻。
這個(gè)技術(shù)本身很前沿,需要很專業(yè)的圖形渲染的底子,小繆不是這個(gè)專業(yè)的工程師,只好硬著頭皮弄,在測(cè)試的時(shí)候,動(dòng)不動(dòng)就把自己電腦給干藍(lán)屏了。。。
沒辦法,到后來(lái)他只好找到字節(jié)跳動(dòng)的另一群老師傅——圖像處理技術(shù)團(tuán)隊(duì),虛心求教一起攻堅(jiān),才慢慢把這個(gè)功能調(diào)試穩(wěn)定。
注意,這個(gè)實(shí)時(shí)渲染出來(lái)的預(yù)覽視頻,只是用來(lái)預(yù)覽,質(zhì)量還是不如巨量創(chuàng)意后臺(tái)服務(wù)器生成的成片好。
于是整個(gè)系統(tǒng)的運(yùn)作模式就是:用戶網(wǎng)頁(yè)端調(diào)整完預(yù)覽,確定之后,還是要由后臺(tái)服務(wù)器來(lái)生成成片。
另一個(gè)問題出現(xiàn)了,怎么保證預(yù)覽效果(小繆負(fù)責(zé))和后臺(tái)生成的成片效果(Joey 負(fù)責(zé))完全一致?
這個(gè)問題,就好比有一本《紅樓夢(mèng)》原著和一本《紅樓夢(mèng)》英文譯本,怎么保證英國(guó)人看完英語(yǔ)《紅樓夢(mèng)》之后的理解和中國(guó)人盡量完全一致?沒什么捷徑,只能一句一句地核對(duì)。。。
他倆坐在會(huì)議室里,研究了好幾個(gè)星期,一個(gè)效果一個(gè)效果地研究,一行代碼一行代碼地對(duì)齊,然后還不放心,又拿來(lái)各種各樣的素材做測(cè)試,才一點(diǎn)一點(diǎn)逼近心中的萬(wàn)無(wú)一失。
現(xiàn)在,如果你是一位廣告主,在后臺(tái)編輯器里調(diào)整廣告素材,當(dāng)時(shí)就能看到預(yù)覽效果,和在自己電腦上使用視頻編輯系統(tǒng)別無(wú)二致。
你看,就這么一個(gè)看上去理所應(yīng)當(dāng)?shù)墓δ?,背后卻是技術(shù)宅們的嘔心瀝血。。。

“微電影”系統(tǒng)第一版在2019年初上線。隨后的一年,大伙兒又對(duì)這個(gè)機(jī)器人進(jìn)行了N輪優(yōu)化,例如自動(dòng)為視頻生成解說(shuō)詞,自動(dòng)加字幕功能,例如第幾秒出現(xiàn)購(gòu)買鏈接會(huì)讓廣告效果更好,例如購(gòu)買按鈕出現(xiàn)在哪里更方便,等等等等。。。
到了這一步,Andy 的金字塔已經(jīng)蓋好了大半兒,再往上,更天才的創(chuàng)意,更幽默的表達(dá),“機(jī)器人創(chuàng)意人”就有點(diǎn)兒力不從心了。
沒關(guān)系,“機(jī)器人”不夠,還有真人來(lái)頂上。
(五)圓桌騎士們
其實(shí),在巨量引擎,“人類創(chuàng)意人”比“機(jī)器人創(chuàng)意人”要存在得更早。
自從今日頭條、抖音有了廣告那天,巨量引擎就在全國(guó)各地建立了十幾個(gè)創(chuàng)意中心,專門為有需求的人來(lái)定制廣告,最早的廣告是圖片,后來(lái)也進(jìn)化成了視頻。
只不過(guò),人工創(chuàng)意當(dāng)然是要收錢的,并不是所有廣告主都會(huì)選用,所以很多人喜歡免費(fèi)版的“PPT 視頻”和“微電影”。
說(shuō)到創(chuàng)意人,你腦海里估計(jì)出現(xiàn)了這樣一幅畫面:純白色調(diào)的屋子,一杯熱氣騰騰的咖啡,旁邊是一臺(tái)屏幕碩大的蘋果電腦,創(chuàng)意人不論男女都長(zhǎng)發(fā)垂肩,有的頭發(fā)還染成花花綠綠。。。

很長(zhǎng)一段時(shí)間,真實(shí)情況恐怕并不如此。
大多數(shù)創(chuàng)意人每天要做幾十張圖,十幾個(gè)視頻,忙起來(lái)連廁所都顧不上去,還喝咖啡呢。。。如果非要比較,他們的工作模式應(yīng)該更像網(wǎng)約車司機(jī),一單接一單,關(guān)鍵是還不能“拒單”,客戶爸爸要五彩斑斕的黑就得馬上弄出五彩斑斕的黑,想要大紅大紫的綠就得趕緊整出大紅大紫的綠。

老蔡,就是當(dāng)時(shí)武漢設(shè)計(jì)中心的一位創(chuàng)意人。
懷揣設(shè)計(jì)理想的他,2017年時(shí)加入巨量引擎,本來(lái)想大展拳腳,后來(lái)發(fā)現(xiàn)情況和想象中大相徑庭。。。
每天早晨來(lái),大伙兒先傳 Excel 表格,當(dāng)天的設(shè)計(jì)需求都是靠這么個(gè)東西填進(jìn)去的。由于創(chuàng)意設(shè)計(jì)需要多人合作,表格需要傳來(lái)傳去,一天有一小半時(shí)間都在各種傳遞工單、表格中浪費(fèi)了。一旦有人沒睡醒手一滑還會(huì)給整串行了。
而且,本來(lái)創(chuàng)意這東西應(yīng)該有高下之分,可是當(dāng)時(shí)并沒有一個(gè)系統(tǒng)可以評(píng)估創(chuàng)意人作品的好壞,干得好也按件計(jì)費(fèi),干得差也按件計(jì)費(fèi)。干得差沒準(zhǔn)還干得多,工資更高。。。
這還不算,關(guān)鍵是創(chuàng)意人的地位太卑微了,客戶要把馬賽克P掉,要把視頻里的大象翻面,要把渣渣圖改高清,你都得照做,做不到就會(huì)認(rèn)定是沒完成任務(wù)。。。
“從本質(zhì)上說(shuō),這就是沒有標(biāo)準(zhǔn)、沒有流程、沒有系統(tǒng)造成的。”老蔡吐槽。
2019年,忍無(wú)可忍的老蔡想要搞一個(gè)讓設(shè)計(jì)師和需求方對(duì)接業(yè)務(wù)流程的系統(tǒng),連名字都起好了,就叫“亞瑟系統(tǒng)”——因?yàn)閬喩醢l(fā)明了圓桌騎士制度,所有的騎士和國(guó)王都坐在一個(gè)圓桌上平等地探討問題,大象翻不了面就是翻不了面。。。

可是老蔡只是個(gè)設(shè)計(jì)師,不會(huì)開發(fā)系統(tǒng),于是向領(lǐng)導(dǎo)申請(qǐng),希望天上掉下來(lái)個(gè)專業(yè)團(tuán)隊(duì)幫他搞一搞。
這一申請(qǐng)不要緊,Andy 帶著十來(lái)號(hào)精銳部隊(duì)直接飛到武漢,把老蔡團(tuán)團(tuán)圍住:“你說(shuō)吧,想要做成什么樣?我們正好也準(zhǔn)備搞這個(gè)系統(tǒng)呢!”
老蔡被這陣勢(shì)嚇壞了,你們不是甲方爸爸派來(lái)揍我的吧。。。盤了半天道,終于搞清這群人確實(shí)是字節(jié)跳動(dòng)的自己人,于是喜出望外。
為了搞定亞瑟系統(tǒng),Andy 專門挖來(lái)了一位在開源社區(qū)鼎鼎有名的大牛曉晨。
曉晨帶隊(duì)跑了十多個(gè)城市,每個(gè)城市都住了一個(gè)禮拜,跟各種人了解創(chuàng)意設(shè)計(jì)工作的業(yè)務(wù)邏輯,平常沒事就站在背后看創(chuàng)意人們工作。技術(shù)宅們閉關(guān)一月,終于拿出了亞瑟系統(tǒng)。
一如亞瑟深似海,從此 Excel 是路人。
從客戶需求到區(qū)域主管,主管分配任務(wù)到各個(gè)設(shè)計(jì)師,設(shè)計(jì)師們之間的合作流轉(zhuǎn),所有流程全部線上化。

這是系統(tǒng)上的任務(wù)流,可以顯示整個(gè)項(xiàng)目已經(jīng)進(jìn)展到哪一步,還有哪些工作待完成。
最讓創(chuàng)意人們熱淚盈眶的是,在系統(tǒng)上最顯眼的地方加入了一個(gè)按鈕,大大的兩個(gè)字“駁回”。
如果你覺得甲方爸爸的要求不合理,你可以點(diǎn)擊駁回,并附上理由,是甲方提供的素材不足,還是現(xiàn)有工具不支持,還是大象本來(lái)就TM翻不了面——只要有理有據(jù),都可以平等商量。
全套流程線上化之后,還帶來(lái)了一個(gè)好處,那就是創(chuàng)意人們終于可以看到自己的創(chuàng)意廣告點(diǎn)擊量和轉(zhuǎn)化量了!這樣一來(lái),創(chuàng)意水平高下立判。A創(chuàng)意人的廣告點(diǎn)擊量很多都是10w+,B創(chuàng)意人的廣告點(diǎn)擊量都是幾千,那誰(shuí)應(yīng)該拿更多的工資,還不是顯而易見的么?
雖然做了很多功能,但我覺得我們工作最大的意義就是改變了設(shè)計(jì)師的績(jī)效考核體系,只有創(chuàng)意工作的驅(qū)動(dòng)力從數(shù)量變成質(zhì)量,這個(gè)行業(yè)才能向前發(fā)展。
曉晨說(shuō)。

這是設(shè)計(jì)中心的排班界面。
亞瑟系統(tǒng)沉淀了足夠的數(shù)據(jù),也就變得越來(lái)越睿智,它漸漸能夠知道哪類創(chuàng)意更適合哪個(gè)創(chuàng)意人來(lái)做,于是,亞瑟系統(tǒng)可以把這部分判斷推給一個(gè)叫做“即合”的撮合平臺(tái),它負(fù)責(zé)把最適合的創(chuàng)意人推薦給廣告主,這樣一來(lái)創(chuàng)意人也做得開心,廣告主也大概率滿意。
而這個(gè)操作的實(shí)現(xiàn),也意味著 Andy “OnePage”上最后的條目打勾完畢,一個(gè)恢弘的金字塔落成。
如今你在抖音上看到的廣告,每100個(gè)就有超過(guò)15個(gè)是機(jī)器人自動(dòng)生成的創(chuàng)意,還有15個(gè)是通過(guò)智能系統(tǒng)撮合人類創(chuàng)意人所創(chuàng)造的。
這座金字塔中,機(jī)器人們各安其位,他們擁有各自的靈魂,懷抱各自的使命,他們是一條條精準(zhǔn)的指令,是一條條不知疲倦的機(jī)械臂。他們填滿了腳下的縫隙,讓人們更接近頭頂?shù)乃{(lán)天和清冽的空氣。
(六)萬(wàn)物的最優(yōu)解
有人說(shuō),無(wú)數(shù)渺小的思考填滿了人的一生。
創(chuàng)意的火花無(wú)疑也藏在這些思考里,無(wú)論它來(lái)自于人還是機(jī)器。
但在和 Andy 聊天時(shí),我忍不住思緒飄散:既然創(chuàng)意免不了和商業(yè)相聯(lián)系,那么對(duì)我們這些肉身凡胎來(lái)說(shuō),它究竟意味著什么呢?是“騙”我們剁手的廣告嗎?是盯著我們口袋的小惡魔嗎?它身上美好的一面在哪里?
我似乎沒找到答案。
直到兩天后,我開始寫這篇文章,一天半夜實(shí)在感覺燥熱難耐快肝不動(dòng)了,于是我隨手打開抖音,看到羅永浩正在一邊說(shuō)相聲一邊奮力展示一款可折疊電風(fēng)扇和罐裝大烏蘇??粗狭_童叟無(wú)欺的臉和貨架上的折扣,我很開心地下了一單。
我捫心自問,自己并不反感,反而很期待和這些商品見面。
于是我猜,人大概永遠(yuǎn)需要新鮮的信息,就像他們需要新鮮的空氣一樣。而把這些信息用體面的姿態(tài)送到人們面前的過(guò)程,就叫做創(chuàng)意。
而“體面”,是存在最優(yōu)解,并且值得追尋的。
Andy 告訴我,就在去年,他把團(tuán)隊(duì)的愿景做了修改,從“做最有效的廣告”變成了“做美好且有效的廣告”。
巨量創(chuàng)意團(tuán)隊(duì)沒有絲毫放松追逐“最優(yōu)解”的步伐,只不過(guò),他們?cè)诒涞墓ぞ呃硇缘睦锛尤肓藴責(zé)岬膬r(jià)值理性。管中窺豹,這恐怕也是正發(fā)生在字節(jié)跳動(dòng)所有人身上的微妙變化。
Andy 說(shuō),目前他們正在探索很多新的技術(shù)方向,例如直播自動(dòng)剪輯,把一場(chǎng)一小時(shí)的直播中精華的片段自動(dòng)剪輯成短視頻供錯(cuò)過(guò)直播的粉絲查看;例如AR試鞋,你用鏡頭對(duì)準(zhǔn)自己的腳丫就能看到鞋上腳之后的樣子;例如互動(dòng)創(chuàng)意廣告,你可以操縱火炮“擊落”優(yōu)惠商品,也可以用眼球來(lái)收集優(yōu)惠券。



對(duì)于 Andy 來(lái)說(shuō),雖然上一張“OnePage”里的所有項(xiàng)目已經(jīng)被他們完成得七七八八,但他手里的 GAME 還遠(yuǎn)遠(yuǎn)沒有 OVER,他冷不丁又從身后拿出一張新的“OnePage”,上面的字比以前更加密密麻麻。。。
最近半年,無(wú)論是亮亮,還是 Joey 、小繆和曉晨,都有了新的使命——?jiǎng)?chuàng)意工具出海,也就是讓國(guó)外的廣告商能用上,并且喜歡上這些工具。
山水相隔,文化差異,巨量創(chuàng)意手造的“機(jī)器人”們要想得到海外用戶的認(rèn)可,恐怕路途更險(xiǎn)。這座恢弘的金字塔能否在遠(yuǎn)方被復(fù)制,仍舊充滿未知。
但正如張一鳴曾說(shuō)的那樣:“大部分事情你做第二遍的時(shí)候,要么做得更快,要么做得更好。”
別忘了,尋找“最優(yōu)解”,并不是人生目的,而是人生哲學(xué)。

注:巨量引擎的老司機(jī)們比較低調(diào),為了尊重他們的意愿,本期嘉賓都用了化名。
就讓它們代替我來(lái)思考
再自我介紹一下吧。我叫史中,是一個(gè)傾心故事的科技記者。我的日常是和各路大神聊天。如果想和我做朋友,可以搜索微信:shizhongmax。
哦對(duì)了,如果喜歡文章,請(qǐng)別吝惜你的“在看”或“分享”。讓有趣的靈魂有機(jī)會(huì)相遇,會(huì)是一件很美好的事情。
Thx with
in Beijing
原標(biāo)題:《我遇到一群要把“機(jī)器人”訓(xùn)練成藝術(shù)家的人》
本文為澎湃號(hào)作者或機(jī)構(gòu)在澎湃新聞上傳并發(fā)布,僅代表該作者或機(jī)構(gòu)觀點(diǎn),不代表澎湃新聞的觀點(diǎn)或立場(chǎng),澎湃新聞僅提供信息發(fā)布平臺(tái)。申請(qǐng)澎湃號(hào)請(qǐng)用電腦訪問http://renzheng.thepaper.cn。





- 報(bào)料熱線: 021-962866
- 報(bào)料郵箱: news@thepaper.cn
滬公網(wǎng)安備31010602000299號(hào)
互聯(lián)網(wǎng)新聞信息服務(wù)許可證:31120170006
增值電信業(yè)務(wù)經(jīng)營(yíng)許可證:滬B2-2017116
? 2014-2025 上海東方報(bào)業(yè)有限公司




