編者按：在線(xiàn)K歌的業(yè)務(wù)已經(jīng)發(fā)展了十年，程樂(lè)在音視頻領(lǐng)域也闖蕩了十年，甚至更久。為什么選擇在線(xiàn)K歌領(lǐng)域？如何走過(guò)“漫長(zhǎng)的季節(jié)”，迎來(lái)新的風(fēng)景？

如何在“在線(xiàn)K歌”這塊難啃的骨頭里分點(diǎn)肉？在這一連串的問(wèn)題下面，只有一個(gè)簡(jiǎn)單的答案：興趣。以下是程樂(lè)的講述——

01 興趣決定了一切

大概是在上中學(xué)的時(shí)候，我開(kāi)始對(duì)音視頻產(chǎn)生強(qiáng)烈的興趣。從收音機(jī)、磁帶機(jī)、CD、VCD、DVD、mp3，一直到大學(xué)時(shí)期開(kāi)始流行的MP4、平板、相機(jī)等等，基本上都是省吃?xún)€用搞回來(lái)的，為此也沒(méi)少跟父母鬧過(guò)矛盾。

程樂(lè)

大學(xué)時(shí)，相對(duì)能折騰的時(shí)間比較多，剛好是智能手機(jī)爆發(fā)前夜，MP4設(shè)備比較火爆，那幾年基本是賣(mài)舊買(mǎi)新，一直跟著最新的設(shè)備迭代，從僅支持單一480p Xvid視頻格式到720p rmvb再到1080p H264，到生命末期甚至卷到了4K（那時(shí)候還是2010年之前）。當(dāng)時(shí)在imp3論壇上也很活躍（現(xiàn)在早已關(guān)閉），一起討論新出的芯片方案解碼性能到底咋樣，各種編碼格式的優(yōu)缺點(diǎn)；

2018 年 11 月，iMP3正式宣布關(guān)站

也蹲各個(gè)廠家的評(píng)測(cè)優(yōu)惠活動(dòng)，寫(xiě)寫(xiě)評(píng)測(cè)，機(jī)器就能半價(jià)入手。在當(dāng)時(shí)論壇的影響下，我也開(kāi)始入門(mén)燒耳機(jī)，哪些耳機(jī)能做到低音沉、中音準(zhǔn)、高音甜，無(wú)損的Ape Flac比WMA MP3能強(qiáng)多少等等，都是涉獵的范疇。

畢業(yè)后的第二份工作是做電視盒子，雖然最后的結(jié)果不太好，但當(dāng)時(shí)的煩惱很少，日子過(guò)得開(kāi)心、純粹。那個(gè)時(shí)候每天考慮的就是本地播放怎么提高兼容性，MP4/flv/mkv/ts這些格式怎么封裝，藍(lán)光導(dǎo)航怎么搞，ASS/PGS特效字幕怎么解析渲染，各家的硬件解碼器都要怎么適配，網(wǎng)絡(luò)播放怎么提高穩(wěn)定性等等。

當(dāng)時(shí)的狀態(tài)就像重度游戲玩家開(kāi)始按照自己的意愿開(kāi)發(fā)一款新游戲，從工作體驗(yàn)上來(lái)說(shuō)是比較滿(mǎn)足的。

再后來(lái)，移動(dòng)直播、短視頻開(kāi)始興起，我就用之前積累的音視頻經(jīng)驗(yàn)轉(zhuǎn)做移動(dòng)端的直播、短視頻SDK，當(dāng)時(shí)應(yīng)該還是有不少客戶(hù)在用的。再后來(lái)就開(kāi)始做撕歌的實(shí)時(shí)語(yǔ)聊K歌場(chǎng)景，也是從乙方轉(zhuǎn)做了甲方。

總之畢業(yè)后一路走來(lái)，工作在自己的興趣領(lǐng)域也是蠻幸運(yùn)的事情?；叵肫饋?lái)，興趣對(duì)于跨越音視頻的門(mén)檻來(lái)說(shuō)是非常必要且有效的，所以希望想入這行的同學(xué)都能夠培養(yǎng)起來(lái)對(duì)音視頻的興趣。

02 在K歌賽道中，殺出一條血路

下面，讓我們來(lái)聊聊業(yè)務(wù)。我是2019年加入幀趣的，之后就開(kāi)始接手公司內(nèi)音視頻相關(guān)的技術(shù)以及K歌的整體體驗(yàn)。主要側(cè)重在客戶(hù)端部分，服務(wù)端音視頻能力大部分是用第三方服務(wù)，自己做的東西會(huì)比較少。

那么，與其他大廠相比，我們的技術(shù)優(yōu)勢(shì)在哪里呢？

首先是我們有一支戰(zhàn)斗力強(qiáng)的業(yè)務(wù)團(tuán)隊(duì)，能夠快速試錯(cuò)各種新的腦洞玩法，對(duì)用戶(hù)常用常新。撕歌在K歌的玩法上也是做了不少探索，比如最早上線(xiàn)的雙人接唱玩法，以及到后來(lái)的多人接唱玩法，都是朝著更容易產(chǎn)生社交的方向去努力的。

撕歌的各種玩法基本都戳中了年輕人的興趣點(diǎn)

對(duì)撕歌有了解的人都能看出來(lái)，撕歌走的是實(shí)時(shí)K歌玩法。K歌是一種社交類(lèi)的破冰游戲，大家有著共同的唱歌愛(ài)好，更容易打開(kāi)話(huà)題，沉淀社交關(guān)系，有了社交關(guān)系之后用戶(hù)的粘性就比較強(qiáng)了。

其次是K歌體驗(yàn)部分，相比其他主要關(guān)注業(yè)務(wù)的語(yǔ)聊類(lèi)app，我們有專(zhuān)門(mén)的音視頻團(tuán)隊(duì)，可以自己實(shí)現(xiàn)很多需求，不至于第三方?jīng)]有我們就沒(méi)得用；另外我們逐步建立起了一套主客觀評(píng)價(jià)機(jī)制，可以推動(dòng)第三方來(lái)優(yōu)化關(guān)注點(diǎn)，然后由我們集成優(yōu)勢(shì)，靈活地選擇最佳的供應(yīng)商。

前幾年，各RTC廠商對(duì)泛娛樂(lè)K歌場(chǎng)景都缺乏投入，我們的采集渲染方案在低延遲耳返、耳返兼容性、人聲伴奏對(duì)齊等方面存在優(yōu)勢(shì)；AEC以及演唱評(píng)分也做過(guò)自己的優(yōu)化，不過(guò)隨著各家加大資源的投入，差距會(huì)縮小。像AEC效果這些，第三方這兩年普遍進(jìn)步很大，這種情況下我們最終會(huì)根據(jù)整體的主客觀評(píng)價(jià)結(jié)果來(lái)做調(diào)整。

踩坑、成長(zhǎng)、一步一步來(lái)

技術(shù)上的主要困難還是小團(tuán)隊(duì)都會(huì)面臨的全棧要求。由于我自己一直是在做音視頻的工程開(kāi)發(fā)，而唱歌體驗(yàn)的好壞也有很大一部分是落在硬核算法上的，像是音效、演唱打分、回聲消除效果等等。

演唱打分這塊，在19年初還不太能找到合適的第三方技術(shù)服務(wù)，當(dāng)時(shí)是請(qǐng)兼職幫忙搞了一套算法，不過(guò)效果準(zhǔn)確性上一直有比較大的問(wèn)題，這塊自己當(dāng)時(shí)花了大半個(gè)月的時(shí)間啃了四五篇paper，對(duì)評(píng)分算法做了一個(gè)比較大的優(yōu)化，準(zhǔn)確度上也是有了明顯的提升，大致能夠滿(mǎn)足我們娛樂(lè)性質(zhì)演唱的需求。

回聲消除這里也做過(guò)嘗試，當(dāng)時(shí)的教育產(chǎn)業(yè)如火如荼，RTC廠商們的重心基本都在會(huì)議和教育領(lǐng)域，對(duì)我們這類(lèi)娛樂(lè)K歌類(lèi)產(chǎn)品的需求滿(mǎn)足度就比較低。當(dāng)時(shí)的回聲消除最明顯的問(wèn)題是雙講場(chǎng)景下對(duì)人聲的壓制非常厲害，人聲發(fā)悶嚴(yán)重甚至?xí)G掉一些音節(jié)。

這類(lèi)問(wèn)題對(duì)會(huì)議場(chǎng)景來(lái)說(shuō)不是特別嚴(yán)重，能聽(tīng)清楚對(duì)方講的內(nèi)容就可以，但在K歌場(chǎng)景下人聲的這類(lèi)損傷會(huì)導(dǎo)致聽(tīng)感非常差，這時(shí)_寧愿殘留一些伴奏的回聲，也要盡量保障對(duì)人聲細(xì)節(jié)的保留。這塊我們當(dāng)時(shí)也嘗試把WebRTC中的AEC算法抽出來(lái)，然后在演唱的時(shí)候屏蔽掉非線(xiàn)性處理部分，只做線(xiàn)性處理，殘留的回聲靠伴奏的精準(zhǔn)混音來(lái)壓制掉。

在當(dāng)時(shí)各RTC廠家整體的效果下，這個(gè)方案大多數(shù)情況下的體驗(yàn)還是會(huì)好不少的。當(dāng)然后來(lái)教育被打掉之后，各家開(kāi)始重視泛娛樂(lè)市場(chǎng)，這塊的體驗(yàn)才有了質(zhì)的飛躍，現(xiàn)在我們也是采購(gòu)了第三方的AI回聲消除算法。

目前我們音視頻這邊跟業(yè)務(wù)會(huì)相對(duì)獨(dú)立，大部分優(yōu)化迭代可能是跟業(yè)務(wù)相關(guān)性不大的，這些部分會(huì)獨(dú)立發(fā)版，然后跟業(yè)務(wù)側(cè)的版本班車(chē)去發(fā)。這里有一些是產(chǎn)品提過(guò)來(lái)的體驗(yàn)問(wèn)題優(yōu)化，也有一部分是我們自己綜合用戶(hù)反饋以及統(tǒng)計(jì)信息來(lái)做的。當(dāng)然也有一些跟業(yè)務(wù)強(qiáng)相關(guān)的開(kāi)發(fā)內(nèi)容，類(lèi)似接唱玩法、一些需要演唱打分的場(chǎng)景等等，這部分會(huì)跟業(yè)務(wù)一起評(píng)估需求，納入業(yè)務(wù)的項(xiàng)目管理進(jìn)度中去。

宣發(fā)和技術(shù)也是我們?cè)诎l(fā)展過(guò)程中努力在提升的方向，留住用戶(hù)更重要的還是產(chǎn)品力，技術(shù)也是為產(chǎn)品力服務(wù)的，這塊我們還是有持續(xù)的路要走。

繞不過(guò)的降本增效

說(shuō)到降本增效，其實(shí)，作為一個(gè)小團(tuán)隊(duì)，主要還是發(fā)揮自己的優(yōu)勢(shì)方向，非優(yōu)勢(shì)方向以及成本上無(wú)法顧及的方向則想辦法找合作方來(lái)補(bǔ)齊。比如實(shí)時(shí)K歌場(chǎng)景下，對(duì)用戶(hù)體驗(yàn)影響較大且我們自己可以做的采集渲染以及機(jī)型適配工作，我們從19年開(kāi)始就一直在積累；而像RTC的傳輸優(yōu)化、AEC處理，服務(wù)器架設(shè)則是建立了一套實(shí)驗(yàn)室評(píng)價(jià)體系，選擇效果最好的服務(wù)商來(lái)滿(mǎn)足需求。

成本這塊，實(shí)時(shí)K歌最大頭的也就是RTC服務(wù)的費(fèi)用了，我們目前是配合自己的采集渲染來(lái)集成各家的RTC服務(wù)，這樣可以做到最低的切換成本，線(xiàn)上多家RTC同時(shí)存在時(shí)的體驗(yàn)也是一致的。這種方案下我們會(huì)有比較好的議價(jià)優(yōu)勢(shì)，也能掌握議價(jià)的主動(dòng)權(quán)。另外端上對(duì)CDN資源的cache機(jī)制，對(duì)RTC資源的按需使用優(yōu)化也能降低一部分成本。

03 要在現(xiàn)在，抓住未來(lái)

唱歌是人的天性，社交也是天性。特別是年輕一代在自我表現(xiàn)以及社會(huì)認(rèn)同上會(huì)有更個(gè)性化的需求，他們對(duì)在一個(gè)虛擬社區(qū)中組成團(tuán)體的認(rèn)同感以及精力投入上也都更多，基于K歌的社交垂類(lèi)還是有持續(xù)的可挖掘空間的。

我認(rèn)為，K歌未來(lái)的發(fā)展方向應(yīng)該也是朝著更容易沉淀社交關(guān)系的方向去走。比如說(shuō)_更精準(zhǔn)的匹配推薦策略，讓對(duì)脾氣的用戶(hù)能高效的認(rèn)識(shí)并沉淀關(guān)系_；再比如說(shuō)基于AI的自動(dòng)改編和自動(dòng)作曲，讓有才華的非專(zhuān)業(yè)用戶(hù)可以高效產(chǎn)生自己的特色作品，低成本地炫出自己的才華；對(duì)于音樂(lè)領(lǐng)域來(lái)說(shuō)，基于AI的伴奏人聲分離技術(shù)已經(jīng)比較成熟，目前的效果基本上能達(dá)到實(shí)用程度了。

再比如基于AI的回聲消除以及降噪，可以達(dá)到傳統(tǒng)算法無(wú)法企及的高度。像我們所在的K歌社交領(lǐng)域，如果能基于AI給歌曲以及用戶(hù)的演唱做自動(dòng)分類(lèi)推薦，則會(huì)是一個(gè)比較顯著的方向。希望未來(lái)的技術(shù)發(fā)展能解決目前實(shí)時(shí)合唱的延時(shí)問(wèn)題，讓遠(yuǎn)在各地的用戶(hù)可以輕松和聲。

最后，分享下我在這次的LiveVideoStackCon中帶來(lái)的內(nèi)容：主要還是分享這幾年做撕歌在音視頻這塊踩過(guò)的坑，以Android/iOS移動(dòng)端的技術(shù)為主；也會(huì)分享K歌場(chǎng)景下特殊的一些技術(shù)點(diǎn)；還會(huì)聊聊音視頻技術(shù)上的優(yōu)化如何變成老板們能認(rèn)可的指標(biāo)，以及語(yǔ)聊場(chǎng)景常見(jiàn)的卡麥問(wèn)題。

*文章圖源：

豆瓣《蜘蛛俠：縱橫宇宙》