編者按： 樹枝上鳥兒的啁啾聲，潺潺流水聲，人們踏青時的歡歌笑語聲，與春暖花開的畫面融合在一起，呈現(xiàn)出一幅春色正濃的動態(tài)美景?？墒钱?dāng)一切聲音被消除，整個世界陷入沉寂，這幅美麗的春景圖仿佛也在瞬間失去了色彩。聲音在我們的日常生活中占據(jù)著至關(guān)重要的地位，與聲音相對應(yīng)的音頻也是如此：音頻可以獨(dú)立于視頻存在，而且音頻的感知受到長短時記憶的影響更明顯。這也是為什么音頻可以調(diào)動人的情緒變化和好惡感知。

近日，LiveVideoStack采訪到了聲網(wǎng)的音頻算法負(fù)責(zé)人馮建元，請他來跟大家聊聊音頻相對于視頻的優(yōu)勢、音頻在元宇宙中的應(yīng)用、國內(nèi)音頻技術(shù)與AI結(jié)合的發(fā)展、過去一年聲網(wǎng)在音頻領(lǐng)域所取得突破和對前沿音頻技術(shù)的探索，以及他本人所主導(dǎo)過的成功項(xiàng)目等。

聲網(wǎng)音頻算法負(fù)責(zé)人馮建元

LiveVideoStack: 馮老師，您好，歡迎您參加我們的訪談，還請您向LiveVideoStack的讀者介紹一下自己以及您目前關(guān)注的技術(shù)。

馮建元： 大家好，我是來自聲網(wǎng)音頻體驗(yàn)團(tuán)隊(duì)的馮建元。博士畢業(yè)于伊利諾伊理工，伊利諾伊大學(xué)芝加哥分校的特聘研究員，有過一年創(chuàng)業(yè)經(jīng)驗(yàn)?，F(xiàn)在在聲網(wǎng)主要負(fù)責(zé)新一代實(shí)時音頻引擎的研發(fā)。我關(guān)注的音頻領(lǐng)域還是比較多的，從基于AI的語音編解碼器、空間音頻到聲紋變聲等都有在關(guān)注和嘗試。

LiveVideoStack: 您深耕音頻行業(yè)多年，先后主導(dǎo)過多個實(shí)時音頻通訊領(lǐng)域的開發(fā)項(xiàng)目，在這些項(xiàng)目中，您最引以為傲的是哪一個？這個項(xiàng)目取得了什么樣的成就？

馮建元： 如果在去年我會認(rèn)為是我們發(fā)布了國內(nèi)第一個AI語音編解碼器Silver，它把碼率降至3kbps還能做到32kHz采樣的高質(zhì)量語音編解碼。到了今年，實(shí)時空間音頻渲染引擎是我最引以為傲的項(xiàng)目，它實(shí)現(xiàn)了音頻更高維度的管理，你可以任意改變所處的空間、位置，而你所感知的聲音也隨之變化，這讓我們向沉浸式體驗(yàn)又多進(jìn)了一步。

LiveVideoStack: 目前AI與音頻技術(shù)的結(jié)合已經(jīng)成為一種趨勢，比如AI技術(shù)常用于音頻降噪、回聲消除和音頻特效等。除此之外，AI和音頻的技術(shù)結(jié)合還有哪些新的探索？

馮建元： AI技術(shù)可以滲透到音頻的方方面面，它可以說是一個基礎(chǔ)工具，從檢測類的音樂檢測、哮叫檢測、VAD、music information到增強(qiáng)類的降噪、回聲消除、音源分離，再到生成類的ASR、TTS、實(shí)時變聲，甚至空間音頻中的個性化HRTF都可以用AI模型生成，可以說AI幾乎已經(jīng)融入到了音頻的每一個角落。

LiveVideoStack: 據(jù)您了解，與海外相比，國內(nèi)對于AI與音頻技術(shù)結(jié)合的探索目前處于什么階段？有哪些差距或者超越的地方？

馮建元： 我覺得國內(nèi)在AI與音頻技術(shù)結(jié)合上已經(jīng)是國際第一流的水平，尤其在嚴(yán)肅、傳統(tǒng)的3A處理領(lǐng)域。在音樂、AI Codec等比較新的領(lǐng)域，我們則可能處于平分秋色或者在前沿探索方面略顯滯后。

LiveVideoStack: 過去一年，在對音頻技術(shù)領(lǐng)域的探索過程中，聲網(wǎng)取得了哪些突破？克服了哪些技術(shù)上的困難？

馮建元： 說起技術(shù)突破那還是有不少的。我們打造了一套專為RTC設(shè)計(jì)的實(shí)時音頻渲染引擎，可以低功耗地在普通手機(jī)上實(shí)現(xiàn)多人位置、朝向、聲音模糊等一系列空間音頻的渲染。我們把AI降噪做到了世界領(lǐng)先，在降噪魯棒性、語譜保真等方面都有了很大的提高。還有剛才說的，我們還發(fā)布了基于AI的語音編解碼器，可以做到超低帶寬的高質(zhì)量語音傳輸。

LiveVideoStack: 今年聲網(wǎng)還將探索哪些前沿的音頻技術(shù)？您能否為我們介紹一下。

馮建元： 今年我們也有很多有意思的探索，包括如何在“元宇宙”的場景中實(shí)現(xiàn)全方位的沉浸感，這就包括空間音頻、實(shí)時聲紋變聲等技術(shù)。比如我們最近在做的實(shí)時聲紋變聲可以實(shí)現(xiàn)可定制的any to any的實(shí)時變聲，加上空間音頻的加持，以后我們的聲音就可以在任意位置以任意形態(tài)出現(xiàn)。除此之外，我們還將針對音樂場景做一系列的編解碼器、音樂AEC等方向的探索來提升實(shí)時音樂場景的體驗(yàn)。大家敬請期待。

LiveVideoStack: 元宇宙是最近一年以來非?；鸬母拍?，很多領(lǐng)域的專家都在探討它的實(shí)現(xiàn)。您如何看待元宇宙的發(fā)展？您認(rèn)為音頻將在元宇宙中發(fā)揮什么樣的作用？

馮建元： 我們在游戲、社交、協(xié)作的交互隨著媒介的變化而不斷改變。我認(rèn)為隨著VR、AR技術(shù)尤其是基于交互體驗(yàn)的進(jìn)步，我們其實(shí)是一步一步朝著元宇宙的方向發(fā)展的。這個概念會火代表著人們確實(shí)覺得我們現(xiàn)在的交互是有很多待改進(jìn)的地方。音頻在其中，其實(shí)就是要讓聲音做到“聲臨其境”。這就包括兩個部分：“消滅”和“重塑”。 消滅所有會影響臨場感的因素包括噪聲、混響、回聲、雜音等等，然后根據(jù)所處的真實(shí)或虛擬的環(huán)境，重塑其中的音源和空間感知。

LiveVideoStack: 您認(rèn)為相對于視頻，音頻有哪些不可取代的優(yōu)勢？您如何看待它的發(fā)展前景？

馮建元： 音頻可以獨(dú)立存在且音頻的感知受到長短時記憶的影響更明顯。這也是為什么音頻可以調(diào)動人的情緒變化和好惡感知。人們對音頻的變化相比較視頻會更為敏感。所以在交互過程中，音頻承載的信息量就會比較大且可獨(dú)立于視頻而存在。然而音頻的發(fā)展和視頻的發(fā)展應(yīng)該是相輔相成的，畢竟在未來更為沉浸的交互過程里兩者缺一不可。

LiveVideoStack: 對于未來有志于從事音頻技術(shù)開發(fā)的人，您能否從自身的經(jīng)驗(yàn)出發(fā)給出一些切實(shí)可行的建議？

馮建元： 我最近和極客時間合作了一個《搞定音頻技術(shù)》的課程。我在制作這個課程的時候發(fā)現(xiàn)音頻技術(shù)涉及的面是非常廣的，但是音頻最后都會被耳朵接收。如果能保持一個聽覺上的敏感，就能發(fā)現(xiàn)很多音頻處理可能發(fā)生的問題和可以改進(jìn)的點(diǎn)。另外除了日常學(xué)習(xí)工作，大家追劇、看動漫、玩游戲、在線聊天的過程中不妨感受一下好聽的聲音是什么樣的，影視作品和平時聽的聲音有什么區(qū)別，看看導(dǎo)演音頻處理得到不到位，這些都能讓你保持旺盛的好奇心與鉆研音頻的興趣。

LiveVideoStack: 對于本次大會，您有哪些期待？在會上，您將為我們帶來哪些精彩內(nèi)容？

馮建元： 這次的LiveVideoStack音視頻技術(shù)大會正好在元宇宙概念興起與疫情導(dǎo)致音視頻交互被大量使用的時間節(jié)點(diǎn)上，我期望能看到更多精彩有趣的音視頻技術(shù)方案來提升我們的交互方式。在大會上，我將會為大家介紹聲網(wǎng)在實(shí)時空間音頻渲染的探索和進(jìn)展，一起探討一下我們?nèi)绾巫孯TC也能有“聲臨其境”的交互體驗(yàn)。

封面圖來自Unsplash，by Richard Horvath

掃描圖中二維碼了解音視頻大會更多詳情