翻譯 | Alex

技術(shù)審校 | 朱夢堯

本文來自Clubhouse Blog，作者為Clubhouse流媒體技術(shù)負(fù)責(zé)人Justin Uberti。

影音探索 #010#

多年來環(huán)繞聲一直是影院的一大特色。當(dāng)你置身于影院中，聲音從四面八方傳來，這種感覺就像在親歷電影中的情節(jié)?？臻g音頻是一種新技術(shù)：當(dāng)你只是戴上耳機，它也能重現(xiàn)影院級別的環(huán)繞聲。對于Clubhouse這樣的群組通信app，空間音頻不僅能帶來很棒的音效，還能使你與他人輕松對話。

概述

我在加入Clubhouse之后就開始研究實現(xiàn)空間音頻的可能性。我們的耳朵非常擅長定位聲音從何處而來，它們通過幾種不同的方法定位，包括對比聲音到達每只耳朵的時間。事實證明，如果你將這種微妙的時間變化方法同樣用于app播放的聲音，你就能使聲音從任意你想要的位置發(fā)出。

這種技術(shù)被稱為頭傳輸函數(shù)（HRTF ，Head-Related Transfer Function），它將音頻信號處理成好像來自頭部的特定方向。即使你戴的是普通耳機，也可以在二維空間內(nèi)創(chuàng)建定位，使音頻聽起來像是來自你的左右兩邊，甚至是背后！這種技術(shù)假設(shè)針對某一種頭部和耳部的幾何形狀（但人和人的頭部和耳部的幾何形狀是不同的），但對于大部分聽者而言，效果非常逼真。

在常見的音頻通信應(yīng)用程序中，如果多個用戶同時講話，他們的音頻在播放前會被混合為單通道音頻流。而在Clubhouse，我們可以將空間音頻HRTF應(yīng)用于每個音頻流，這種做法能夠?qū)⒚總€講話者定位在他們自己的獨特空間內(nèi)。你會感覺自己正置身于對話之中，而不僅僅是在聽電話會議。

空間音頻的優(yōu)勢

除了帶來沉浸式體驗，研究顯示，空間音頻提高了對話清晰度，并降低了對話中的認(rèn)知負(fù)荷。

如果沒有空間音頻，聽者需要依靠其他音頻特征（通常為音色和話音幅度）來確定誰在講話，雖然這些提示非常有效，這也是我們在大部分情況下能夠進行傳統(tǒng)會議電話的原因。然而，音色上的差異帶來了認(rèn)知成本，尤其當(dāng)聲音非常相似時（比如年齡和性別相似時）。此時，聽者需要有意識地關(guān)注講話者講話，這樣一來就產(chǎn)生了不小的認(rèn)知負(fù)荷。

而使用空間音頻后，即使在注意力缺失的情況下也能區(qū)分講話者的聲音，它在降低認(rèn)知負(fù)荷的同時提高了對話清晰度。

憑直覺判斷，這也很有道理。幾千年以來，我們的大腦一直在使用空間提示來理解真實世界中的對話，但我們在使用傳統(tǒng)電話會議和會話app時已經(jīng)放棄了這種特殊能力。Clubhouse的空間音頻提供了這些重要提示，使app上的對話更人性化、同時也更容易聽懂。

集成復(fù)雜度

-音頻管道

為了將HRTF技術(shù)集成到Clubhouse，我們必須訪問客戶端接收到的原始音頻流。我們之所以選擇訪問客戶端而非服務(wù)端是為了避免向音頻添加額外的延遲（如果服務(wù)端必須解碼、處理以及重新編碼每個包，就很有必要訪問服務(wù)端）。通過客戶端方法，我們需要從會議服務(wù)中將接收到的音頻流連接起來，將接收到的音頻原生采樣率重采樣為HRTF采樣率，然后再將每個接收到的音頻流進行HRTF處理。這就產(chǎn)生了一組立體聲音頻流輸出，我們將其混合再傳送給播放設(shè)備。

注意，因為左右耳的HRTF輸出不同（正如大部分的定位來源），所以使用立體聲播放就非常關(guān)鍵。這在使用有線耳機時會相對簡單，但對藍牙耳機而言卻要復(fù)雜得多。只有A2DP藍牙音頻配置可以支持立體聲播放，而通信app通常使用的HSP和HFP配置卻無法支持。

現(xiàn)在，還沒有藍牙配置可以同時支持立體聲播放和麥克風(fēng)輸入，所以當(dāng)佩戴藍牙耳機時，就限制了空間音頻的使用。我們希望和移動OS供應(yīng)商一起合作，在不久的將來解決這個問題。

-心理聲學(xué)

我們在研究空間音頻的產(chǎn)品方面時，其實還有很多其他問題要考慮到。講話者應(yīng)該處在虛擬音頻空間的什么位置？當(dāng)房間內(nèi)參與人數(shù)增加，位置是否發(fā)生變化？我們做了一系列不同的調(diào)整，其中一些問題很快就解決了（通過高效的技術(shù)實現(xiàn)）。但有些問題卻很難靠技術(shù)解決：比如講話者位置太靠邊讓人感覺很奇怪，但彼此太近又會減少空間定位的價值。

最有效的方法還是從現(xiàn)實生活中獲取靈感。我們考慮到人們在群體中講話時通常如何安排自己的位置，并據(jù)此安排前幾位加入者。然后，當(dāng)新的講話者到達房間時，我們將他們定位在最大的剩余空間內(nèi)，這與現(xiàn)實生活中人們加入對話的方式很相似。我們還使用了一個巧妙的過度，這樣如果靠邊位置的人開始講話時，定位就會逐漸更新到你會面對他們（就像現(xiàn)實生活中那樣）。

我們進行了相當(dāng)多的試錯試驗，通過聽力測試和對照試驗，我們調(diào)整了這里的準(zhǔn)確值。下面是來自我們用戶的反饋。

Clubhouse的空間音頻實現(xiàn)得非常好，以至于要花些時間才能習(xí)慣。我今晚散步時回頭了三次來確認(rèn)是誰在說話，最后才意識到聲音來自app。

Clubhouse的空間音頻功能太棒了！

-音樂

到現(xiàn)在為止，我所討論的內(nèi)容都是假設(shè)Clubhouse上的用戶都是單聲源。但在Clubhouse上，還有很多房間在直播演奏音樂，人們利用app的功能來傳輸立體聲音頻。這就給空間音頻帶來了一個特殊的難題：我們?nèi)绾卧诰珳?zhǔn)定位房間內(nèi)每個人的同時支持立體聲源？

我們使用的方法是將每個立體聲源拆分為兩個單聲源，彼此間隔預(yù)定距離（有些像音箱）。其中存在很多挑戰(zhàn)：準(zhǔn)確確定何時使用這種模式并不容易，因為一些音源會動態(tài)地從單聲源變?yōu)榱Ⅲw聲，但是這種技術(shù)保留了立體聲的豐富效果，同時還允許立體聲音頻流來自不同的空間位置。

總結(jié)

以上就是Clubhouse的空間音頻速覽。我們認(rèn)為空間音頻讓app上的對話更具真實感，它是一種很棒的功能，我希望你們都能喜歡。

References:

https://pubmed.ncbi.nlm.nih.g...

https://pubmed.ncbi.nlm.nih.g...

https://pubmed.ncbi.nlm.nih.g...

https://www.clubhouse.com/roo...\_medium=ch\_room\_xerc&utm\_campaign=sI95qy9i-EC5I3MvlueR7g-139084

致謝：

本文已獲得作者Justin Uberti授權(quán)翻譯和發(fā)布，特此感謝。

原文鏈接：

https://blog.clubhouse.com/en...

延伸閱讀：

對話Justin Uberti：RTC的過去、現(xiàn)在和未來