![]()
上期《科技奧德賽》,我們了解了Bhout。本次,我們把目光轉(zhuǎn)向了另一家更低調(diào)、也更硬核的公司——Sound Particles。
當(dāng)你在影院里聽見《沙丘》里沙蟲掠過時的轟鳴,或在《奧本海默》的核爆場景中感受到聲音從四面壓來時,很少會想到,這些復(fù)雜空間感背后的技術(shù),一些會是來自里斯本一家只有17人的公司——Sound Particles。
這家2016年成立的葡萄牙公司,把電腦圖形學(xué)里的粒子系統(tǒng)帶進了聲音世界,也把自己做進了全球頂級電影、游戲和音樂制作的專業(yè)流程里。在《科技奧德賽》的這期探訪中,我們走進了這間辦公室,試圖讀懂這套重新定義3D音頻的技術(shù),到底是怎么誕生的。
把聲音變成粒子
在Sound Particles出現(xiàn)之前,沉浸式音頻的創(chuàng)作長期困在低效的手工模式里。
想要打造一個千人戰(zhàn)場的全景聲場,混音師需要錄制上千條不同的槍聲素材,再用鼠標(biāo)、旋鈕逐一調(diào)整每一條聲音的方位、距離與傳播特性,才能避免重復(fù)感帶來的虛假;想要還原成群飛蟲繞著頭頂盤旋的效果,也要手動給每一條聲音設(shè)定運動軌跡,稍有不慎就會失去真實感。
Sound Particles的創(chuàng)始人Nuno Fonseca,一個同時深耕電影音頻、計算機科學(xué)與人工智能的跨界者,提出了一個全新的思路:如果3D動畫里,每一個畫面元素都能成為帶坐標(biāo)、帶運動軌跡的粒子,那聲音為什么不可以?
![]()
基于這個想法,他搭建了一套核心的3D音頻引擎:每一個聲音都是一個獨立的“音頻粒子”。創(chuàng)作者可以在虛擬3D空間里,給每個聲音粒子設(shè)定精準(zhǔn)的位置、運動方向與傳播軌跡,再像動畫師架設(shè)攝影機一樣,在空間里放置虛擬麥克風(fēng)——麥克風(fēng)的位置,就是最終觀眾聽到聲音的視角。
這個底層邏輯的改變,直接降低了復(fù)雜聲場的創(chuàng)作門檻。就像團隊演示的那樣,原本需要耗費近一年錄制的上千種差異化槍聲,只用10個基礎(chǔ)樣本,通過系統(tǒng)對參數(shù)的精細(xì)化微調(diào),就能呈現(xiàn)出豐富差異化的聽感,盡量避免機械重復(fù)帶來的失真感。也正是這套技術(shù),讓Sound Particles進入了好萊塢不少制片廠和聲音團隊的創(chuàng)作流程。
聲音可以更真實
在公司的開發(fā)室里,我們最先注意到的,不是滿屏的代碼和專業(yè)調(diào)音設(shè)備,而是一排排整齊擺放的3D打印模型——從耳朵、完整的頭部到軀干,全是公司員工的1:1復(fù)刻。
![]()
“我們先打印了所有員工的耳朵用來做聲學(xué)測試,替換了人工頭模型上的耳朵,后來發(fā)現(xiàn)這還不夠,又開始打印完整的頭部和軀干,下一步還會還原衣服、頭發(fā)、眼鏡對聲音傳播的影響。”公司COO Rui Rijo的介紹,也點出了音頻行業(yè)里一個長期容易被忽略的事實:每個人的耳朵結(jié)構(gòu)都是獨一無二的,甚至左耳和右耳都存在差異,聲音在不同人的耳廓、耳道里,傳播路徑完全不同。
傳統(tǒng)的沉浸式音頻體驗,極度依賴影院里十幾、幾十個揚聲器組成的全景聲系統(tǒng)。比如團隊現(xiàn)場演示的9.1.6聲道環(huán)境,就包含了人耳高度的9個揚聲器、頂部6個揚聲器和1個低音炮,才能搭建出完整的3D聲場。但對絕大多數(shù)普通人來說,家里不可能搭建這樣的專業(yè)設(shè)備,日常聽音頻、看視頻,最常用的只是一副普通耳機。
Sound Particles正在做的,就是打破這個硬件壁壘。通過3D掃描還原用戶的耳朵與頭部結(jié)構(gòu),系統(tǒng)就能模擬聲音在用戶特定耳朵里的傳播方式,生成專屬的雙耳音頻。他們的目標(biāo),是讓普通人只用一副普通耳機,就能逼近影院多揚聲器系統(tǒng)的沉浸式3D音頻體驗。
為了降低創(chuàng)作端的操作門檻,團隊還開發(fā)了手機控聲工具:混音師不用再守著電腦反復(fù)調(diào)整鼠標(biāo)和旋鈕,只用手機指向空間里的任意位置,聲音就會精準(zhǔn)落到對應(yīng)的方位,讓3D聲場的創(chuàng)作變得簡單直觀。
好聲音,值得讓每個人聽到
這家進入好萊塢專業(yè)制作流程的公司,核心團隊只有17人,其中包括4位博士,其核心技術(shù)已在美國獲得專利。從2016年創(chuàng)立至今,他們并沒有把自己停留在影視音頻工具這一單一定位上,而是圍繞核心的3D音頻技術(shù),不斷拓展產(chǎn)品邊界。
![]()
我們探訪時了解到,團隊已經(jīng)推出了適配數(shù)字音頻工作站的全系列插件,覆蓋沉浸式音頻創(chuàng)作全流程,也被廣泛應(yīng)用在VR、AR游戲的聲場制作中;2023年,他們發(fā)布了首款商用沉浸式合成器,計劃推出的粒子合成器,也讓音樂家讓-米歇爾·雅爾在體驗后直言,“我等這個產(chǎn)品等了大約20年”;針對行業(yè)3D音效素材的缺口,他們還搭建了Explorer音效庫,收錄了超過200組專屬3D音頻素材。
而團隊當(dāng)時最核心的新方向,是面向大眾的消費級3D音頻市場。“整個行業(yè)都在向3D音頻發(fā)展,但最大的問題是,大多數(shù)人家里沒有10個以上的揚聲器,大部分時間都是通過耳機消遣娛樂。”在Rui Rijo看來,這是一個規(guī)模達100億美元的市場。市面上現(xiàn)有的解決方案,要么效果達標(biāo)但無法規(guī)模化普及,要么能規(guī)模化但體驗不佳,而Sound Particles試圖找到兼顧效果與擴展性的解決方案。
彼時,團隊已經(jīng)為這項技術(shù)投入了五年研發(fā),并正準(zhǔn)備將其進一步推向市場。除此之外,他們還把3D音頻技術(shù)延伸到了人工智能領(lǐng)域:利用粒子系統(tǒng),生成帶精準(zhǔn)空間標(biāo)注、豐富環(huán)境噪聲的海量音頻數(shù)據(jù)集,為語音識別、智能汽車環(huán)境聲預(yù)警等場景的神經(jīng)網(wǎng)絡(luò)訓(xùn)練提供支撐。
當(dāng)然,此行來到最后,相信屏幕前的你,也會有和我們一樣的感覺:Sound Particles最打動人的,會在于他們愿意花數(shù)年時間,把一個足夠難的細(xì)分問題一點點做透。
從電影片場、游戲制作,到耳機和人工智能,Sound Particles并沒有突然跨進這些場景。它更像是沿著同一個問題不斷往前走:聲音能不能被放進空間,能不能被更真實地還原,能不能被做成一種更底層的能力。也正是在這個過程中,這家里斯本的小公司一步步長成了今天的樣子。
下期預(yù)告:當(dāng)葡萄牙科技走進智慧城市,歡迎來到Omniflow。
- - - - - - - - END - - - - - - - -
*想要獲取行業(yè)資訊、和志同道合的科技愛好者們分享心得,那就趕快掃碼添加“動點君”加入群聊吧!群里更有不定期福利發(fā)放!
系列回顧
精彩好文值得推薦!
一鍵轉(zhuǎn)發(fā),戳個在看!
![]()
特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺“網(wǎng)易號”用戶上傳并發(fā)布,本平臺僅提供信息存儲服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.