當前位置: 華文問答 > 數碼

耳機中的「空間感」是如何實作的?

2022-07-25數碼

作為真無線耳機博主,嘗試回答下這個問題,希望真正研究的演算法工程師來補充下。

查閱了科普中國,源頭資訊北大資訊科技學院頭相關函數數據庫,還有谷歌學術,甚至維基百科的一些內容,發現是10年前的學術研究論文,作為畢業多年本科生,讀起來挺吃力的,但好歹也讀完了。自己仔細揣摩了HRTF定義,還有不同研究就夠的研究範疇,發現為了做好耳機的空間感,技術積累從1994年就已經開始了——我們現在習以為常的產品和技術,竟然是長達20-30年不斷的積累。

一切的核心—— 頭相關傳輸函數HRTF,魔術一樣影響我們聽覺空間認知

先回歸到物理世界,我們雙耳是怎麽定位的? [1]

聲音借助空氣傳遞到頭部的耳朵外部時(註意是耳朵,還沒透過耳道到達骨膜),如果不是正前正後方,一定會有兩個變量:

  • 時間差 ——兩個耳朵聽到聲音是先後順序
  • 能量差 ——兩個耳朵聽到聲音大小的差別
  • 圖中所示:右耳先聽到且聲音大,左耳後聽到且聲音小。經過長期生活的訓練,我們透過這些細微的差異,來判斷聲源的方向。

    如果這麽簡單,那麽聲學也不至於被調侃為玄學?

    從正前方和正後方放聲音,按這種理論理論,我們應該分辨不出來,但實際正常人都能分辨出來。

    問題出在哪裏?

    就是聲音傳遞到耳道後,會被耳郭反射——反射後的聲音,內建了位置資訊,我們很容易判斷出來。

    最復雜聲學問題,出現在這了——外界聲音經過耳郭被「加密」了

    耳郭這種反射是高度個人化的,每個人的形狀深淺完全不同,且隨著年齡還會變化,換句話說,我們 耳膜聽到的聲音,是被耳郭等各類反射後,進行了空間資訊的「加密」,視為加密聲

    如果想 復現外部音源空間感,就必須在耳道內播放「加密後」的聲音

    而這個 外部聲音經過耳郭之後加密的過程,可以抽象成為一個函數——頭相關傳輸函數 (Head Related Transfer Functions,縮寫:HRTF [2]

    頭相關傳輸函數和哪些因素有關呢?

    和聲源距離,和聲源仰角,聲源水平角,和肩膀,和聲音訊率有關,甚至還和衣服,毛發,五官輪廓有關,等等等等

    抽象成為一個數學函數和模型,就是這個:

    PL,PR分別是簡諧點聲源在傾聽者左、右耳產生的復數聲壓。
    Po是人頭不存在時,頭中心位置處的復數聲壓。
    一般情況下HL,HR是聲源的水平方位角θ、仰角Φ、聲源到頭中心的距離r以及聲波的角頻率Ω的函數
    對於遠場,即r>1.2 m的情況,HL,HR基本上與r無關
    另外,由於不同人的頭部、耳廓、軀幹等的尺寸和形狀不同,因而嚴格來說每個人的HRTF是不同的,也就是說HRTF是一個具有個人化特征的物理量。公式中a表示具有個人化特征的參量,如頭部的尺寸

    註意:頭相關傳輸函數可以是,指任何自由場點聲源與聽眾耳道指定位置之間的聲學傳遞函數 [3]

    我們假定是 加密後的聲音2,這是內建了空間感的加密聲音,被鼓膜聽到後,大腦反向解密,勾勒出大致的位置和變化 [4]

    用耳機播放耳道聲音2

    這時,如果能夠獲得 耳道聲音2,用耳機直接來播放,不就是一樣的效果麽?

    問題好像開始變得簡單了,就是利用頭部相關傳輸函數,獲取外部聲音在耳道不同位置加密後對應的聲音,然後用耳機播放就行——看起來挺簡單的。

    舉例來說,在一場真實的音樂會上,小提琴在聽眾的左邊45°,鋼琴在聽眾的右邊45°,無論是小提琴的聲音,還是鋼琴的聲音,都能夠經過聽眾的頭部進行加密過的。
    如果別人想透過耳機獲得身臨其境的體驗,那麽耳機內部的數碼電路可以選擇左邊45°的頭相關函數來加密小提琴的聲音,右邊45°的頭相關函數加密鋼琴的聲音,這樣就能夠「欺騙」大腦,讓耳機內的聲音聽起來也有很好的方向感和空間感。

    可這不是數學,是函數模型!!

    要大量的 聲音結合大量的人群來測試,逐一驗證各個變量和最終結果的關系,這才是最難的部份

    而且耳道這個位置,又敏感又不安全。最完美的位置,應該是耳膜吧?可麥克風和耳機靠近耳膜,安全問題又難保證。

    所以,從音源到獲得加密後的耳道聲音2,需要構建準確的頭部相關函數,就需要大量的數據庫,所以10年之前北大的研究是跨越性的—— 北大言語聽覺研究中心釋出了頭部傳遞函數數據庫 [5]

    北大官網

    至此,理論層的研究打通,剩下的就是各個工程師努力要克服的研發和生產以及量產的問題了,我已經盡最大努力回答了這個問題,期望看到更好的其它回答。

    後續是更為復雜和繁瑣的產品,量產,商業問題等等,歡迎專業博主來回答。

    補充下:

    根據個人了解,不少品牌方將會陸續釋出空間音訊的產品,萬魔也會在未來一段時間釋出,甚至有更多品牌方告訴我今年的空間音訊計劃。

    根據上遊供應鏈的反饋,2022年將會是空間音訊發力的元年,因為上遊的產業鏈已經開始成型了,而且不少方案商已經開始推出稍微成熟的方案了。隨著量產大批次的新品上市,入門級價位將會有越來越多的優秀產品出現。

    而空間音訊作為計算音訊中最易感知的存在,第一步邁出去了,那麽真無線耳機一直被吐槽的音質體驗,大概率也會被頭部相關函數透過計算音訊的方式,提高到傳統有線耳機幾十年都達不到的程度。

    但再往深層, 空間聽覺透過頭相關傳輸函數,被完美欺騙了,那麽元宇宙,會不會是最終的的技術套用場景呢?

    老規矩,求贊求關註。

    結尾:原本想著隨便回答下,沒想到整理回答中,問題越挖掘越多。之前總是看到頭相關傳輸函數HRTF,仔細看完,最難的其實是大量的數據獲取,而且這些數據竟然和不同的確的人群有顯著相關性。更是發現這竟然是研究了幾十年的技術,到最近一兩年才開始套用的 [6]

    附整理過程中,輔助理解的手稿吧,給這個小眾回答一個懷念——貌似現在還看這些內容的人,越來越少了。

    開始回答的時候,沒想這麽長

    參考

    1. ^ 科普中國 http://www.ioa.cas.cn/kxchb/kpzp/kpwz/202112/t20211222_6325395.html
    2. ^ 頭相關函數詳解 https://baike.baidu.com/item/头相关传输函数/21505397
    3. ^http://sjcj.nuaa.edu.cn/ch/reader/download_pdf_file.aspx?journal_id=sjcjycl&file_name=3618E016C89268EC90BDFA962A474893134547BFFDDFC5C9B639DF13F6AB8D730D9901E6ECFA220A6093646EF3D287C3D0FB752960125B22&open_type=self&file_no=20140203
    4. ^ 耳機到耳道傳輸函數測量的個人化頭相關傳輸函數客製 http://120.209.85.3:8091/KCMS/detail/detail.aspx?filename=1014064930.nh&dbcode=CMFD&dbname=CMFD2015
    5. ^ 北京大學言語聽覺研究中心釋出了頭相關傳遞函數數據庫 https://eecs.pku.edu.cn/xxkxjsxy/info/1023/8157.htm
    6. ^ 發展歷史 https://www.sohu.com/a/428705569_806909