|
3 J2 f2 L# x( D
原标题：声声声声临其境，一起坠入阿里云超音感空间
$ r7 t+ c/ u: {7 l i
+ W* L* x, v4 [# V: s# f1 B: t3 g% y: C' H! B6 }5 `; `
4 j# {9 ~2 X) y& P
大众对沉浸体验的追求，不再仅局限于“视觉”。声之切，境尤升。3 Y+ Z1 b# Z) Q; [7 {6 m
7 Z& W2 R1 ]$ m* O% ]1 f" Z8 g' D# {+ q% ^
随着硬件技术的升级、软件内容的丰富以及5G网络环境的优化，推动几经浮沉的VR产业走向正循环。 v& O7 R. h$ ^# g- Q
就在去年，「Roblox上市」、「Facebook更名为Meta」、「微软收购暴雪」等将元宇宙相关产业推向风口，而Oculus Quest 2（VR一体机）出货量破千万台的成绩，更是一件将沉浸式VR从概念落地场景实践的标志性事件。
1 h6 y0 s6 U6 F L. ^# P% W% e 在本次云栖大会阿里云视频云的8K VR视频技术展台，体验者通过佩戴Pico VR头显，感受清晰度高达8K的360度VR视频，实时捕捉超高清细节。 ( y6 {* P* g$ ~6 R
不仅如此，体验者还能以“声”临其境，感受令人惊艳的全景声技术带来的沉浸式视听体验。 . |! z8 s# Y+ {- G8 K$ k7 d% c; [
' |2 u M" D6 ^$ z" B 
( p0 a4 V1 C" x* O6 Y2 p6 t, g" i 01“视”之外的沉浸之“声”
) E- ?' c1 L7 A" _ 「沉浸式视听体验」一词已多次出现在大众视野，究竟什么是沉浸式视听体验呢？
# H- Q% P- u" ]6 K1 K “沉浸式视听体验”是指通过视频、音频及特效系统，构建大视角、高画质、三维声特性，从而具备画面包围和声音环绕的主观感受特征，观众在所处位置就能获得周围多方位的视觉、听觉信息，带来身临其境之感。
, W2 I& B1 } |) A. t% K6 I) L 听觉作为仅次于视觉的重要感官通道，对沉浸式的视听体验至关重要。随着用户对视听体验的极致追求，在“视”之外，沉浸之“声”技术应运而生。
2 C6 t6 x2 i' q5 W 「沉浸式音频」是指能够呈现空间的还音系统的声辐射，至少能覆盖观众的前、后、左、右、上五个方位。除此之外，还能真实地营造出声场的水平纵深和垂直高度，即从听者角度能精准地定位声音的方向和位置。 1 n, O, v7 m6 |7 |0 c7 u) M( q# y
从技术角度是如何实现呢？ ; p' u0 \* T% \! c7 d1 `/ b
其实，真实世界的声音来自环境的四面八方，人耳往往可以通过声波的时间差、强度差、相位差、频率差等辨别声音的方位。
9 }1 g5 d- ]! `, y, H% i8 z 但现有的立体声和5.1环绕声只能呈现部分方向传来的声音信息，若想获得声音带来的沉浸感，需要尽可能全方位再现真实世界的声音，也需要一种沉浸式音频技术来实现。 $ k& @, ?9 O4 o) l
 图片来源于网络
$ b7 c3 [7 D' }' L/ P! _
02一个「球面」的声场？
* j( M! U0 `' `0 n- ? 沉浸式音频主要技术有三大类: 基于声道 Channel Based Audio（CBA）、基于对象Object Based Audio （OBA）、基于场景 Scene Based Audio（SBA）。 7 d2 F% r1 D7 F9 W
❖ 基于声道技术（CBA）：在传统 5.1 环绕声的基础上，增加了 4 个顶部声道，通过增加声道的方式来补充空间中的声音信息，但只能呈现部分方向来的声音信息。
* {3 b6 |3 B: J ❖ 基于对象的技术（OBA）：是目前主流技术，并在电影领域已广泛应用，如 Dolby Atmos 全景声。该技术会产生大量的数据和运算，除了声道的音频外，还有关于声源的元数据Metadata，即：声源（位置/大小/速度/形状等属性）、声源所在的环境（混响Reverb/回声Reflection/衰减Attenuate/几何形态等），该技术在VR领域只适合主机VR上的大型游戏，对于普通移动端的硬件设备来讲，算力及带宽承载具有较大压力。 5 O/ r# e7 o1 k+ Q
❖ 基于场景的技术（SBA）：用来描述场景的声场，其核心的底层算法是Ambisonics 技术,可被映射到任意扬声器布局中。Ambisonics技术的特点是：声源贴在提前渲染好的全景球上，即所有声源将被压缩在了这个球上。 2 b* n/ C) j) `" ?' O( i9 ?" P5 ]
 图片来源于网络
. f$ s# Q/ G1 d5 l1 H4 F4 M
本文的音频体验展示便采用了Ambisonics的录制格式（文末体验DEMO）。 $ z5 }0 R/ }( o8 G$ K" R% E5 Q
Ambisonics作为全景声的一种录取格式，在上世纪70年代就已经问世，但一直没有获得商业上的成功。
& A1 L' @7 C; Z7 r' |: U 随着近几年VR，AR等相关领域的兴起，Ambisonics开始逐渐被讨论。与其它多声道环绕声格式不同，Ambisonics传输通道不带扬声器信号，允许音频工作者根据声源方向而不是扬声器的位置来思考设计，并且为听众提供了用于播放扬声器的布局和数量，因此，大大增加了灵活性。
z7 m! h0 E; d5 _5 K Ambisonics音频格式可以解码任何扬声器阵列，并且可以完整地、不间断地还原音源而不受任何特定编解码播放系统的限制。
8 h7 \6 D( X4 Y7 H 下图是一个一阶的Ambisonics结构，4个MIC垂直部署在一个四面体上，播放效果与Dolby Atmos类似，但和Dolby Atmos不同的地方是：Dolby Atmos 只解决了半球的声场。 6 K- f% W3 U9 i8 u0 f
而Ambisonics除了水平环绕声音，还可以支持拾音位置或者听众上下的声源，即整个球面的声场。
0 S/ L( T1 \$ B4 `) A 
4 X" }9 h2 |$ [% i1 O) k
 图片来源于网络
% P6 A+ T4 K+ P 03实现声声入耳的引擎：AliBiAudio
1 p4 ^+ ]7 S3 R4 ?5 A& z 全景声不仅仅是增加几个声道那么简单，而是把整个声音系统架构都颠覆了，从之前基于声道来混音的技术上升为基于对象的音频处理技术，使人在环境中的听觉感受与现场实际声音一致。 . @8 _" |* [% M7 O! g7 x
将全景声音频重建成用户可测听的形式有两种途径，一种是多扬声器重建，即电影院或家庭影院中的音响系统，其本质是将全景声音频转换到5.1.4或7.1.4格式；另一种是耳机重建，即将全景声音频通过双耳渲染技术转换为双声道音频，并保留其全部空间信息。 0 @6 L7 ?. r6 y* `6 U% Z& s$ H% h) t
相对于多扬声器重建，耳机重建成本低、易部署、效果好。
- s/ l5 c8 S5 n0 `- N4 H 不言而喻，耳机重建全景声音频，需要一个双耳渲染的过程，以此来通过两个立体声通道创建空间和维度的听觉感知效果。 5 h0 q! r* g5 |
7 D2 `3 r) E# y
AliBiAudio 就是一个阿里自研的双耳实时渲染引擎，结合头部跟踪坐标，可以达到人转动，声源位置不动的效果。当前双耳渲染引擎，具有支持全平台、多场景、易部署等特性。该引擎既可以部署在移动端，也可以部署在云端，并支持三大场景的渲染。
/ y' A3 R/ a2 E& H ❖ 单声道输入：用于虚拟会议场景，可将不同位置的人，渲染在不同的角度发声，通常部署在服务端。 8 w/ t( C g6 V/ \3 r
❖ 5.1/7.1 输入：用于影视剧渲染，得到更逼真的环绕声，类似优酷中的“帧享”音效。既可以部署在端上（如：Apple Music 空间音频），也可以部署在服务器上（如：作为媒体处理，将多声道数据下混成2路数据）。
0 @) w3 H9 o! ?1 R& m9 w4 k ❖ Ambisonics输入：对Ambisonics格式进行渲染，用于VR直播，VR点播，当前部署在Aliplay中。
Q) ~# m1 S0 S% A" Y 
9 C3 d. e5 [8 I& s2 G1 { 04如何让声音跟随脑袋一起摇摆
6 p }: e6 s5 Q0 V. D ❖ HRTF / o8 ^" {; \4 O# ]
双耳渲染引擎的核心模块是人头传递函数HRTF（ Head-related Transfer Function ）。
" O5 ~4 F0 m% y5 G 每一方向都有两个HRTF，分别代表音源到左右耳的房间冲击响应，通过720度扫描可以得到一个球形的HRTF库，如下图是一个ARI HRTF 数据库的分布。 6 k- ]2 ?+ [# o
, i0 m2 ]* _% L0 I% `0 a
ARI HRTF 数据库 3 j$ M6 n% D% ~8 H. A; H
在渲染时，通过输入的角度信息，先从数据库中选出当前角度的HRTF对。然后再将输入数据分别和HRTF对进行卷积得到左右耳信号。为了得到更逼真效果，还可以添加一定量的房间混响如下图所示：
2 I0 x2 V& p2 d8 t 
7 c4 u& T: V! N9 F& j) c 本项目对大量HRTF库进行筛选，获取到一个最优的数据库。
% ?4 Y% n$ L8 f1 B+ `! T. `9 a. D ❖ Ambisonics数据格式 : o) ^' c# P" s1 v% ~
Ambisonics 的基础功能是让来自不同方向点声源，作为360度的球面来处理，这个中心点，就是麦克风放的位置。当前广泛用于VR 和 360 度全景视频的Ambisonics 格式，是一个叫做Ambisonics B-format的4声道（还有另一种格式叫A-format）。由W, X, Y and Z组成。对应着360度球面的，中心，左右，前后，上下。
" C- U- a8 d" F+ y
1 m. D# }# u+ c8 v5 t W 是一个全向
0 A _, k/ U! `' S X 是一个双极 8 字指向，代表前后
" P' _" U0 R/ `+ E4 N4 s! X2 n Y 是一个双极 8 字指向，代表左右
Z0 `2 l' m3 g Z 是一个双极 8 字指向，代表上下
: v5 g0 a; C \9 h# g; o5 U
* G. E2 x8 C3 g8 M5 d6 ?: i7 o! s B-format 有两种格式分别是ambix 和fuma（它们只是排列顺序不同），而A-format 代表4个mic 采集的原始数据。B-format和A-format的关系如下： # I7 I X# a; o* Y7 z9 s4 @/ h
 图片来源于网络
2 M% [7 \$ |$ k9 e% v
❖ 头部跟踪
) E; r& c. k7 O; b; d) ]! s- H5 R 该技术利用了某些特定款式耳机中的传感器信息，如：加速度计和陀螺仪，从而更好地跟踪头部运动，并做出相应的音频调整。 : W3 p0 }; Q E/ [# k
Apple已经从 iOS 15 开始通过兼容耳机带来支持头部跟踪的空间音频功能，目前Android 13的发布预览版已完全支持在兼容设备上使用头部跟踪的空间音频。本次云栖大会的展台体验便主要利用了Pico头显设备中陀螺仪的信息。 / r9 R0 H7 i7 V) y3 y+ c
 图片来源于网络
5 v! D8 L4 j2 k `3 |8 `7 v
05一起「声」临其境
" x7 f& o( w' L; P6 P 「佩戴耳机」体验全景声，效果更好哦！ : e; ~% m- U5 L, l: A
现场体验中，声音的变化会随着头部的转动而转动，本次线上DEMO体验将依靠手动界面移动来模拟头部转动。 2 |5 W7 o9 j) Y% |4 Q4 B
01听：无人机掠过头顶
, d1 m# V( o% {8 b2 i9 b5 a% ~
9 w( F; I7 j+ v- T0 ] 无人机逐渐升起从头顶掠过，当视角跟随（模拟）无人机时，声音相应地实时变化。
1 x+ k! Z/ @4 o& ^0 o 02听：滴答滴答 ; G8 [' C- W8 D5 p; p& i2 V" M; z
- g9 g) t2 I0 T; Z& K3 L, N' v 聆听水滴的同时，发现左方有无人机的声音，视角随声而转，一路跟随，感受无人机由近及远的变化。
6 ?& g3 y' x: _- x- \) ? 03听：沉浸游园 - d- c: [( a5 S* p
. ]( p+ L. G; C9 l 主持人在介绍园区时，用户向四周左右观看（模拟），在此过程中，主持人的声音呈现与他在你视角的位置始终保持对应。
& I2 V, o, f% W) o4 ?! x 04听：PING PANG之声 9 S' ~ d: W/ e7 A8 c) Z
; |" j) z1 q6 z( B1 R 沉浸式场景怎能少了运动！一转头，乒乓之声已被“抛之脑后”。
* f" D+ v$ D! R 06音频的未来，炫到无法想象
# d- T4 S2 U4 \9 E! K% } 除此之外，全景声双耳渲染技术还可运用于多个场景，带来沉浸视听的无限想象力。 4 t9 V- o" a4 h7 d
❖ VR演唱会
4 Z, U% n% C/ i4 z 现场混合360度视频和全景声音频， 同时将数据传输到相应的移动平台，并进行实时直播。让观众可以达到“不在现场，胜似现场”的感觉。 5 q* C1 Z- u7 t& b
+ c) \* B* m1 t. ? ❖ 沉浸式影院 0 z9 A" W" S6 i
也可以称之为沉浸式投影，是一种成熟的高度沉浸式虚拟现实系统。它将高分辨率的立体投影技术、三维计算机图形技术和音响技术等有机地结合在一起，产生一个完全沉浸式的虚拟环境，大大增加观影的沉浸感。 6 J( r/ L4 n9 k% c6 C" M
❖ 智慧教育
8 l* O9 [! V3 Q& B8 X. n 沉浸式教学模式逐渐受到教育界的关注。例如，IBM研究院和伦斯勒理工学院联合开发的“认知沉浸室 ”，它能让学生置身于中国的餐馆、商场、园林等虚拟场景，与AI机器人练习汉语对话，大大提升了学生的学习兴趣和专注力。
2 h8 {4 t! ~) K- G2 `! T ❖ 虚拟会议
- W6 h [4 Y0 ^# g 以Facebook基于VR开发的虚拟会议为例。而为了更贴近现实，Workrooms还加入了沉浸音频功能，让用户交谈时，声音的发出的方向跟他们所处的房间位置一致，从而进一步增加参会者的沉浸感。 8 `% l. f+ S1 P* x, G0 N. u
图片来源于网络
( c2 _9 j) [4 e+ Q0 k 未来的沉浸音频技术将如何发展？
& z( B- `' G) i- }& g% n( O3 t" O 以双耳渲染引擎的核心模块HRTF为例来说，当前的HRTF模型，是一个固定模型，无法适应不同人的声音感知差异，尤其在正前方的外化能力还不够好。若想得到更逼真的声音效果，需对HRTF进行进一步优化，使其适应每个人的个体差异性。
4 B3 w! X1 ~# b" z0 k 比如：根据每个人的人头大小，耳廓信息以及肩膀的形状独立建模。在国外HRTF的建模与个性化发展已经成为趋势：
1 c' E: U r. P. _3 h 3月开始，杜比支持个性化HRTF的定制。
7 g& v5 w6 o/ y! c+ N 图片来源于网络
T' E* `/ e5 c 9月开始，iPhone升级了ios16，通过人脸扫描，可以定制自己的HRTF。 ( M: R! e n+ p! F Z. G
图片来源于网络
. v* h" W- I: J! b/ f1 @ 此外，用机器学习的方法，将面部，耳部图片，转化成HRTF也在火热研究中。
2 J* U# [) L* j% ?3 U0 g$ G 未来，阿里云视频云将继续探索基于深度学习与信号处理的的音频技术，为VR超高清视频直播带来以「声」临其境的超沉浸之感。 $ O5 b" k3 E( T: A: S C$ x6 e _# l4 A
参考文献： " `3 r1 C8 Z) [9 q S
[1] 5G 高新视频—沉浸式视频技术白皮书 4 W0 o# `0 [( e7 F) ]" Q3 m9 X
[2] https://m.fx361.com/news/2018/0326/3298705.html
4 ~( T. _+ g- P# s [3] https://3g.163.com/dy/article/ELBCI2OG053290QL.html?clickfrom=subscribe + C2 c* G- D, S
[4] https://www.birtv.com/Magazine/content/?246.html
$ V& Y" ^- F+ N9 n7 N' n [5] https://m.midifan.com/article_body.php?id=6201 ) K0 T. u: c8 ?+ L" b) q
[6] https://sound.media.mit.edu/resources/KEMAR.html 9 \& R6 M* T7 q- c" V. \3 |& b
[7] https://juiwang.com/assets/projects/hrtf_nn_bem/hrtf_nn_bem.pdf 5 Y/ [. h% T' _* B$ Z& D
[8] https://www.tvoao.com/a/208656.aspx返回搜狐，查看更多
5 W" s. l$ U: m$ n! _7 k+ G7 R5 |+ ^& M) v+ q
责任编辑： $ d* F/ E t/ t! h
8 j) J- p0 E2 ]: P' ]& \6 O4 r3 \2 u. U5 U/ S
) A `) U( q1 M! V5 ^2 f
' C6 t# s& X+ R6 b; j) T9 ~, K
| 
