|
. C) P- J2 W# ] 原标题：声声声声临其境，一起坠入阿里云超音感空间 0 K- L4 q( z9 j. D( a- P# G/ K) _0 u
9 P) d) i' A. P% }( V& @" ?4 @
% g; N1 s" P" X
7 Y% B2 Q- @+ {3 a 大众对沉浸体验的追求，不再仅局限于“视觉”。声之切，境尤升。 p& q7 G- \1 j
- v' \/ R9 Z5 s; z# L3 {9 W
4 E$ k3 K# N: h6 A/ S 随着硬件技术的升级、软件内容的丰富以及5G网络环境的优化，推动几经浮沉的VR产业走向正循环。 - |$ H# E3 b# U! ]; O& O
就在去年，「Roblox上市」、「Facebook更名为Meta」、「微软收购暴雪」等将元宇宙相关产业推向风口，而Oculus Quest 2（VR一体机）出货量破千万台的成绩，更是一件将沉浸式VR从概念落地场景实践的标志性事件。
4 L, K" H( P6 ^7 l Z3 ? 在本次云栖大会阿里云视频云的8K VR视频技术展台，体验者通过佩戴Pico VR头显，感受清晰度高达8K的360度VR视频，实时捕捉超高清细节。 3 X1 }9 b3 d6 K- s
不仅如此，体验者还能以“声”临其境，感受令人惊艳的全景声技术带来的沉浸式视听体验。 0 q4 r, {. A1 E0 S2 Z# b* r* f
, o2 I' {& E5 l9 W
9 J" i* o6 |8 J
01“视”之外的沉浸之“声”
0 ~2 J) y3 ]. i( }/ N3 l4 n 「沉浸式视听体验」一词已多次出现在大众视野，究竟什么是沉浸式视听体验呢？
. _" C1 d( R1 ^3 l( t$ K. {7 B2 f “沉浸式视听体验”是指通过视频、音频及特效系统，构建大视角、高画质、三维声特性，从而具备画面包围和声音环绕的主观感受特征，观众在所处位置就能获得周围多方位的视觉、听觉信息，带来身临其境之感。
% y$ }2 i. E9 Q# ]5 | 听觉作为仅次于视觉的重要感官通道，对沉浸式的视听体验至关重要。随着用户对视听体验的极致追求，在“视”之外，沉浸之“声”技术应运而生。
7 h3 ?; e# Z9 f9 \3 ? 「沉浸式音频」是指能够呈现空间的还音系统的声辐射，至少能覆盖观众的前、后、左、右、上五个方位。除此之外，还能真实地营造出声场的水平纵深和垂直高度，即从听者角度能精准地定位声音的方向和位置。
7 G) w4 F( [* @$ M 从技术角度是如何实现呢？ ) V8 F% b* n6 w, @3 K
其实，真实世界的声音来自环境的四面八方，人耳往往可以通过声波的时间差、强度差、相位差、频率差等辨别声音的方位。
9 B3 O$ T, ~) |# X0 D* G' _ 但现有的立体声和5.1环绕声只能呈现部分方向传来的声音信息，若想获得声音带来的沉浸感，需要尽可能全方位再现真实世界的声音，也需要一种沉浸式音频技术来实现。 ) j3 Q y w" ^. Y
 图片来源于网络
9 {" J. b) f2 N! c1 @ 02一个「球面」的声场？
1 S+ }6 H5 W9 s$ v. k 沉浸式音频主要技术有三大类: 基于声道 Channel Based Audio（CBA）、基于对象Object Based Audio （OBA）、基于场景 Scene Based Audio（SBA）。
) ?1 ^ U9 \; z! b' I6 U ❖ 基于声道技术（CBA）：在传统 5.1 环绕声的基础上，增加了 4 个顶部声道，通过增加声道的方式来补充空间中的声音信息，但只能呈现部分方向来的声音信息。
& w. _# j- N7 ?: d6 j ❖ 基于对象的技术（OBA）：是目前主流技术，并在电影领域已广泛应用，如 Dolby Atmos 全景声。该技术会产生大量的数据和运算，除了声道的音频外，还有关于声源的元数据Metadata，即：声源（位置/大小/速度/形状等属性）、声源所在的环境（混响Reverb/回声Reflection/衰减Attenuate/几何形态等），该技术在VR领域只适合主机VR上的大型游戏，对于普通移动端的硬件设备来讲，算力及带宽承载具有较大压力。 " w. @# b; }* i* \
❖ 基于场景的技术（SBA）：用来描述场景的声场，其核心的底层算法是Ambisonics 技术,可被映射到任意扬声器布局中。Ambisonics技术的特点是：声源贴在提前渲染好的全景球上，即所有声源将被压缩在了这个球上。
M9 ~0 X, \9 y4 {) J  图片来源于网络
' A+ ~% {0 Z. w+ l0 P {
本文的音频体验展示便采用了Ambisonics的录制格式（文末体验DEMO）。
0 e% h2 G( F9 z! x; s, D Ambisonics作为全景声的一种录取格式，在上世纪70年代就已经问世，但一直没有获得商业上的成功。 : i. U3 N/ }/ G, J
随着近几年VR，AR等相关领域的兴起，Ambisonics开始逐渐被讨论。与其它多声道环绕声格式不同，Ambisonics传输通道不带扬声器信号，允许音频工作者根据声源方向而不是扬声器的位置来思考设计，并且为听众提供了用于播放扬声器的布局和数量，因此，大大增加了灵活性。
$ U' r* B+ _9 b- p) q; g Ambisonics音频格式可以解码任何扬声器阵列，并且可以完整地、不间断地还原音源而不受任何特定编解码播放系统的限制。 * ?8 j% k- W# ^- r3 J# B7 n
下图是一个一阶的Ambisonics结构，4个MIC垂直部署在一个四面体上，播放效果与Dolby Atmos类似，但和Dolby Atmos不同的地方是：Dolby Atmos 只解决了半球的声场。
0 F. q, [( r# {2 w" r0 z' N 而Ambisonics除了水平环绕声音，还可以支持拾音位置或者听众上下的声源，即整个球面的声场。
/ X' l9 G% p$ L2 X2 {0 }- s 
' P' l4 K" f3 `0 h" i  图片来源于网络
$ | B8 b4 U+ k: k$ N# R c+ z
03实现声声入耳的引擎：AliBiAudio5 m& a2 P/ ^% V$ w4 y8 r
全景声不仅仅是增加几个声道那么简单，而是把整个声音系统架构都颠覆了，从之前基于声道来混音的技术上升为基于对象的音频处理技术，使人在环境中的听觉感受与现场实际声音一致。 ( c. B5 C% }1 l1 q
将全景声音频重建成用户可测听的形式有两种途径，一种是多扬声器重建，即电影院或家庭影院中的音响系统，其本质是将全景声音频转换到5.1.4或7.1.4格式；另一种是耳机重建，即将全景声音频通过双耳渲染技术转换为双声道音频，并保留其全部空间信息。 6 T& J5 @. w/ w2 }
相对于多扬声器重建，耳机重建成本低、易部署、效果好。 $ s2 p* W4 ?: p5 T& {9 E8 n) }! }% l2 i
不言而喻，耳机重建全景声音频，需要一个双耳渲染的过程，以此来通过两个立体声通道创建空间和维度的听觉感知效果。 # R9 X% a4 n7 d1 s/ }$ s
2 J$ B( o W, g+ w. ~/ m AliBiAudio 就是一个阿里自研的双耳实时渲染引擎，结合头部跟踪坐标，可以达到人转动，声源位置不动的效果。当前双耳渲染引擎，具有支持全平台、多场景、易部署等特性。该引擎既可以部署在移动端，也可以部署在云端，并支持三大场景的渲染。
" A9 v6 v- w0 W' |" _0 r* A ❖ 单声道输入：用于虚拟会议场景，可将不同位置的人，渲染在不同的角度发声，通常部署在服务端。
m6 K$ T& w, p5 W ❖ 5.1/7.1 输入：用于影视剧渲染，得到更逼真的环绕声，类似优酷中的“帧享”音效。既可以部署在端上（如：Apple Music 空间音频），也可以部署在服务器上（如：作为媒体处理，将多声道数据下混成2路数据）。
0 O R5 D& f. ]8 H4 M* y6 x2 ~ ❖ Ambisonics输入：对Ambisonics格式进行渲染，用于VR直播，VR点播，当前部署在Aliplay中。
( i1 X& T; T% X7 E 
. F3 c$ N, @2 }2 }, ~- q# H 04如何让声音跟随脑袋一起摇摆 ]/ J/ F: S$ c
❖ HRTF
+ f* E+ n+ O) W9 [5 W% J 双耳渲染引擎的核心模块是人头传递函数HRTF（ Head-related Transfer Function ）。
6 G" ]: D: X1 A/ ]8 f$ ]# w9 E6 d 每一方向都有两个HRTF，分别代表音源到左右耳的房间冲击响应，通过720度扫描可以得到一个球形的HRTF库，如下图是一个ARI HRTF 数据库的分布。
2 r9 M! p# w& u) o2 A6 s P; Y8 H 
; n7 A% ^( w: g. v
ARI HRTF 数据库 4 y/ c# a7 j: V! D3 t+ I3 i9 r
在渲染时，通过输入的角度信息，先从数据库中选出当前角度的HRTF对。然后再将输入数据分别和HRTF对进行卷积得到左右耳信号。为了得到更逼真效果，还可以添加一定量的房间混响如下图所示：
1 Q' R! c0 Z7 i; Z# Q8 w- i. B- h# t 
. P5 l0 ^4 c- q! P 本项目对大量HRTF库进行筛选，获取到一个最优的数据库。 Z1 z* B; t* R% t+ Z3 I
❖ Ambisonics数据格式 }3 m8 N/ ]" U& h
Ambisonics 的基础功能是让来自不同方向点声源，作为360度的球面来处理，这个中心点，就是麦克风放的位置。当前广泛用于VR 和 360 度全景视频的Ambisonics 格式，是一个叫做Ambisonics B-format的4声道（还有另一种格式叫A-format）。由W, X, Y and Z组成。对应着360度球面的，中心，左右，前后，上下。
4 F' i. _" N( v) p, w1 K
1 I; u. _; r. l, U! Y# u4 d4 q% D W 是一个全向
9 \ H4 ]- Q4 T- P X 是一个双极 8 字指向，代表前后' J' Z; _( r" R
Y 是一个双极 8 字指向，代表左右
}/ A" c1 {" t8 }9 Z* N' ?; ~& x* x3 Q Z 是一个双极 8 字指向，代表上下
$ N4 |; g ? R: e& y% y; Y) x3 w9 H9 W& t
B-format 有两种格式分别是ambix 和fuma（它们只是排列顺序不同），而A-format 代表4个mic 采集的原始数据。B-format和A-format的关系如下： 1 V, o( m% @9 I5 h0 p
 图片来源于网络
8 W6 ]6 i) A: K, Q% _- |0 h$ h" h
❖ 头部跟踪
/ q8 B$ f! G9 ^% ] 该技术利用了某些特定款式耳机中的传感器信息，如：加速度计和陀螺仪，从而更好地跟踪头部运动，并做出相应的音频调整。
* U/ h$ P+ f1 m! y: R Apple已经从 iOS 15 开始通过兼容耳机带来支持头部跟踪的空间音频功能，目前Android 13的发布预览版已完全支持在兼容设备上使用头部跟踪的空间音频。本次云栖大会的展台体验便主要利用了Pico头显设备中陀螺仪的信息。 2 H t( z5 B1 @$ H) M, m
 图片来源于网络
5 E5 s, q( Z. g/ Q; g. z
05一起「声」临其境
2 p7 [) M' S: R$ ? 「佩戴耳机」体验全景声，效果更好哦！ ' ]9 L6 `; W. k& Q$ J* u
现场体验中，声音的变化会随着头部的转动而转动，本次线上DEMO体验将依靠手动界面移动来模拟头部转动。
& L, ?! \* n9 `+ K 01听：无人机掠过头顶 ( x" ` k( i6 j8 Z) v$ q- N
`" p! a1 y" b/ S" L; }# c
无人机逐渐升起从头顶掠过，当视角跟随（模拟）无人机时，声音相应地实时变化。 ) t/ E/ r, C. t1 p
02听：滴答滴答
6 a5 `& b3 U, O! D o) I# a0 Q) {3 [. d% m- A$ q
聆听水滴的同时，发现左方有无人机的声音，视角随声而转，一路跟随，感受无人机由近及远的变化。 " y/ v( y1 q$ u
03听：沉浸游园 8 C9 }) e! [1 C8 h4 c P
: I5 P5 ]/ [& ]. A( d( [ 主持人在介绍园区时，用户向四周左右观看（模拟），在此过程中，主持人的声音呈现与他在你视角的位置始终保持对应。
0 b! f$ d5 C- B: ^' U 04听：PING PANG之声
7 @+ w4 k- _( a& d$ a. F1 Y' H- l5 T3 ]- s0 v7 j8 q! A7 l$ q
沉浸式场景怎能少了运动！一转头，乒乓之声已被“抛之脑后”。 $ L w" I f9 f- m9 c+ G
06音频的未来，炫到无法想象
" M8 j$ G* m6 m$ J 除此之外，全景声双耳渲染技术还可运用于多个场景，带来沉浸视听的无限想象力。
; f4 H/ L7 z5 O3 `( s5 Q2 c$ b ❖ VR演唱会 & g, X) j9 m) v9 U! @; p5 I# v
现场混合360度视频和全景声音频， 同时将数据传输到相应的移动平台，并进行实时直播。让观众可以达到“不在现场，胜似现场”的感觉。 ) c( t2 d; v3 u! g$ `
& l+ H h5 j: o1 H7 a# \ ❖ 沉浸式影院 ( z, ?; J, V9 u' s* X- T k
也可以称之为沉浸式投影，是一种成熟的高度沉浸式虚拟现实系统。它将高分辨率的立体投影技术、三维计算机图形技术和音响技术等有机地结合在一起，产生一个完全沉浸式的虚拟环境，大大增加观影的沉浸感。 ; v9 z9 C! }- |& f5 ^+ V) n
❖ 智慧教育 1 e' p0 z+ r% F# ~
沉浸式教学模式逐渐受到教育界的关注。例如，IBM研究院和伦斯勒理工学院联合开发的“认知沉浸室 ”，它能让学生置身于中国的餐馆、商场、园林等虚拟场景，与AI机器人练习汉语对话，大大提升了学生的学习兴趣和专注力。 ; e. s5 @+ l# f. a& }% c1 N3 M$ m
❖ 虚拟会议 ?' r+ Q* ]' V- O% W8 m$ j7 R7 h
以Facebook基于VR开发的虚拟会议为例。而为了更贴近现实，Workrooms还加入了沉浸音频功能，让用户交谈时，声音的发出的方向跟他们所处的房间位置一致，从而进一步增加参会者的沉浸感。
& Z4 |6 s3 }% ~1 j5 e& l 图片来源于网络 2 r9 Y* s& H. q; t
未来的沉浸音频技术将如何发展？
3 d7 \$ ^0 d, B" L9 Q 以双耳渲染引擎的核心模块HRTF为例来说，当前的HRTF模型，是一个固定模型，无法适应不同人的声音感知差异，尤其在正前方的外化能力还不够好。若想得到更逼真的声音效果，需对HRTF进行进一步优化，使其适应每个人的个体差异性。
- O5 ]2 B* c( W- H: ?+ s 比如：根据每个人的人头大小，耳廓信息以及肩膀的形状独立建模。在国外HRTF的建模与个性化发展已经成为趋势： 7 Q% ^0 V$ f. v8 m7 y* G0 j3 M5 m
3月开始，杜比支持个性化HRTF的定制。 ) \* @* e! l9 A$ E! l9 {% V
图片来源于网络
1 s. T+ l3 }' l& E- ]. B1 ]* P" _ 9月开始，iPhone升级了ios16，通过人脸扫描，可以定制自己的HRTF。 . D: W) ?# X2 ?
图片来源于网络 9 `, N. H0 a: g( _
此外，用机器学习的方法，将面部，耳部图片，转化成HRTF也在火热研究中。
$ w2 a" n6 l" ]; q3 y% Q" d 未来，阿里云视频云将继续探索基于深度学习与信号处理的的音频技术，为VR超高清视频直播带来以「声」临其境的超沉浸之感。 ( S9 o0 p8 S7 M0 v6 T6 F! j$ R
参考文献：
* t4 p9 k- a n9 H2 _ [1] 5G 高新视频—沉浸式视频技术白皮书 2 q9 J# \/ s6 Q8 u* m& C, j
[2] https://m.fx361.com/news/2018/0326/3298705.html ) R' A" r1 A+ Q9 s# C' k5 o
[3] https://3g.163.com/dy/article/ELBCI2OG053290QL.html?clickfrom=subscribe S) l& i- u9 L
[4] https://www.birtv.com/Magazine/content/?246.html
X2 E7 c/ `# ]9 f4 g& _: h [5] https://m.midifan.com/article_body.php?id=6201 - I G: l9 R( x
[6] https://sound.media.mit.edu/resources/KEMAR.html ( S3 n2 X3 @# N: D9 Q! o- _: w+ |. w. G
[7] https://juiwang.com/assets/projects/hrtf_nn_bem/hrtf_nn_bem.pdf
8 @# E! t$ q r8 t( s1 J/ C5 ~2 K [8] https://www.tvoao.com/a/208656.aspx返回搜狐，查看更多
2 w: U+ ]: m% g. h* F
( v- U1 x/ x1 |) q% l- `; i 责任编辑：
% n: l' d' o% S& S3 Z. z: g6 O( l2 g% Z- t1 I
: O1 e. f9 Z3 M+ J* E$ |! w0 T* Z. [
9 \3 R& b6 D, W" {8 V2 U2 I
6 p; {8 }; ^4 Q$ C2 f* C | 
