, }3 A! s4 Q7 K" B 原标题:声声声声临其境,一起坠入阿里云超音感空间 6 n: W+ l+ m/ L; u0 L
* e% f% Q- U, |( J. z
/ ~% x1 X1 G3 O& m3 g& ~
+ k$ {5 r4 ?- x7 E
大众对沉浸体验的追求,不再仅局限于“视觉”。声之切,境尤升。5 ~, Y% H/ [; U) K
# d! }- I V3 M/ D% A4 w: A; R
( s2 E/ V9 N' x5 F9 u: z8 [ 随着硬件技术的升级、软件内容的丰富以及5G网络环境的优化,推动几经浮沉的VR产业走向正循环。
) d L* s/ b1 K 就在去年,「Roblox上市」、「Facebook更名为Meta」、「微软收购暴雪」等将元宇宙相关产业推向风口,而Oculus Quest 2(VR一体机)出货量破千万台的成绩,更是一件将沉浸式VR从概念落地场景实践的标志性事件。 " g+ {6 e$ {8 u. a O7 G( K
在本次云栖大会阿里云视频云的8K VR视频技术展台,体验者通过佩戴Pico VR头显,感受清晰度高达8K的360度VR视频,实时捕捉超高清细节。
, H3 {; U& h$ ?. D% N4 u 不仅如此,体验者还能以“声”临其境,感受令人惊艳的全景声技术带来的沉浸式视听体验。 ; Z/ C7 w' d0 S/ f! z
. C7 w+ S& W2 L$ q
. ?& h5 e* l u. q8 L, q7 _ F
01“视”之外的沉浸之“声”: I# s0 ]' {9 m; V6 A& t. j, t* W
「沉浸式视听体验」一词已多次出现在大众视野,究竟什么是沉浸式视听体验呢? F6 X0 Z m2 e
“沉浸式视听体验”是指通过视频、音频及特效系统,构建大视角、高画质、三维声特性,从而具备画面包围和声音环绕的主观感受特征,观众在所处位置就能获得周围多方位的视觉、听觉信息,带来身临其境之感。 3 q; _% R% D- P8 g
听觉作为仅次于视觉的重要感官通道,对沉浸式的视听体验至关重要。随着用户对视听体验的极致追求,在“视”之外,沉浸之“声”技术应运而生。
% E/ S: b5 o2 u* V$ t" E+ J# g7 k 「沉浸式音频」是指能够呈现空间的还音系统的声辐射,至少能覆盖观众的前、后、左、右、上五个方位。除此之外,还能真实地营造出声场的水平纵深和垂直高度,即从听者角度能精准地定位声音的方向和位置。 5 E6 a, g: Q1 D+ X' ` _& d
从技术角度是如何实现呢? 2 J; x/ l, n, v" }" b: s
其实,真实世界的声音来自环境的四面八方,人耳往往可以通过声波的时间差、强度差、相位差、频率差等辨别声音的方位。 ! G# A" `. |; R8 O2 S
但现有的立体声和5.1环绕声只能呈现部分方向传来的声音信息,若想获得声音带来的沉浸感,需要尽可能全方位再现真实世界的声音,也需要一种沉浸式音频技术来实现。 1 S3 F: `1 l9 l. w4 a5 y" P. O
图片来源于网络
" F# y4 m. _# J4 i4 ]5 p 02一个「球面」的声场?
& p) m4 f* B- R: G 沉浸式音频主要技术有三大类: 基于声道 Channel Based Audio(CBA)、基于对象Object Based Audio (OBA)、基于场景 Scene Based Audio(SBA)。
0 w; ^' o6 p# g' Y- o+ g: _ ❖ 基于声道技术(CBA):在传统 5.1 环绕声的基础上,增加了 4 个顶部声道,通过增加声道的方式来补充空间中的声音信息,但只能呈现部分方向来的声音信息。
" G6 y7 R3 T4 k, t# ? x1 Q* x5 p ❖ 基于对象的技术(OBA):是目前主流技术,并在电影领域已广泛应用,如 Dolby Atmos 全景声。该技术会产生大量的数据和运算,除了声道的音频外,还有关于声源的元数据Metadata,即:声源(位置/大小/速度/形状等属性)、声源所在的环境(混响Reverb/回声Reflection/衰减Attenuate/几何形态等),该技术在VR领域只适合主机VR上的大型游戏,对于普通移动端的硬件设备来讲,算力及带宽承载具有较大压力。
# c# d/ S# Z' l7 y8 i ❖ 基于场景的技术(SBA):用来描述场景的声场,其核心的底层算法是Ambisonics 技术,可被映射到任意扬声器布局中。Ambisonics技术的特点是:声源贴在提前渲染好的全景球上,即所有声源将被压缩在了这个球上。 ) U O6 ?3 f- s
图片来源于网络
1 ]; S( N- |3 R6 Q4 ?* i 本文的音频体验展示便采用了Ambisonics的录制格式(文末体验DEMO)。 # j1 g- ], \" a/ W6 g& Y
Ambisonics作为全景声的一种录取格式,在上世纪70年代就已经问世,但一直没有获得商业上的成功。
' l, Y" ~ \" J/ i+ z8 [0 g 随着近几年VR,AR等相关领域的兴起,Ambisonics开始逐渐被讨论。与其它多声道环绕声格式不同,Ambisonics传输通道不带扬声器信号,允许音频工作者根据声源方向而不是扬声器的位置来思考设计,并且为听众提供了用于播放扬声器的布局和数量,因此,大大增加了灵活性。 % ~" Y: o! y& ~3 y# P/ H
Ambisonics音频格式可以解码任何扬声器阵列,并且可以完整地、不间断地还原音源而不受任何特定编解码播放系统的限制。
) U( z7 G8 D5 Q3 o 下图是一个一阶的Ambisonics结构,4个MIC垂直部署在一个四面体上,播放效果与Dolby Atmos类似,但和Dolby Atmos不同的地方是:Dolby Atmos 只解决了半球的声场。
4 \# M* `' c% b0 x+ m; q! ^ 而Ambisonics除了水平环绕声音,还可以支持拾音位置或者听众上下的声源,即整个球面的声场。 , _0 ~, W; X: W5 p0 J5 }
3 ?: N: B' Q$ C7 y k6 d0 U
图片来源于网络 - u0 N1 D4 A8 Z% Y' S
03实现声声入耳的引擎:AliBiAudio
2 C$ _+ S6 e7 j. u/ C; m' U 全景声不仅仅是增加几个声道那么简单,而是把整个声音系统架构都颠覆了,从之前基于声道来混音的技术上升为基于对象的音频处理技术,使人在环境中的听觉感受与现场实际声音一致。 * r4 w" E. V; h: x/ k- E
将全景声音频重建成用户可测听的形式有两种途径,一种是多扬声器重建,即电影院或家庭影院中的音响系统,其本质是将全景声音频转换到5.1.4或7.1.4格式;另一种是耳机重建,即将全景声音频通过双耳渲染技术转换为双声道音频,并保留其全部空间信息。 ' `& B' _( w6 D1 T
相对于多扬声器重建,耳机重建成本低、易部署、效果好。 5 w3 i, v. h* U2 E, F5 ]; G
不言而喻,耳机重建全景声音频,需要一个双耳渲染的过程,以此来通过两个立体声通道创建空间和维度的听觉感知效果。 2 Q# S! S4 g& F+ i% q
1 `+ @$ [8 R5 C) m2 o4 P
AliBiAudio 就是一个阿里自研的双耳实时渲染引擎,结合头部跟踪坐标,可以达到人转动,声源位置不动的效果。当前双耳渲染引擎,具有支持全平台、多场景、易部署等特性。该引擎既可以部署在移动端,也可以部署在云端,并支持三大场景的渲染。
- m3 V- `4 F; i ❖ 单声道输入:用于虚拟会议场景,可将不同位置的人,渲染在不同的角度发声,通常部署在服务端。
0 ~7 \# U' \; a; K8 D `1 e ❖ 5.1/7.1 输入:用于影视剧渲染,得到更逼真的环绕声,类似优酷中的“帧享”音效。既可以部署在端上(如:Apple Music 空间音频),也可以部署在服务器上(如:作为媒体处理,将多声道数据下混成2路数据)。
% ]. A4 j/ C' b' v8 B$ q ❖ Ambisonics输入:对Ambisonics格式进行渲染,用于VR直播,VR点播,当前部署在Aliplay中。 7 a9 o0 Y) ?+ t
, a" \2 s' Y' U$ e" }$ m) k- F+ C! P 04如何让声音跟随脑袋一起摇摆
) p+ s% y# N4 b6 r- i ❖ HRTF
* M4 m2 X7 t: o7 x1 ?; f 双耳渲染引擎的核心模块是人头传递函数HRTF( Head-related Transfer Function )。 # D5 |- J* b/ v! ?/ m0 p
每一方向都有两个HRTF,分别代表音源到左右耳的房间冲击响应,通过720度扫描可以得到一个球形的HRTF库,如下图是一个ARI HRTF 数据库的分布。 ) l l" H2 z- N% Q
2 P2 w+ H( k+ I# [9 K. o, y ARI HRTF 数据库 3 m* O! l% P( i
在渲染时,通过输入的角度信息,先从数据库中选出当前角度的HRTF对。然后再将输入数据分别和HRTF对进行卷积得到左右耳信号。为了得到更逼真效果,还可以添加一定量的房间混响如下图所示:
d+ R; l+ _6 f$ j' T" X/ P# i% q
) O6 D6 k$ d/ j& S" ~ 本项目对大量HRTF库进行筛选,获取到一个最优的数据库。 # G; M3 L; @) J! t1 d
❖ Ambisonics数据格式
4 u" t8 B( Q, m8 P Ambisonics 的基础功能是让来自不同方向点声源,作为360度的球面来处理,这个中心点,就是麦克风放的位置。当前广泛用于VR 和 360 度全景视频的Ambisonics 格式,是一个叫做Ambisonics B-format的4声道(还有另一种格式叫A-format)。由W, X, Y and Z组成。对应着360度球面的,中心,左右,前后,上下。
) X' X$ Z0 |2 n' M% R4 [/ X5 g' h6 T8 c' v
W 是一个全向# F" v: |* g4 o; M* Z1 ~
X 是一个双极 8 字指向,代表前后 L* |. a- ?& q! V& C
Y 是一个双极 8 字指向,代表左右
1 Y7 b4 ]9 ^ \ y; N+ C" o Z 是一个双极 8 字指向,代表上下; A3 \+ D/ J) u, p& f
4 p5 _) p( S$ k; P* H. x
B-format 有两种格式分别是ambix 和fuma(它们只是排列顺序不同),而A-format 代表4个mic 采集的原始数据。B-format和A-format的关系如下:
& o6 M; X% A9 j! Q 图片来源于网络 , U$ T! U$ |+ M9 V
❖ 头部跟踪
4 x; q+ ~* S% \0 T/ m- J 该技术利用了某些特定款式耳机中的传感器信息,如:加速度计和陀螺仪,从而更好地跟踪头部运动,并做出相应的音频调整。
8 @& U% `, ~& R, C( U3 x. | Apple已经从 iOS 15 开始通过兼容耳机带来支持头部跟踪的空间音频功能,目前Android 13的发布预览版已完全支持在兼容设备上使用头部跟踪的空间音频。本次云栖大会的展台体验便主要利用了Pico头显设备中陀螺仪的信息。
. x6 _/ F& \& a0 V" ?3 Q3 @ 图片来源于网络 & ?6 c2 E% {$ M7 q
05一起「声」临其境
) Z. t/ a4 I4 Y5 N3 B, D$ M1 d 「佩戴耳机」体验全景声,效果更好哦! ; T. M/ F, U% [$ P; v5 h, G: a# T
现场体验中,声音的变化会随着头部的转动而转动,本次线上DEMO体验将依靠手动界面移动来模拟头部转动。
! z9 @* p* d/ b) z7 E 01听:无人机掠过头顶
0 `- Z; B! `! n6 S6 q7 N
+ m+ L3 P+ c# v7 x6 Z5 i 无人机逐渐升起从头顶掠过,当视角跟随(模拟)无人机时,声音相应地实时变化。
! B4 W$ `1 y0 G* i1 B8 H 02听:滴答滴答 ' E- x% y, b5 l) N+ [
5 [7 Y" c8 W% a% `% d( s/ Z 聆听水滴的同时,发现左方有无人机的声音,视角随声而转,一路跟随,感受无人机由近及远的变化。
- ~; `# A- H. _+ @6 s 03听:沉浸游园
! J& i4 f$ M P% y/ c- p
7 i6 H3 T0 n6 {* I4 x/ W2 F' a+ O 主持人在介绍园区时,用户向四周左右观看(模拟),在此过程中,主持人的声音呈现与他在你视角的位置始终保持对应。
' V3 ?. b7 t S% l 04听:PING PANG之声
. Q6 z7 b( m- r4 F, _# b P: w9 N5 _9 u
沉浸式场景怎能少了运动!一转头,乒乓之声已被“抛之脑后”。 - n r2 A* _& N# {. F# n
06音频的未来,炫到无法想象. G% p5 L7 D6 m$ T8 v
除此之外,全景声双耳渲染技术还可运用于多个场景,带来沉浸视听的无限想象力。 ) t' `0 G% G$ U
❖ VR演唱会
9 x% X+ a! Q* ]5 x5 C& E1 D; V 现场混合360度视频和全景声音频, 同时将数据传输到相应的移动平台,并进行实时直播。让观众可以达到“不在现场,胜似现场”的感觉。 5 h. a. B' }4 k3 }+ O( ~
; [ i: V- P# J$ Q, s N' d ❖ 沉浸式影院
' P* e3 Q! v1 F3 [% p& `, W3 e 也可以称之为沉浸式投影,是一种成熟的高度沉浸式虚拟现实系统。它将高分辨率的立体投影技术、三维计算机图形技术和音响技术等有机地结合在一起,产生一个完全沉浸式的虚拟环境,大大增加观影的沉浸感。 , G* k' ~9 Z! _& s: n) [
❖ 智慧教育
' X9 S2 f \% q, }0 W 沉浸式教学模式逐渐受到教育界的关注。例如,IBM研究院和伦斯勒理工学院联合开发的“认知沉浸室 ”,它能让学生置身于中国的餐馆、商场、园林等虚拟场景,与AI机器人练习汉语对话,大大提升了学生的学习兴趣和专注力。
, E+ V. v* k! l- f! T/ d; v& F ❖ 虚拟会议
/ ?0 [" c0 k1 G6 \! s% f. K2 |7 L8 Z 以Facebook基于VR开发的虚拟会议为例。而为了更贴近现实,Workrooms还加入了沉浸音频功能,让用户交谈时,声音的发出的方向跟他们所处的房间位置一致,从而进一步增加参会者的沉浸感。
, ^: @5 s& \6 \& O 图片来源于网络
: ]; l5 Q3 ?' ?: e5 F 未来的沉浸音频技术将如何发展? * f; p) `$ Y' i" k1 h! B* k
以双耳渲染引擎的核心模块HRTF为例来说,当前的HRTF模型,是一个固定模型,无法适应不同人的声音感知差异,尤其在正前方的外化能力还不够好。若想得到更逼真的声音效果,需对HRTF进行进一步优化,使其适应每个人的个体差异性。
; T( C9 D* x- | U* G. z; _ 比如:根据每个人的人头大小,耳廓信息以及肩膀的形状独立建模。在国外HRTF的建模与个性化发展已经成为趋势: + @/ m, p) x/ m* E
3月开始,杜比支持个性化HRTF的定制。 1 C, r8 ~+ F% R& [7 A
图片来源于网络
: Q; ~! {: m: p V- f9 A 9月开始,iPhone升级了ios16,通过人脸扫描,可以定制自己的HRTF。
" W9 n; {# F, b7 r 图片来源于网络
$ x# J- N L3 |- g2 W X; C) z 此外,用机器学习的方法,将面部,耳部图片,转化成HRTF也在火热研究中。
8 v( ~) t8 Y, ~7 B1 u 未来,阿里云视频云将继续探索基于深度学习与信号处理的的音频技术,为VR超高清视频直播带来以「声」临其境的超沉浸之感。 " Z( r4 v' v) \& M' x
参考文献:
3 E" b. g) H# f+ D2 _; h1 e5 Z [1] 5G 高新视频—沉浸式视频技术白皮书 ( y! P* j% `0 G1 a
[2] https://m.fx361.com/news/2018/0326/3298705.html
! y/ U7 V4 E) h2 e* j1 x* y7 ~& o" D6 N [3] https://3g.163.com/dy/article/ELBCI2OG053290QL.html?clickfrom=subscribe 9 Q; O4 G5 d; p: B
[4] https://www.birtv.com/Magazine/content/?246.html
8 j* {& L' x( ]) Y [5] https://m.midifan.com/article_body.php?id=6201 ; l! a s$ H% r3 W" B
[6] https://sound.media.mit.edu/resources/KEMAR.html
4 r4 @$ ^3 x: H+ ~: _. Z( A [7] https://juiwang.com/assets/projects/hrtf_nn_bem/hrtf_nn_bem.pdf
0 P, ?/ u1 Z7 K) H; [8 m [8] https://www.tvoao.com/a/208656.aspx返回搜狐,查看更多
. ~3 I H/ J6 l7 z
6 C2 x. g9 }( O/ X 责任编辑:
6 N& H- G* k/ m7 X6 V
: y! \$ S! R) S! t
! X$ B; M! |: e- d% Q M" p
7 v: q7 x/ @" I, s- u$ c, {- F5 F' l
|