音視頻技術(shù)(五)沉浸式音視頻系統(tǒng)
來源:UON安城弱電 編輯:lgh 2025-07-04 09:28:34 加入收藏 咨詢

所在單位: | * |
姓名: | * |
手機(jī): | * |
職位: | |
郵箱: | * |
其他聯(lián)系方式: | |
咨詢內(nèi)容: | |
驗證碼: |
|
國內(nèi)弱電工程通常分為兩大類別:ELV和AV。ELV系統(tǒng)就是我們常說的建筑智能化系統(tǒng),而AV就是音視頻系統(tǒng),這兩類工程所需要的資質(zhì)不同,招標(biāo)的時候也通常被劃分為2個標(biāo)段。有時候AV工程還會再細(xì)分一個專業(yè)擴(kuò)聲系統(tǒng)。本公眾號(N Solutions)將分系列文章進(jìn)行分享。
音視頻系統(tǒng)集成(AVSI)。全稱Audio and Video System Integration,簡稱AVSI,用來描述做音視頻系統(tǒng)集成的工程商(公司)或工程項目(業(yè)務(wù)),屬于弱電系統(tǒng)(ELV)的子系統(tǒng),建設(shè)內(nèi)容狹隘理解含蓋音響擴(kuò)聲系統(tǒng)、數(shù)字會議系統(tǒng)、遠(yuǎn)程視頻會議系統(tǒng)、顯示系統(tǒng)、點歌系統(tǒng)、智能集中控制系統(tǒng)以及燈光系統(tǒng)。
弱電智能化系統(tǒng)(ELV System)。Extra Low Voltage,ELV,超低壓、弱電(36V以下),相對強(qiáng)電而言。弱電系統(tǒng)(Extra-Low Voltage System,ELV)自西方引進(jìn),在國內(nèi)發(fā)展已有30多年,在項目上的實施已經(jīng)逐漸被大范圍的普及和應(yīng)用,成為機(jī)電工程或電氣工程的重要組成部分。弱電系統(tǒng)在國內(nèi)通常也被稱之為建筑智能化系統(tǒng)、智能化系統(tǒng)、安防系統(tǒng)。
五、沉浸式音視頻系統(tǒng)
2020年9月,國家廣播電視總局科技司在《5G高新視頻-沉浸式視頻技術(shù)白皮書(2020)》對沉浸式視頻的定義:國家廣播電視總局順應(yīng)技術(shù)革命浪潮,提出了“5G高新視頻”概念。5G高新視頻是指5G環(huán)境下具有“更高技術(shù)格式、更新應(yīng)用場景、更美視聽體驗”的視頻。其中,“高”是指視頻融合4K/8K、3D、VR/AR/MR、高幀率(HFR)、高動態(tài)范圍(HDR)、廣色域(WCG)等高技術(shù)格式;“新”是指具有新奇的影像語言和視覺體驗的創(chuàng)新應(yīng)用場景,能夠吸引觀眾興趣并促使其產(chǎn)生消費(fèi)。沉浸式視頻作為高新視頻業(yè)態(tài)的重要組成部分,是指一種采用裸眼觀看方式獲得身臨其境感受,呈現(xiàn)畫面覆蓋人眼至少120°(水平)×70°(垂直)視場角的視頻系統(tǒng)及具備三維聲的音頻系統(tǒng)。沉浸式視頻通過播放器、投影幕或LED自顯屏、多聲道揚(yáng)聲器、播控系統(tǒng)等構(gòu)建出超大視角、超高沉浸感的視聽呈現(xiàn)系統(tǒng),使觀眾能夠同時獲得周圍多方位的視聽信息,帶來單一平面視頻無法展示出的強(qiáng)大沉浸感,讓觀眾真正有身臨其境的感覺,應(yīng)用場景豐富且形式多樣。沉浸式視頻通過視頻、音頻及特效系統(tǒng),構(gòu)建具備大視角、高畫質(zhì)、三維聲特性,呈現(xiàn)形式包括但不限于球幕、環(huán)幕、沉浸屋CAVE等異形顯示空間。
隨著超高清4K/8K技術(shù)日趨成熟以及三維聲的推廣應(yīng)用,沉浸式視頻也進(jìn)入了一個新階段。超高清視頻在高分辨率、高幀率、高色深、 廣色域、高動態(tài)范圍上實現(xiàn)了突破:4K/8K高分辨率為觀眾提供了更為豐富的畫面層次和更為精致的畫面細(xì)節(jié);高幀率技術(shù)能夠提升影像的細(xì)膩度和流暢感;高色深、廣色域提升了畫面顏色的豐富程度;高動態(tài)范圍技術(shù)的使用大大地提高了畫面的對比度,能更好地展現(xiàn)亮部和暗部的細(xì)節(jié)。在三維聲方面,杜比全景聲、MPEG-H、AVS2-P3和DTS-X等技術(shù)的應(yīng)用,將音頻擴(kuò)展到三維空間,進(jìn)一步強(qiáng)化沉浸式視 頻的空間表現(xiàn)力和臨場感,為用戶帶來了全新的音頻體驗。在沉浸式視頻呈現(xiàn)方面,投影融合技術(shù)已趨于成熟,高分辨率、高亮度、廣 色域的工程投影機(jī)已大規(guī)模使用在球幕影院、展覽展示、大型演出及光影秀中;各種形式的LED自顯屏也越來越多地應(yīng)用到影院和游樂場所的環(huán)幕、球幕中。
沉浸式音視頻的核心要素包括以下三個方面:畫面包圍感、畫質(zhì)、沉浸式聲音。
沉浸式視頻核心要素表
聽覺作為僅次于視覺的重要感官通道,對沉浸式的視聽體驗至關(guān)重要。隨著用戶對視聽體驗的極致追求,在“視”之外,沉浸之“聲”技術(shù)應(yīng)運(yùn)而生。沉浸式音頻是指能夠呈現(xiàn)空間的還音系統(tǒng)的聲輻射,至少能覆蓋觀眾的前、后、左、右、上五個方位。除此之外,還能真實地營造出聲場的水平縱深和垂直高度,即從聽者角度能精準(zhǔn)地定位聲音的方向和位置。
真實世界的聲音來自環(huán)境的四面八方,人耳往往可以通過聲波的時間差、強(qiáng)度差、相位差、頻率差等辨別聲音的方位?,F(xiàn)有的立體聲和5.1環(huán)繞聲只能呈現(xiàn)部分方向傳來的聲音信息,若想獲得聲音帶來的沉浸感,需要盡可能全方位再現(xiàn)真實世界的聲音,也需要一種沉浸式音頻技術(shù)來實現(xiàn)。
沉浸式聲音主要通過三維聲技術(shù)來實現(xiàn)。三維聲技術(shù)實現(xiàn)主要分為三大類:基于聲道的音頻(CBA)、基于對象的音頻(OBA)和基于場景的音頻(SBA)。基于對象的技術(shù)是目前主流的三維聲技術(shù)。在電影領(lǐng)域,三維聲技術(shù)已廣泛應(yīng)用,如Dolby Atmos全景聲、DTS-X、HOLOSOUND、WANOS全景聲、中國多維聲、Auro-MAX等。在廣電領(lǐng)域,三維聲技術(shù)主要有Dolby Atmos和MPEG-H、AVS2-P3。沉浸式視頻的聲音系統(tǒng)推薦使用基于對象或場景的三維聲技術(shù),需要實現(xiàn)不低于5.1.4聲道的聲音系統(tǒng),即在傳統(tǒng)5.1環(huán)繞聲基礎(chǔ)上增加4個頂部聲道。
基于聲道技術(shù)(CBA):在傳統(tǒng)5.1環(huán)繞聲的基礎(chǔ)上,增加了4個頂部聲道,通過增加聲道的方式來補(bǔ)充空間中的聲音信息,但只能呈現(xiàn)部分方向來的聲音信息。
基于對象的技術(shù)(OBA):是目前主流技術(shù),并在電影領(lǐng)域已廣泛應(yīng)用,如Dolby Atmos全景聲。該技術(shù)會產(chǎn)生大量的數(shù)據(jù)和運(yùn)算,除了聲道的音頻外,還有關(guān)于聲源的元數(shù)據(jù)Metadata,即:聲源(位置/大小/速度/形狀等屬性)、聲源所在的環(huán)境(混響Reverb/回聲Reflection/衰減Attenuate/幾何形態(tài)等),該技術(shù)在VR領(lǐng)域只適合主機(jī)VR上的大型游戲,對于普通移動端的硬件設(shè)備來講,算力及帶寬承載具有較大壓力。
基于場景的技術(shù)(SBA):用來描述場景的聲場,其核心的底層算法是Ambisonics技術(shù),可被映射到任意揚(yáng)聲器布局中。Ambisonics技術(shù)的特點是聲源貼在提前渲染好的全景球上,即所有聲源將被壓縮在了這個球上。
Ambisonics作為全景聲的一種錄取格式,在上世紀(jì)70年代就已經(jīng)問世,但一直沒有獲得商業(yè)上的成功。隨著近幾年VR,AR等相關(guān)領(lǐng)域的興起,Ambisonics開始逐漸被討論。與其它多聲道環(huán)繞聲格式不同,Ambisonics傳輸通道不帶揚(yáng)聲器信號,允許音頻工作者根據(jù)聲源方向而不是揚(yáng)聲器的位置來思考設(shè)計,并且為聽眾提供了用于播放揚(yáng)聲器的布局和數(shù)量。Ambisonics音頻格式可以解碼任何揚(yáng)聲器陣列,并且可以完整地、不間斷地還原音源而不受任何特定編解碼播放系統(tǒng)的限制。
全景聲雙耳渲染技術(shù)可運(yùn)用于多個場景,帶來沉浸視聽的無限想象力。
VR演唱會?,F(xiàn)場混合360度視頻和全景聲音頻, 同時將數(shù)據(jù)傳輸?shù)较鄳?yīng)的移動平臺,并進(jìn)行實時直播。讓觀眾可以達(dá)到“不在現(xiàn)場,勝似現(xiàn)場”的感覺。
沉浸式影院。也可以稱之為沉浸式投影,是一種成熟的高度沉浸式虛擬現(xiàn)實系統(tǒng)。它將高分辨率的立體投影技術(shù)、三維計算機(jī)圖形技術(shù)和音響技術(shù)等有機(jī)地結(jié)合在一起,產(chǎn)生一個完全沉浸式的虛擬環(huán)境,大大增加觀影的沉浸感。
智慧教育。沉浸式教學(xué)模式逐漸受到教育界的關(guān)注。例如,IBM研究院和倫斯勒理工學(xué)院聯(lián)合開發(fā)的“認(rèn)知沉浸室”,它能讓學(xué)生置身于中國的餐館、商場、園林等虛擬場景,與AI機(jī)器人練習(xí)漢語對話,大大提升了學(xué)生的學(xué)習(xí)興趣和專注力。
虛擬會議。以Facebook基于VR開發(fā)的虛擬會議為例。而為了更貼近現(xiàn)實,Workrooms還加入了沉浸音頻功能,讓用戶交談時,聲音的發(fā)出的方向跟他們所處的房間位置一致,從而進(jìn)一步增加參會者的沉浸感。
隨著AR、VR、5G、云計算等技術(shù)成熟度的提升,基于沉浸式音視頻的通訊技術(shù)在元宇宙有望逐步從概念走向現(xiàn)實。根據(jù)IDC的市場評估,沉浸式視頻云市場發(fā)展的趨勢處于飛速發(fā)展的階段。
評論comment