Reading | 沉浸式媒体技术:从3D视频到感官体验

本文整理自Christian Timmerer和Karsten Müller2010年的文章「Immersive Future Media Technologies: From 3D Video to Sensory Experiences」,主要用于梳理沉浸式媒体技术的发展和代表性技术。


这篇文章主要讲述沉浸式媒体技术(Immersive Media Technologies)的发展,包括3D视频到感官体验。前者主要是多视点和立体视频技术,后者主要用于激发更多维的感官体验,且不局限于视觉和听觉。

简介

过去十年,人们在体验质量(QoE, Quality of Experience)上做出了很多研究。一方面是3D视频,另一方面则不止于3D,而是创造了超越3D的感官体验。下面将从这两个方面陈述一些代表性的方法和工作。因此,这篇文章也主要分为两个部分。

第一部分主要和3D视频编码技术相关,包括正在商业化的立体视频系统,和更灵活的,与视图数量无关的多视图系统(原文multiview systems independent of the number of views,还需再理解);第二部分涵盖了QoE的另一个维度,并将超越当前的3D技术。特别地,我们认为多媒体技术的发展会促进其他感官的消费升级,从传统的视听体验到触、嗅、平衡、温湿度等,从而营造全新的用户体验。

3D视频:立体和多视角视频技术

近年来,3D相关的媒体技术从纯粹的研究导向(research-oriented)的工作逐渐转化为应用和产品。这种进展离不开3D媒体在各个技术上的突破:从数据采集、传输到编码,并为各种娱乐设备提供不同的输出(如数字影院、家庭娱乐和移动设备等)。

目前,大多数3D视频系统均要求用户佩戴3D眼镜,于是有了针对显示技术的研究,以实现多视图显示的裸眼3D。这些3D解决方案将进化成通用的3D视频格式,附带颜色和几何数据,例如深度图,以及相关的编码、渲染技术。同时,部分国际化的财团也在开发相关技术。

通过感官效果提升用户体验

开展相关工作的动机是,用户体验不能局限于视听体验。而是多维度、全方位的。这可以通过利用元数据(metadata)和媒体资源实现:元数据提供所谓的感官效果,以引导能够呈现这些效果的适当设备。

因为这项工作涵盖了全新的QoE维度,这就需要建立一套全新的科学的框架,以捕捉、测量、定性、判断和解释所谓的“用户体验”。当然,这项工作不回仅停留在理论层面,而是会通过具体的用户案例、用户场景和其他更具有表现力的例子来实现。