谷歌用46个摄像头组“复眼”,打造沉浸式AR/VR光场视频方案

智东西(公众号:zhidxcom)
编| 信仪

导语:想足不出户就能感受世界风光?沉浸式AR/VR带你时空穿梭身临其境!

智东西6月24日消息,近日,谷歌发布了一项新的球形“光场视频”捕捉方案,以提升沉浸式媒体技术。它将传统的摄影和视频以更加身临其境的3D方式呈现,可以使用户随时改变观看视角,甚至可以观察到画面内物体的细节。

这项新技术将会在今年8月举行的SIGGRAPH上展出。从1974年开始,SIGGRAPH每年都会举办一次年会,绝大部分计算机图技术软硬件厂商每年都会将最新研究成果拿到SIGGRAPH年会上发布,大部分游戏的电脑动画创作者也将他们本年度最杰出的艺术作品集中在SIGGRAPH上展示。

一、46个摄像头拧成一个球,多视角3D成像

据悉,谷歌的这项光场捕捉方案是一个球型结构,这一92厘米直径大的球由46个摄像头组成。这个方案的原理类似于苍蝇的复眼,每一个摄像头可以从不同的角度捕捉周围的场景,将多方向的视角合并为一个视角。

谷歌用46个摄像头组“复眼”,打造沉浸式AR/VR光场视频方案▲相机的视图

相比于现有VR视频中采用的普通3D立体效果,光场摄影具备更多视角,空间立体感更强。

在谷歌呈现出的视频中,画面可以随着用户的视角进行转变,用户可以看到不同角度的图像,这样的图像看起来更真实,并且具有动态效果。

谷歌用46个摄像头组“复眼”,打造沉浸式AR/VR光场视频方案▲谷歌的光场捕捉方案捕捉和分割视图的步骤

二、 浏览超180°场景,使用DeepView拼接算法

在细节方面,这项方案捕捉的光场视频可实现10ppd(角分辨率)、220°以上的视场角、30fps刷新率。

尽管每一个摄像头模组之间的平均距离为18厘米,但是其使用的DeepView拼接算法,可通过替代数据中包含的多层球形图像,重建距离摄像头20厘米处的物体。

谷歌用46个摄像头组“复眼”,打造沉浸式AR/VR光场视频方案▲摄像机放置在一个92厘米直径大的球上

谷歌研究人员曾在SIGGRAPH 2018大会展示过类似的研究,当时他们在沉浸式VR中引入了具有图片真实感的光场静止图像。而今年推出的全新系统增加了视频要素,为用户提供了一个更为动态的虚拟环境,使用户可以浏览跨度超过180°的场景。

谷歌用46个摄像头组“复眼”,打造沉浸式AR/VR光场视频方案▲谷歌光场视频捕捉画面呈现

据悉,该方案可拍摄6DoF场景视频,经过压缩后可在AR/VR头显或网页端播放。此外,光场视频的体积之小足以通过常规Wi-Fi传输,从而大大促进了沉浸式AR和VR领域的进步。

结语:谷歌沉浸式体验升级,虚拟体验更加真实

谷歌这项在光领域研究的新成果,为消费者提供了一种真正的沉浸式体验。在疫情期间,大多数人不得已居家办公,因此移动设备中的图片和视频的利用率越来越高。

这一成果的研究人员希望沉浸式光场图像和视频能够在未来的AR和VR平台中,能够像移动设备的图像视频那样在人们的生活中发挥重要作用。

消息来源:Tech Crunch