我在VR里看冬奥:运动员在我头顶飞

智东西(公众号:zhidxcom)
作者 | 徐珊
编辑 | 云鹏

“这简直太好玩了,我还没有玩够!”运动员在冬奥会场馆内沉迷玩VR游戏的视频近日在多个社交媒体上广泛传播。

我在VR里看冬奥:运动员在我头顶飞▲冬奥场馆内的VR游戏实况

随着全民对冬奥赛事的关注度提高,越来越多的人感受到冰雪运动的魅力。一些精彩瞬间的背后,VR直播、360度自由观赛、虚拟数字人……不少“元宇宙”要素活跃在北京冬奥会的各个角落。

自从2016年里约奥运会首次使用VR技术以后,奥运会不但记录着运动员的成长,也见证着VR技术发展。比如说,2018年韩国平昌奥运会期间,英特尔通过True VR技术对部分赛事拍摄,提供360度全景视频观看,同时还提供VR直播和VR点播两种类型的赛事观看服务。今年北京冬奥会,VR技术的应用更是在娱乐、训练、观赛等多个领域都给人们带来了更多的惊喜。

我在VR里看冬奥:运动员在我头顶飞▲通过360度全景视频观看比赛

冬奥会赛事进程已接近尾声,VR技术究竟用在了哪些地方?国内VR厂商们又是如何在冬奥会中赢得世界关注?经过一番调查并亲自VR观赛后,我们发现这次冬奥会,VR厂商们都在集体“秀大招”。

一、亲测3种VR看冬奥,大屏观赛如临现场

“VR直播年年有,但是每次直播效果都不好。”过去的VR直播受限于场地、设备等原因,转播的画面总会出现模糊不清、观看角度不好和时效性差等问题,因此,部分观众一直不看好大型赛事的VR直播,对于临场感和沉浸感更是不奢求。

为了解决这些难题,国内早在2019年就专门组建了“冰雪项目交互式多维度观赛体验技术与系统”项目团队,由北京大学牵头,国家实验室、企业和其他高校参与合作研发,北京大学教授陈宝权为项目负责人。

我在VR里看冬奥:运动员在我头顶飞▲北京大学教授陈宝权

研究人员会根据场馆情况布置多台摄像机,记录比赛现场的精彩画面。他们在首都场馆部署的40台4K阵列摄像机和3台可实现8K VR直播的相机。

我在VR里看冬奥:运动员在我头顶飞▲赛场的摄像机阵列

部分细心的网友扒出摄像机阵列的相关细节,认为其厂商可能是国内摄像机品牌Z-CAM,而8K VR直播的相机可能为Insta 360影石专业级相机Titan。

我在VR里看冬奥:运动员在我头顶飞▲赛场旁的Titan相机

1、VR冬奥怎么看?亲测三种VR观赛方式

经过调查,我们发现目前共有三种方式可以感受VR冬奥的魅力:VR设备、手机上的央视频APP、以及H5页面。

除了使用国内自研的VR摄像设备之外,北京冬奥会还实现了“自由视角观赛”,即从3DoF(即眼睛可以向上下左右看)升级到6D0F(头部位置也可以移动)。这样一来,观众就可以在任何位置观看任何角度的比赛。

我在VR里看冬奥:运动员在我头顶飞

▲3DoF和6D0F的区别(图源于网络)

实际效果究竟怎么样?我亲自体验了一番,首先我用手机央视频APP的VR冬奥观看了2月16日的冰球男子1/4决赛。

当进入到相关页面后,我看到画面的正前方是一个虚拟的VR大屏,就像现场的大屏一样,可以观看到比赛的细节和回放。镜头随后会转到运动选手身上,我可以看到他们从起点出发的动作,随后画面会随着场上赛事的节奏自主切换角度,我也尝试自己调整观看角度,甚至我能看到他们击中冰球入门的手势动作。

我在VR里看冬奥:运动员在我头顶飞

▲用手机端观看冰球男子1/4决赛的画面

在用手机观看VR比赛时,我仍感到一些不足之处,比如说,画面清晰度还不是很高,画面总会有一层灰蒙蒙的感觉,较正常的手机视频清晰度略差一些。

但打开VR设备后,我就不再吐槽满是噪点的画面清晰度了。我戴上Pico Neo 3设备,打开央视频VR APP,就进入央视频专为冬奥打造的观赛空间,海报、抱枕、奥林匹克标志,央妈一次拉满了冬奥氛围。

我在VR里看冬奥:运动员在我头顶飞▲央视频VR的观赛区

不仅如此,央视频还贴心地设计了定制个性化菜单,并在日历中标出每天将会有哪些赛事。连我最关心的奖牌情况,央视频都会清晰地呈现在下方。

无论是想按项目观看比赛,还是想按日期观看比赛,清晰、便捷的菜单设置都简化了我查找赛事的过程,让我以最快的速度看到想看的比赛。

我在VR里看冬奥:运动员在我头顶飞▲央视频VR APP提供的多项观赛项目

而观赛的形式和手机上的体验比较类似,但整体上画面清晰度大幅提升,我可以清晰地看到运动员做了哪些动作,就好像站在赛道旁看着运动员从自己的头顶飞过。

我在VR里看冬奥:运动员在我头顶飞▲用Pico Neo 3 VR观赛

与现场观赛相比,我在VR观赛中感到比较遗憾的可能是不能感受到整体现场的欢呼声。但仅从观看体验上来说,用VR设备观看比赛确实给人带来不少惊喜。部分比赛过程中,导播们还通过AR技术给出一些信息,并告知观众赛场上不同赛事的最新情况。

除此之外,在观看赛事的过程中,我常常还会因为导播切换画面而找不到运动员在哪里,从而错过精彩瞬间。

而手机上的H5界面多会采用360度全景图片,向我介绍奥运场馆的相关信息,较少涉及比赛本身。

公开信息显示,软件研发和服务公司天源迪科和中国联通合作了“中国联通冬奥5G智慧观赛产品创新研发项目”,场内联通用户可通过H5页面或小程序接入场馆边缘媒体服务器,获得多视角、精彩回放、场内服务预订等视频服务及信息服务。

不仅如此,VR全景服务商蛙色VR也表示他们提供技术支持和新华社联手打造360°沉浸式漫游场馆。

我在VR里看冬奥:运动员在我头顶飞▲用手机H5页面观看首都体育馆

2、耗时长、画面卡,VR直播难题如何解?

“观众可以不断地、连续地改变视点,从不同角度观看同一个赛事。”项目负责人陈宝权说,“不仅如此,还有机会实现电影《黑客帝国》中‘子弹时间’的炫酷体验。”

“子弹时间”是指某个凝固的时间点,人们通过360度全景摄像观看到那一刻的所有人和物的画面,也因此,实现“子弹时间”意味着观众可以实现观看角度自由。

我在VR里看冬奥:运动员在我头顶飞▲电影《黑客帝国》中展现的“子弹时间”

但在冬奥会的赛场上实现“子弹时间”并非易事。

要知道,按照传统的拍摄方式,一台摄像机一秒的8K画面可能会有高达几个GB甚至十几个GB的内容,而几十台摄像机同时构建某一秒的画面可能会用到近几百GB大小的内容素材,在过去,摄影团队想要制作一个“子弹时间”场景,往往需要花费相当长的时间。

面对巨大的内容素材,如何实时渲染画面、如何呈现连贯的比赛画面、如何实时完成360度全景观看,这些都是摆在项目研究人员面前的难题。

据陈宝权介绍,解决这些问题主要靠他们研发的“端到端自由视角视频系统”和“VR冬奥赛事孪生推演与视听语言创意设计软件”。

“端到端自由视角视频系统”不但可以在较短的时间内处理完庞大的图像信息,同时还能通过三维重建生成新视点的图像,避免因现场相机个数有限导致画面不连贯。“如果采用足够多的新(虚拟)视点插入,最终实现丝滑般的自由视角观赛体验。”陈宝权说。

我在VR里看冬奥:运动员在我头顶飞▲虚拟视点效果图(来源:B站UP主阿里达摩院扫地僧)

而“VR冬奥赛事孪生推演与视听语言创意设计软件”正是针对此前VR观赛的遗憾之处——“不知道看哪里比较好”推出的软件系统。

研究人员通过和一些专业人士合作,对赛场上可能会出现的精彩时刻设计视频镜头轨迹,进行实时导播,帮助观众抓住每一个热泪盈眶的时刻。

我在VR里看冬奥:运动员在我头顶飞▲VR冬奥赛事孪生推演与视听语言创意设计软件演示图(来源:北京大学)

从VR直播体验来看,北京冬奥会给观众提供了一个自由视角的VR直播,比赛画面也较为流畅。而北京冬奥会在大规模赛事中运用VR直播,以及实现360度高自由度观看,也为VR技术在文娱领域的应用增添新的成功案例。

二、既可以休闲,又可以训练,VR技术用途多多

VR技术带给人们高度仿真的情景,让人们不再受时间和空间的限制,可以瞬间进入自己希望去往的地方。这一点在疫情下拥有了更多的意义。此次冬奥会采用全封闭式管理的形式,如何给运动员们提供一个舒适、放松的环境,VR技术从中起到了不小的作用。

1、什么VR游戏让运动员大呼过瘾?

除了VR技术在直播赛事上的运用吸引了不少人关注之外,VR游戏也“蹭”了一波冬奥会的热度。在冬奥场馆内,VR游戏区的设备吸引了不少国外运动员在这里流连忘返,纷纷前来打卡。

冬奥场馆内的VR游戏区不仅有太空模拟舱、4D载人深海模拟器等,让运动员们可以一天之内上天入地,无处不去,还有模拟战场、VR赛车等游戏,让运动员们大呼“过瘾”。

我在VR里看冬奥:运动员在我头顶飞▲太空模拟舱

借着这次全民关注的运动盛会,游戏厂商纷纷推出VR冬奥系列IP如《奇幻滑雪》等。HTC更是接连上线了5款运动游戏,其中两款游戏《奇幻滑雪3》、《VR冬奥会》是针对VR一体机推出的。三款游戏《极限滑雪》、《冰球大战VR》、《Fantasy Skiing 2》是针对PC端推出的VR游戏。

其中,《奇幻滑雪3》是目前较为热门的VR游戏,你可以通过VR设备感受到滑雪的乐趣。想成为下一个“谷爱凌”?你可以先用VR设备去体验一下滑雪的魅力。

我在VR里看冬奥:运动员在我头顶飞▲《奇幻滑雪3》滑雪场景

目前,《奇幻滑雪3》登陆了Pico应用商店等国内多家VR设备的应用商店。

2、用VR模拟真实环境,运动员开启“刷分”之路

像游戏之类的VR设备主要是给运动员们提供休闲娱乐,让他们在紧张的赛程中放松一下绷劲的神经,而用于VR模拟训练的设备则不同,更高的精准度,更逼真的模拟环境才能为运动员们带来更有效地成绩提升。

像钢架雪车、雪橇、越野滑雪等这类运动往往具有较高的风险性。同时,冰雪运动的训练计划会受天气和环境的影响,一年时间里训练较少。VR模拟训练器模拟的较为真实的虚拟环境,可以提供无限制的训练环境。并且,VR模拟训练器精准收集的数据能够为运动员提供更多指导方向。

“这样一来,在一些技巧方面,运动员可以一天练习多次提高熟练度。”一位参与研发的人士说道,他们还为此打造了一套六自由度电动模拟体育训练系统。

整理相关资料时,我们发现不少北方大学参与到VR训练模拟器研发中。

东北大学不但打造了一个VR滑雪系统,还做了个滑行速度测量机器人。机器人可以收集最真实的环境信息,再将这些信息同步到VR滑雪系统中,让运动员们感受到最真实的环境变化,调整状态。

河北地质大学同样也制造了一款VR滑雪模拟器,模拟真实的滑雪环境,其脚下的六自由度机器人可以跟随滑雪地形进行实时的响应,为训练者提供视觉、听觉、风感、转向感、俯冲感、超重感、失重感等多感官交互,为滑雪者带来沉浸式的滑雪体验。

现在,VR模拟训练在不少领域已经开始逐步落地,国外部分政府曾采用VR设备锻炼员工的反应能力。前不久,东方时尚公告采购1000台VR驾驶模拟器,金额达1.8亿元。IDC数据显示,2020年全球VR企业培训市场规模约为13亿美元。

我在VR里看冬奥:运动员在我头顶飞▲用VR设备模拟案件场景

VR训练在冬奥场景上的运用,让更多企业看到VR训练的实用性以及功能性,吸引更多的玩家加入其中。

三、虚拟数字人24小时为冬奥打工?谷爱凌再现分身术

说起来你可能不信,据不完全统计,至少有25个虚拟数字人正在冬奥会24小时“打工”。

百度智能云AI人机交互实验室负责人、主架构师李士岩曾告诉智东西,虚拟数字人可以按场景分为服务型数字人和演艺型数字人。其中,服务型数字人往往指具有一定功能的“虚拟员工”,演艺型数字人更偏向文娱领域的“偶像”。

我在VR里看冬奥:运动员在我头顶飞▲与北京冬奥会有关的虚拟数字人(来源:雷报)

最“值钱”的虚拟数字人应该属谷爱凌的虚拟数字分身MeetGu。MeetGu出现在直播间的次日,咪咕视频母公司中国移动的股价大幅上涨,涨幅达到10%,市值达1.44万亿元,达A股上市以来最高值。

我在VR里看冬奥:运动员在我头顶飞▲谷爱凌的虚拟数字人MeetGu

事实上,不仅是谷爱凌的虚拟数字人,像徐梦桃、隋文静、韩聪、任子威等热门冰雪运动员均有自己的虚拟数字人。奥运会举办期间,这些虚拟数字人会在冬奥赛事演播室中完成滑雪赛事解说、播报及场景电商的虚拟互动等工作。

从冬奥会上,我们可以看到像这类由真人衍生出来的虚拟数字人同样能分担“正主”所带来的流量效应。

那么,数字分身和现实本人之间应该是什么样的关系?虚实科技CEO张金玉认为,目前,数字分身和现实本人之间的关系处在“各管各的”阶段,虚拟数字人并没有本人所具有的一些特性。“目前,国内大部分虚拟数字人都处在这个阶段。”她讲道。

张金玉认为,想要打造一个更具有本人特征的虚拟数字人,厂商们需要打通虚拟数字人和本人之间的信息壁垒。“设想一下,如果你的虚拟分身能够知道你今天看了哪些消息,并且同步学习这些知识,它是不是会对你了解更多,并且对你的兴趣也一清二楚。”

从不同的发展变化来看,未来虚拟数字人也许会帮助人们从繁琐劳累的工作中解脱出来,做更多的事情。但并非人人都喜欢虚拟数字人过度侵入自己的生活,就如亚马逊最新的AI助手Alexa广告一样,主人公最后说道,“也许Alexa不能读懂想法会更好。”

我在VR里看冬奥:运动员在我头顶飞

除了这类身份型虚拟数字人,功能型虚拟数字人同样受到不少厂商的欢迎。腾讯、小冰、百度纷纷带着自己的虚拟数字人在冬奥会上“露一手”,手语翻译、电商带货、天气播报等各种类型的虚拟数字人开始“卷”起来了。

我在VR里看冬奥:运动员在我头顶飞▲手语播报数字人

冬奥会上大规模的虚拟数字人应用,一方面打破了人们对以往单板、无趣、功能单一虚拟数字人的刻板印象。另一方面,虚拟数字人也在受到更多企业的关注。据调查,2022年过了不到一个月,虚拟人领域融资数量已经达到近百起,融资金额达4.11亿元。由此看来,虚拟数字人行业正在落地应用上进入一波快速扩张的阶段。

结语:冬奥成VR落地应用大舞台

VR直播、VR训练、VR游戏……冬奥会上出现越来越多的VR技术,这可能说明VR技术正在迎来新的关注度。

冬奥会不但向世界展示了国内最为先进的虚拟技术,而且对内,将校内科研人员和校外科技企业紧密地连接在一起,换而言之,也是VR圈内的一次交流会。

在这场交流中我们能看到像百度、腾讯等大厂的身影,也能看到不少创企,比如说蛙色VR,也在其中发挥自己的力量。2022年,元宇宙的热度似乎降温不少,但对于VR产业的关注依然在升温。