腾讯开源首款H.266播放器!专访背后“天团”腾讯多媒体实验室

智东西(公众号:zhidxcom)
作者 |  李水青
编辑 |  漠影

“如果你被人家气势一震,忘了自己优势在哪儿,就不行!”

“甭管你平常怎么谦虚谨慎,但是在国际标准会议现场,不能忘了自己的技术优势!不要害怕别人是权威,要勇于挑战,把自己的技术优势表达出来,人家不好的地方也敢于指出来,这样才可以!”

李翔在讲述标准会议的经历时,声音铿锵笃定,让我感觉腾讯会议对面的仿佛是一位国际重案组老辣的刑警队长,而不是头像照片中的儒雅知识分子。

智东西12月7日报道,近日,腾讯多媒体实验室宣布开源国内首个H.266/VVC(Versatile Video Coding)视频解码播放器 。这距离最新H.266/VVC视频编解码标准出炉刚刚过去了三个多月,这一标准使得视频在相同质量下,只需要一半的带宽,有望为视频行业带来跨时代的变革。

腾讯开源首款H.266播放器!专访背后“天团”腾讯多媒体实验室

2020年7月,H.266/VVC视频编解码标准宣布编辑完成,以腾讯为代表的中国企业成为这一标准制定的重要力量 。以腾讯为例,其提出的100多个提案获得采纳。

近日,我们有幸与腾讯多媒体实验室的行业标准专家李翔、视频编解码研发负责人朱斌进行了一场越洋远程会议,聊了聊VVC播放器和标准制定背后的那些事。

一、30年从追赶到引领,腾讯深度参与H.266/VVC标准制定

回顾每一代视频编码技术的变革,都曾深刻影响人们的生活和生产发展。

20世纪90年代,MPEG-1、MPEG-2标准的横空出世,带来了全民家庭影音的第一波浪潮。进入21世纪之后,H.264标准的普及,不仅推动各类移动互联网视频应用爆发增长,也从底层技术带动智慧安防、视频会议等行业向普惠化、高清化、智能化方向发展。

腾讯开源首款H.266播放器!专访背后“天团”腾讯多媒体实验室
▲20世纪90年代的VCD设备

但是在很长一段时间里,国内视频编解码技术并没有实现自主。

在20世纪90年代我们看到中国VCD、DVD厂商遍地开花,然而厂商没有MPEG-1、MPEG-2(H.262)标准的必要专利,只能承担代工的角色。厂商需要付出高额的专利费,被国外卡脖子。

几十年后的今天,情况发生了变化。在本次H.266/VVC标准制定中,有很多技术提案来自中国企业。而H.266/VVC标准,有望在4K、8K、VR等应用快速发展的时代,掀起新的浪潮。

H.266/VVC将给视频行业带来什么样的改变?

李翔用一组数据让我们有了直观认识:“根据Cisco报告,2020年视频将占因特网流量79%。每个月视频流量将近130EB,也就是130乘以十的九次方个GB,量是非常巨大的。如果我们能把带宽降低一半,将是一个天文数字。”

腾讯多媒体实验室是中国企业在国际视频标准中把握话语权的一大代表。据悉,在H.266/VVC标准制定中,腾讯多媒体实验室累计技术提案超过300篇,超过100篇专家小组报告、核心实验报告、专题讨论组报告以及标准会议输出决议文稿,100多个提案获得采纳。

这一成果在所有标准制定厂商中名列前茅。

二、打入国际视频标准制定,这个“神仙天团”了不得

腾讯多媒体实验室,前身是QQ于2011年成立的音视频中心,是腾讯CSIG(云与智慧产业事业群)下属的音视频通信和处理研发团队,专注于多媒体技术领域的前沿技术探索、研发、应用和落地。其在2017年建立的标准团队,大部分成员办公地位于美国。

腾讯开源首款H.266播放器!专访背后“天团”腾讯多媒体实验室

▲腾讯多媒体实验室标准制定团队部分成员,从左至右依次为赵亮、许晓中、李翔、刘杉、夜静、赵欣。

简单来说,标准团队研究的是国际国内多媒体标准制定,包括媒体压缩,媒体系统、传输与5G,媒体AI以及行业论坛等。

尽管长期低调,但腾讯多媒体实验室的阵容却相当豪华。从团队的几位代表人物,我们就能看到这个团队的“神仙阵容”:

实验室联合负责人刘杉博士,是已定稿国际标准H.265/HEVC V4 和H.266/VVC V1的联合主编;视频标准负责人李翔博士,是H.266/VVC参考软件联席主编。

腾讯开源首款H.266播放器!专访背后“天团”腾讯多媒体实验室
▲右边第一位为腾讯杰出科学家、多媒体实验室联合负责人刘杉

这些在国际视频编解码标准委员会中的任职是什么概念?

简单来说,视频编解码标准最终发布的是标准文本,因此标准文本主编在标准委员会中十分重要。目前H.266/VVC标准的主编共有四位,除刘杉博士外,另外三位分别来自德国HHI研究所,美国高通公司和字节跳动。再看参考软件,要知道,标准制定中的所有实验、评价都需要在参考软件上进行,因此这也是个非常有影响力的职位。李翔博士是三位联合主席之一,另外两位分别来自美国夏普实验室和德国HHI研究所。

也就是说,以腾讯为代表的中国企业在其中占据了重要职位,话语权相当强。

李翔说:“此外还有专门的专题专家小组、核心实验等,我们实验室有几十人次担任相当重要的职位,负责维护相关工作的,话语权还是相当大的。”

可以看到,在100多项H.266/VVC视频标准提案被采纳的同时,腾讯在国际视频编解码标准制定中已经把握了十分稳固的话语权和影响力。

三、100项提案获H.266采纳,背后是鲜为人知的汗水

成绩不是水到渠成就拿到了,是汗水换来的。

李翔和朱斌接受采访的时候是美国凌晨12点,尽管夜深,两位专家还是耐心地为我们讲述了其中的一些过往。

标准制定中蕴含着巨大的商业利益。每三个月一次、每次持续10~12天的标准会议是包括腾讯、德国HHI、美国高通等几十个团队各方激烈博弈的一大“舞台”。会议期间,各方专家会就多至1000多的篇技术提案逐一进行深入探讨辩论。每天的会议强度很大,通常在十几个小时,有时甚至会24小时连着开。

腾讯开源首款H.266播放器!专访背后“天团”腾讯多媒体实验室
▲国际标准会议现场

李翔说:“一千篇文章在这十几天里全部讨论,讨论也不是说念一遍就过去,涉及到标准必要专利的归属,各个公司都有相当大的利益,所以很多东西要反复讨论很长时间。”

但在技术讨论过程中,并不是只看谁的技术积累深,还有一方面是反应快。

“如果你被人家气势一震,忘了自己优势在哪儿,那就失败了!不管平常怎么谦虚谨慎,但是在国际标准会议现场,不能忘了自己的技术优势!不要畏惧别人是权威,要勇于挑战,把自己的技术优势表达出来,人家不好的地方也敢于指出来,这样才可以!”

李翔的声音铿锵笃定,让我感觉网络对面的仿佛是一位国际重案组老辣的刑警队长,而不是头像照片中的儒雅知识分子。

腾讯开源首款H.266播放器!专访背后“天团”腾讯多媒体实验室
▲左起第二位为腾讯多媒体实验室视频标准负责人李翔

值得一提的是,和参与标准制定的国际企业相比,人力是腾讯的一个劣势。比如,在视频编解码标准领域久负盛名的德国老牌研究所HHI的VVC研发的团队成员在30人左右,美国高通公司的团队也在20人以上。而李翔的团队却常年保持在六七人,需要以少敌多。

“像美国高通、德国HHI这些团队一次去十几个人,有的人专门分析别人的弱点、有的人专门强调自己的优点,这在我们都要一个人甚至不到一个人去完成。”

会不会有势单力薄的感觉?

李翔答道:“我们人少有时候就容易被围攻,一个会场我们一个人对人家好多人,虽然势单力薄但我们气势上不输!

那么为期十几天的标准会议结束后,是不是可以休息了?

并不是。“开完会你有提案被采纳,那你还要去做软件的集成,放在参考模型里头。有时候说这是幸福的烦恼,采纳了是很高兴,但是采纳以后还要进一步花时间把这个事情做好。”

在哪一瞬间会感受到得到了同行尊重、肯定和权威的认可?

李翔坦言,尊重和认可是在点点滴滴里建立的,看你怎么理解。

李翔列举了一个细节:以Tencent这个名字为例,一开始大家会开玩笑说“more than ten cents”,当然一方面是善意的交际,但另一方面也说明当时确实没什么人知道腾讯这个公司。同时,中国人的名字比较难念,大家不会去记中国人的名字,却会去念同样难念的日本人的名字。

“现在这个圈子里头我想没有谁不知道腾讯。”“而且很多中国同事的名字被很多公司的专家记住。原来为什么记不住你的名字呢,原来没有话语权,做的也不行,根本不会对你有什么关注,现在不一样了。”李翔的语气轻松,但背后的艰辛可想而知。

2018年4月,在美国圣地亚哥举行的MPEG122会议上,腾讯多媒体实验室提交了10个高质量的标准提案,并在CfP质量评测中超过很多国际知名公司和研究机构,一战成名。

四、主攻屏幕内容编码技术,《王者荣耀》成“考题”

2020年7月,截至H.266/VVC定稿,腾讯多媒体实验室有100多项技术提案被采纳。这些提案覆盖多个关键领域。

比如十分重要的屏幕内容编码技术,腾讯是屏幕内容编码技术的主要贡献者。简单来说,相比于传统方法出现的边缘尖锐、字带毛边等问题,屏幕内容编码技术则可以取得较好的主观效果,且压缩比高。

腾讯开源首款H.266播放器!专访背后“天团”腾讯多媒体实验室

除了屏幕内容编码技术,腾讯的提案贡献还涉及一些比较基础的方向,包括变换、可伸缩的编码等。以变换为例,在H.265/HEVC中主流是用DCT-2,而在VVC里,不同场景会用到不同的变换,效果会更好。

但是新的变换包括DST-7之前并没有很好的算法,DST-7在H.265的时候不是影响很大,是因为它只有4×4大小,现在有32×32大小的,这个矛盾就更突出了。腾讯多媒体实验室在保持压缩性能的情况下,把DST-7等算法的复杂度降下来,做出了重要贡献。

值得一提的是,在标准制定中,《王者荣耀》也被作为重点应用场景加入标准测试序列,所有的技术提案都要在这些测试序列进行测试。李翔说:“就相当于一个考试,(《王者荣耀》)相当于一个考题,考试做得好(在测试序列上压缩性能好),相应的场景就得益。这样就保证了新一代标准对典型游戏场景的压缩性能”。

可以看到,一方面腾讯多媒体实验室深度参与了标准提案,一方面也成了“考题的出题方”之一,可以说在标准制定中把握住了很强的主动权。

五、开源国内首款H.266/VVC播放器,做好标准生态

朱斌是腾讯多媒体实验室视频编解码研发负责人,毕业于爱荷华州立大学取得电子和计算机工程博士学位,在2018年加盟腾讯多媒体实验室。

谈到加入腾讯,他颇为感慨:“我一开始入行也知道中国公司参与标准制定是比较少的,华人工程师参与的非常多,没有一个公司把他们召集在一起,我觉得腾讯给了我们这么一个机会。现在各个公司对我们中国公司都非常的重视。”

腾讯开源首款H.266播放器!专访背后“天团”腾讯多媒体实验室

▲腾讯多媒体实验室视频编解码研发负责人朱斌

朱斌在腾讯多媒体实验室深度参与了H.266/VVC播放器的开发,这是国内在H.266/VVC标准发布后的首款播放器。

采用H.266/VVC播放器会给人们带来什么直观的感受?

简单来说:第一相同质量的视频,带宽减半,第二相同带宽,可以看更好质量的视频。

我们可能从一些当下初步显露头角的应用来理解这一技术。H.266/VVC播放器无疑能使我们通过更少的流量看到更流畅的高质量视频、直播,其在高分辨率VR、云游戏、智慧医疗等新兴领域的应用前景更深远。尽管视频编解码标准的落地需要一定时间,但已经有一些苗头显现。

以近年来概念火热的云游戏为例,云游戏使用云端的显卡支持游戏运行,其中一个关键环节时将游戏视频压缩传回用户端。由于游戏视频画面对帧幅、实时性要求极高,带宽需求也往往过高,而H.266/VVC能使得所需的带宽对半砍,让云游戏更丝滑顺畅,从而提高用户体验。

腾讯开源首款H.266播放器!专访背后“天团”腾讯多媒体实验室

朱斌说:“如果2D云游戏能玩了,那么VR的虚拟现实的云游戏也不远了。”

但H.266/VVC视频编码技术的应用价值远不止于视频文娱消费领域。朱斌举例说,比如飞机驾驶培训中用到的模拟仿真、远程医疗中的远程做手术、VR远程教育等,这些对带宽要求高的应用都将受益于H.266/VVC视频编码技术。

腾讯开源首款H.266播放器!专访背后“天团”腾讯多媒体实验室

可以预见,随着物联网时代的到来,最新一代视频编解码标准H.266/VVC也将带来新的应用爆发。

以腾讯为代表的中国公司越来越重视标准行业、多媒体压缩行业,从中也能看到腾讯对自身的业务战略布局。参与标准制定对于腾讯来说至少具有以下几大重要意义:

1、新标准的应用可以大幅降低腾讯和用户的带宽成本。腾讯与视频相关的应用非常多,包括微信、QQ的实时视频通话,腾讯视频、全民K歌等交互应用,以及疫情中开始上量的腾讯会议、智慧文旅等。没有视频标准技术方面的积累,腾讯全球视频相关业务的布局都有可能因知识产权方面的欠缺而陷入被动。

2、王者荣耀作为标准测试序列。之前的标准对于游戏场景不是那么重视,其中一个主要原因是因为参与公司的业务重点并不是游戏。因此,最终标准制定出来也不一定能够真正解决游戏业务的痛点。腾讯多媒体实验室把《王者荣耀》作为重点的场景推进去。一方面对电竞有好处,另一方面确保腾讯的重要应用场景可以得到新标准较好的支持。

3、新标准可以为腾讯带来专利保护。谈到视频压缩标准,就一定绕不开标准必要专利。腾讯参与国际视频标准制定,有利于形成竞争专利壁垒,也可以为拓展相关业务节省高昂的专利费。李翔认为,这也是“保护腾讯业务的必要武器”。

结语:中国智能产业需要底层技术突破

通过与来自腾讯多媒体实验室两位专家的对话,我们了解到中国企业在国际关键标准制定过程中越来越获得强大的话语权,做出贡献,而背后不仅是华人专业研发能力的比拼,也是意志情怀的战斗。这些在底层技术领域勤奋积累、据理力争来的存在感,也将在中国智能产业进程中起到重要推动作用。