对话Imagination高管:移动光追GPU技术详解,看好车载RISC-V CPU应用

芯东西(公众号:aichip001)
作者 |  ZeR0
编辑 |  漠影

2023年一开年,全球第四大半导体IP供应商Imagination便推出了其D系列的首款移动GPU产品——IMG DXT,其多种配置能够满足从主流、高端到旗舰设备的图形处理需求。

IMG DXT主要面向手机游戏,通过提供可扩展的移动光线追踪技术、可变速的着色技术及更高能效,展现出其在移动GPU IP领域的技术领先性。据介绍,DXT的Photon架构是目前唯一达到光追系统(RTLS4级的光追设计,无论RAC如何配置,其光追解决方案都能达到4级。

值此时机,芯东西等多家媒体与这家知名IP供应商进行深入交流。多位来自Imagination总部及中国区的高管,在详细解读IMG DXT的技术优势之余,还分享了对半导体IP发展趋势的研判以及在中国的生态建设进展。

一、累计专利超3000项,坚持投入RISC-V研发

近年来,芯片开发成本快速攀升,芯片设计者对第三方IP的需求不断增长,以此加快研发进度,节省费用、时间和机会成本。

Imagination在移动GPU开发方面已经有近30年的经验积累,并于2021年推出并授权了首个移动光追GPU,在半导体IP市场根基深厚。随着摩尔定律趋于失效,异构计算和Chiplet日渐盛行,这也是Imagination布局的重地。

据Imagination技术产品管理高级总监Stephen Barton分享,在设计B系列GPU时,Imagination就已经做了使其能更好适应未来Chiplet中的应用的相应设计,这样的设计理念和思路也会延续到最新推出的D系列以及后续的新GPU产品中。

Imagination的主要产品有四大类,除了闻名业界的GPU IP外,还有CPU、AI神经网络加速器、以太网处理器EPP产品线。其中AI神经网络加速器已在中国拥有十几家客户。

对话Imagination高管:移动光追GPU技术详解,看好车载RISC-V CPU应用

迄今Imagination已拥有超过3000多项专利和申请,其中GPU基础专利最多,涉及内存和参数管理、延迟渲染和图像压缩、功能安全等等。

值得一提的是,与Arm、RISC-V同根同源的精简指令集架构MIPS,曾归属于Imagination。2017年,Imagination被Cambridge基金100%收购,收购前MIPS业务被剥离出去,但Imagination仍拥有很多CPU方面的专利技术。

此外,Imagination也在持续投入RISC-V的研发,将其成果应用于其产品线中。例如其DXT新品使用了遵循RISC-V协议的固件处理器,能实现40%的固件性能改善,该固件已在其汽车GPU BXS系列产品中得到验证。受益于RISC-V的电源域特征,IMG DXT把重点放在降低空闲功率关闭不使用的GPU部分和优化随机工作负载性能上。

Imagination首席营销官David Harold相信,RISC-V一定会带来颠覆性的变化,只不过这个过程需要时间,可能是十年后,他希望GPU IP可以成为诸多RISC-V架构的首选。

“我们认为最先到来的RISC-V大规模应用场景,一定会是汽车行业。”他谈道,汽车行业已经越来越多地应用RISC-V架构的CPU,Imagination的第一家RISC-V客户便是车企。

过去三年,Imagination有了新的CEO及管理层,并制定了新的公司整体战略及中国区战略,两年间中国员工人数增长接近60%。其新战略聚焦四大应用领域:移动、消费、汽车、数据中心

在中国,Imagination持续加大生态建设,从整机厂到游戏厂,与各类合作伙伴进行一些相互交叉的开发工作。其生态团队也在中国周期性、规律性地举办各种培训以及Workshop。

对话Imagination高管:移动光追GPU技术详解,看好车载RISC-V CPU应用

David Harold告诉芯东西,Imagination注意到,中国市场对桌面端和数据中心端的GPU IP需求明显高于其他国家,并朝向高端需求发展。他透露说,Imagination围绕这些方向进行的很多开发,完全是为了满足中国市场的高端需求。

“我们也发现中国的客户把我们的GPU和RISC-V CPU整合到一个SoC里面,这对我们来讲是相当值得兴奋的,期望有任何进行包含RISC-V CPU的SoC开发客户都可以首选考虑我们的GPU。”David Harold说。

二、移动GPU黄金搭档:光追+FSR,以更小功耗实现更高帧率

据Imagination中国区技术总监艾克分享,手机游戏有三大趋势值得重点关注:更真实的沉浸式体验、更强的性能、更低的功耗。

围绕这些趋势,Imagination设计了最新的IMG DXT产品。该系列不但可以加速诸如游戏后处理和计算图像学应用中的滤镜效果,其更高的吞吐量也有助于实现更快、更低功耗的降噪算法,提高光追画面的质量。

对话Imagination高管:移动光追GPU技术详解,看好车载RISC-V CPU应用

与上一代CXT相比,IMG DXT系列最大单核性能提升了50%,单位面积性能密度高出20%,同时大幅降低了功耗。与相同移动配置下的CXT相比,DXT能够将提供可用光追的面积成本降低40%

对话Imagination高管:移动光追GPU技术详解,看好车载RISC-V CPU应用

光线追踪主要解决让3D游戏场景中的光照更加贴近真实生活中的折射和反射,使画面细节更加真实,这需要很大的资源开销。现在,Imagination把这些光线追踪技术带到手机领域。

艾克将光线追踪系统分为五级。第一级光线追踪采用纯软件方式,第二级有更多光线碰撞反射技术,在市面上最为常见。第三、四级则加入相关性的分类、聚集和回溯功能。

对话Imagination高管:移动光追GPU技术详解,看好车载RISC-V CPU应用

以前光线追踪技术多用在PC和主机上,设备本身的带宽和能耗的要求能够得到满足,但到能耗和运算带宽限制较大的移动端就不行了。

擅长设计移动GPU的Imagination,提供的是第四级光追技术,通过把主要光追能力部署到硬件级别,将相同方向光线需要进行的计算进行整合,进一步节省开销,更好地兼顾移动端对提高性能和降低功耗的双重需求。

Imagination的光线追踪架构实现是RAC(光线加速集群),作为一个独立IP而存在。

对话Imagination高管:移动光追GPU技术详解,看好车载RISC-V CPU应用

IMG DXT有多种配置和性能,从节省面积的0.5 RAC配置扩展到高性能的4 RAC设计,分别可满足从追求单位面积性能的主流机、追求更高性能的高端机到追求高级光追体验和手机整体最优表现的旗舰机的应用需求。

对话Imagination高管:移动光追GPU技术详解,看好车载RISC-V CPU应用

IMG DXT支持Vulkan的片段着色率(FSR,Fragment Shading Rate)技术,将场景中的颜色绘制到帧缓冲器上。

FSR可在几乎不降低图像质量的前提下,减少片段着色器运行次数,并大幅提高图形性能,降低占用的带宽与功耗。节省出来的大量运算资源,则能为画面提供更精细丰富的内容渲染,在更小的芯片面积上实现逼真的灯光和阴影。

对话Imagination高管:移动光追GPU技术详解,看好车载RISC-V CPU应用

开发者可以控制FSR的使用力度,最极端的情况下,甚至可以对一个4×4的片段区域只执行一次着色器代码,使工作负载减少近94%,实现同等的功耗和带宽节省。

光追技术与FSR技术可以很好结合,没有开启FSR可能需要每帧6.9MRays的运算能力,而如果配上FSR计算,运算1或2次,细节表现更加真实,1帧画面只需3.2MRays的光数计算能力,配合可扩展的RAC,用更小的RAC就能够实现该场景下的游戏光追效果,从而带来更好的沉浸式体验。

对话Imagination高管:移动光追GPU技术详解,看好车载RISC-V CPU应用

许多先进的游戏依靠大量纹理取样实现高级过滤效果。对此,IMG DXT的纹理处理单元(TPU)内置有1个已获得专利的创新特殊模式,能够为这些后处理效果创建一条“快速通道”,在使双线性滤波性能几乎翻倍的同时,最大程度地减少面积的增加并降低整体功耗。

针对提高纹理和计算性能,IMG DXT搭载全新的着色器处理单元(SPU)。SPU是一个硅片,包含一个用于计算任务的算术逻辑单元(ALU)和一个用于像素着色、几何处理和光栅化逻辑的纹理处理单元(TPU)。

凭借全新三重通用着色器集群(USC)设计(3个ALU/TPU单元),IMG DXT将每个SPU的高端计算和纹理(ALU/TPU)性能提升50%以上,而以前的架构只侧重于双USC设计(2个ALU/TPU单元)。

基于这个改进后的模块,Imagination打造了最高性能的高端移动GPU——DXT-72-2304。这款旗舰产品1GHz时钟频率下具有72GTexels/s2.5TFLOPS FP32算力。

对话Imagination高管:移动光追GPU技术详解,看好车载RISC-V CPU应用

为了最大程度地提高带宽效率,IMG DXT还支持更多压缩技术,包括能够扩大纹理在明暗区域之间的动态范围、同时保留细节的Khronos ASTC HDR技术。

三、移动光追市场体量仍小,与生态伙伴合力扩圈

Stephen Barton认为,在移动端推广光线追踪技术,需要一个生态系统,硬件级别内置的光追能力不仅仅是能够在一两台机器上出现,而是能够触及大部分的终端市场,只有这样,游戏开发者才有动力开发更多带有光线追踪功能的游戏。

他推荐游戏开发者在现有游戏内容中逐步地加入光追的元素,随着市场越来越多地用上这些硬件级别支持光追的设备,再进一步增加光追内容,以实现画面质量的提高。

Stephen Barton将游戏开发者分为两类:一类是专门做3A大作,主要采用的方式是在Valkan扩展的形式,通过API接口连接应用光追技术开发;另一类更多采用Unity、Unreal或者O3DE这样的引擎。Imagination与O3DE展开合作伙伴关系,专门针对光线追踪进行优化。

无论采用Valkan扩展还是用自己的引擎去做,都绕不开需针对移动端进行大量优化。对于这一点,Imagination在2021年发布其CXT系列产品的同时也发布了相关的光线追踪工具,帮助开发者更轻松地完成对光线追踪技术的开发和部署。

“我们提供的SDK有很多代码示例,大家可以直接阅读,不需要手头有光线追踪设备来做相应的测试。”David Harold说,“我们的SDK可在桌面端通过模拟器看到光线追踪最终呈现的效果。”

目前移动光追的市场体量还很小。Imagination正与OPPO、腾讯、网易、完美世界等中国生态伙伴开展大量合作,进一步激发移动游戏开发商和原设备制造商(OEM)对这项技术的兴趣与投资。

对话Imagination高管:移动光追GPU技术详解,看好车载RISC-V CPU应用

OPPO软件技术规划总监Hansen Hong称赞IMG DXT为在所有智能手机产品上实现领先、逼真的画面开辟了新的可能性,让更多移动游戏玩家能够享受到光追与FSR。“我们期待着与Imagination一起扩展O3DE移动渲染器,使开发者能够充分利用这项改变行业格局的开源技术。”

腾讯游戏天美工作室群技术专家李锐认为,移动游戏所面临的一个重大难题是将所有处理能力装入小面积的硅片,Imagination已率先在移动设备上进行了光追革命,全新DXT GPU的推出标志着能够将PowerVR架构扩展到面积更小的硅片上,实现图形输出的最大化。

在腾讯游戏光子工作室群技术中心专家工程师黄健聪看来,光追是游戏图形和渲染方面最值得期待的技术,它使开发者能够设计和创造出高度逼真的世界。他相信新推出的IMG DXT将帮助开发者在有限的功耗范围内创造出更好的画面体验。

网易游戏高级技术专家林祁斛称,网易已经与Imagination一起优化了网易在Messiah和其独家引擎NeoX上运行的游戏,希望通过与Imagination的密切合作,使开发者最大程度地发挥PowerVR的高性能与高能效,并让更多人借助移动光追技术能够享受到身临其境的游戏体验。

多人移动游戏供应商Carbonated Inc首席执行官Travis Boatman亦分享说,实时PVP操作需要在智能手机有限的功耗范围内也不会影响画面体验的高效率、高性能GPU架构。他相信全新DTX GPU将提供业内领先的可扩展移动光追,使开发者无论是在主流设备,还是在旗舰设备上都能提供高水准的3D画面。

结语:手游光追革命枪响,硬件加速箭在弦上

移动游戏的可及性和即时性,促使它成为当今和未来最大的游戏平台。随着许多PC和主机游戏向移动平台迁移,这对移动设备在有限功率范围内提供的性能提出更高要求,曾经仅在高端PC游戏领域盛行的光追技术也逐渐渗透到移动端。

光线追踪正在彻底改变沉浸感。ABI Research首席分析师Michael Inouye认为,Imagination正在引领移动GPU方面的创新,通过其Photon光追架构为高端图形处理技术的变革铺平道路,DXT GPU是该领域一款值得关注的强大产品。

近年Imagination一直在推动移动光追的应用并推动整个生态的发展,挖掘其在智能手机游戏、扩展现实(XR)、机器人等需要兼顾高性能和高效能的领域的巨大潜力,并与汽车、桌面和数据中心领域的主要合作伙伴进行沟通。

随着IMG DXT GPU推出,移动设备制造商能够根据自己的设计目标,更灵活地将硬件级别光追技术集成到其系统级芯片(SoC)中。待移动光追技术铺开到更多主流机型,市场覆盖率进一步增加,更多手游玩家享受到优质的游戏画面。