瞄准存内计算未来!新型存储器ReRAM走红半导体顶会

芯东西(公众号:aichip001)
编译 |  张昀
编辑 |  高歌

芯东西3月28日消息,据EE Times ASIA 3月24日报道,ReRAM(可变电阻式存储器)的特性使其在人工智能、存内计算和旨在模仿人脑的应用程序中具有显著优势,成为下一代内存的主要竞争者。

ReRAM是电阻式随机存取存储器,它可以将DRAM(动态随机存取存储器)的读写速度与SSD(固态硬盘)的非易失性结合于一身,功耗更低、读写速度更快。ReRAM多用于神经拟态计算(类脑计算),算力高、功耗低;但它还未完全成熟,也面临着相变存储器(PCM)和铁电随机存取存储器(FRAM)等其他存储器的竞争。

一、“潜力股”ReRAM:可提供高密度非易失性存储和高效存内计算

ReRAM多用于类脑计算,甚至成为了类脑计算的代名词。密歇根大学教授Wei D.Lu称,因为ReRAM可以自己执行学习和推理功能,所以ReRAM阵列应用在存内计算架构时很有潜力。ReRAM还支持双向数据流,而更大的神经网络使用具有平铺MPU架构的模块化系统来提高吞吐量。

去年,电子领域顶会IEDM(国际电子器件大会)汇集了有关推进各种内存类型的最新研究论文,很多人都致力于研究如何改进存内计算、人工智能、机器学习以及类脑计算。

美国密歇根大学至少十年前就已经开始开发ReRAM原型了。该大学电气工程和计算机科学系教授Wei D.Lu说道,ReRAM具有提供高密度非易失性存储以及高效存内计算的潜力,而且支持ReRAM的加速器能够突破冯·诺伊曼计算架构的瓶颈。教授Wei D.Lu在IEDM发言时概述了一些器件,讲了通过并行计算来处理大的AI模型,还谈到了边缘计算应用程序的功率、延迟和成本问题。ReRAM还能支持双向数据流,有更好促进存内计算的潜力。

目前,具备并行计算能力的CPU在内存方面仍会遇见问题。虽然GPU可以允许更快的内存访问,但教授Wei D.Lu称,需要一种从根本上提高吞吐量和计算效率的新计算架构。内存保护单元(MPU)可以显著提高并行性,还能将内存与逻辑放在一起,从而实现设备级计算并更好地促进存内计算。

瞄准存内计算未来!新型存储器ReRAM走红半导体顶会

▲MPU促进存内计算(来源:密歇根大学)

二、ReRAM仍面挑战,PCM也可改善存内技术

教授Wei D.Lu称ReRAM器件还未成熟,它还面临三个关键挑战:一是基于高精度模数转换器的读出电路;二是器件的非理想性,包括受单元间变化的器件的影响;三是ReRAM设备中非线性的以及不对称电导更新后会严重降低训练的准确度。

三个挑战有各自的解决方案。第一个挑战的解决方案包括使用多范围量化和二元神经网络。教授Wei D.Lu称,解决第二个挑战可以使用2T2R架构实现二进制权重或者采用有架构意识的培训,这也有助于应对第三个挑战。混合精度训练可以通过较低精度格式训练大型神经网络,来提升性能和计算,这也可以解决第二个和第三个挑战。

除此之外,PCM也能改进存内计算。IBM欧洲研究室(研究中心)一直在探索使用PCM来解决模拟存内计算的温度敏感性问题。IBM Research存内计算小组成员Irem Boybat说道,随着人工智能神经网络的蓬勃发展,计算机的计算效率问题还有待解决。深度学习是计算密集型的,如果人工智能要可持续发展,就必须采用颠覆性的新计算机范式。

Boybat还说道,语言模型的规模呈指数级增长。根据他的说法,大量数据会从内存传输到处理单元,这种情况不仅会加大传输成本,而且会留下大量碳足迹。

模拟存内计算通过在内存执行某些计算任务来模糊内存和处理之间的界限,并通过内存设备的物理属性来实现。Boybat说道,PCM能够以非常密集的方式存储信息并且其消耗的静态功率可以忽略不计。过去一年内,IBM Research公开了两款基于PCM的存内计算芯片,展示了基于PCM的存内计算潜力。

IBM Research存内计算小组还研究了“蘑菇型”结构(mushroom-type)PCM的温度敏感性。另外,根据放置在芯片下方的电阻加热器及其温度,预计芯片在30摄氏度到80摄氏度范围内不会出现滞留问题。

IBM Research的实验研究了温度变化和漂移对用于存内计算的多级PCM的影响。在IBM Research AI Hardware Center(IBM研究院AI硬件中心)的支持下,IBM Research的研究团队发现,尽管PCM表现出与电导相关的温度敏感性,但在电导状态应用的时间-温度曲线中,其归一化分布保持相对恒定。该研究团队还开发了一个可靠的统计模型来探究温度对漂移和电导的影响,并根据PCM电导测量对其进行验证。

该研究团队使用超一百万个PCM设备证明:在33摄氏度到80摄氏度的环境温度变化下,用简单的补偿方案有可能实现并保持各种网络的高推断精度。

三、基于ReRAM的类脑计算:速度每三个月翻一番

人工智能计算的使用增加使得受大脑启发的硬件对于人工智能的发展至关重要。以Liu Ming为代表的中科院微电子研究所和复旦大学的研究人员们介绍称,人工智能计算使用速度推动了基于ReRAM的类脑计算(BIC)工作。实现类脑计算的方式包括存内计算和神经拟态计算。

Liu Ming说道,基于ReRAM的类脑计算速度每三个月就可以翻一番。新的存内技术可以在短期内增强现有的层次结构,但是类脑计算能在中长期突破冯·诺伊曼计算架构瓶颈。

瞄准存内计算未来!新型存储器ReRAM走红半导体顶会

▲类脑计算可中长期突破冯·诺伊曼计算架构瓶颈(来源:中科院微电子研究所)

类脑计算模型包括人工神经网络(ANN)和脉冲神经网络(SNN)等不同的神经网络模型。其中,ANN能够处理空间域中的连续信号;SNN模仿了大脑的工作方式,更具生物可能性。Liu Ming称,ReRAM具有丰富的开关动态,可以支持大规模集成、低功耗外围设备和用于构建类脑计算芯片和系统的特定应用架构,为类脑计算提供了一个理想的平台。

ReRAM SNN将事件驱动表示并集成了多核结合的芯片,其计算密度高、能效高,能为高性能计算提供潜力,在低功耗下执行的芯片将成为现实。Liu Ming说道,在许多其他机构从模拟存内计算开始进行了十多年的研究之后,集成SNN多核将很快实现。然而,如果要开发适用于实际应用的类脑计算芯片,研究人员在架构层面仍有许多探索工作要做。

因此ReRAM在人工智能和类脑计算应用方面有着很大的潜力,不过它还面临着FRAM的竞争。IEDM同样关注磁阻随机存取存储器,2021年的IEDM中,有一整天关于磁阻随机存取存储器的会议和两个IEEE Magnetics Society(IEEE磁学会)的活动。

法国原子能委员会电子与信息技术实验室CEA-Leti,演示了世界上第一个基于FRAM的130nm 16-kbit阵列,并期望其商业化。超低功耗、高速、高耐用性且与CMOS兼容的BEOL FRAM存储器使用基于HfO2(二氧化铪)的新型铁电材料,该材料不含铅,比PZT(锆钛酸铅压电陶瓷)更环保。

FRAM的例子包括嵌入式应用程序,例如物联网设备和可穿戴设备。这项工作得到了欧盟3eFERRO联盟项目的支持,该项目旨在生产新的铁电材料,使FRAM成为物联网应用中具有竞争力的非易失性存储器候选者。

此外,尽管许多IEDM研究论文倾向于在人工智能、类脑计算和存内计算等前沿应用中使用新兴存储器,但推进现有存储器(如动态随机存取存储器)仍然是许多研究人员的重点。

在IEDM上,英特尔发表了多篇论文,包括规模改进和为芯片带来新功能。英特尔围绕混合键合互连的设计、工艺和组装挑战,提出了将封装互连密度提高10倍以上的目标。2021年7月,英特尔宣布推出Foveros Direct,它支持10μm以下的凸块间距,从而使3D堆叠的互连密度数量级提高。

IEDM的部分论文还探讨了英特尔如何通过堆叠多个CMOS晶体管的方法来应对预期的后FinFET时代,该方法旨在通过每平方毫米集成更多晶体管来实现30%到50%的逻辑扩展改进,以继续推进摩尔定律。推进摩尔定律的另一项努力包括研究利用仅有几个原子厚的新型材料,来制造克服传统硅通道限制的晶体管——使芯片单位面积增加数百万个晶体管,从而推动即将到来的“埃米时代”。

英特尔还概述了一项新研究:通过在300mm晶圆上集成基于GAN的电源开关与基于硅的CMOS,研究硅的新功能,这将实现CPU的低损耗、高速供电,同时减少主板组件和空间。这样新的先进封装和制造工艺或许会帮助现有存储器在人工智能等新兴应用上,释放新的发展潜力。

结语:ReRAM仍面临竞争

ReRAM作为当前类脑计算的主要载体,它在高密度非易失性存储以及存内计算方面都有很大优势。基于ReRAM的类脑计算还能在中长期突破冯·诺伊曼计算架构瓶颈,它支持多种不同的AI算法,具有算力高、功耗低的特点。

但同时,ReRAM并不完全成熟,它仍有器件非理想性、基于高精度模数转换器的读出电路等构成的问题;它还面临着PCM、FRAM的竞争。

来源:EE Times ASIA