vivo自研ISP芯片全解读:超300人24个月研发,效率指数级提升

芯东西(公众号:aichip001)
作者 |  云鹏
编辑 |  心缘

芯东西9月6日消息,vivo今天在一场影像技术分享会上正式介绍了自家的自研ISP芯片V1,并分享了vivo与蔡司联手在手机光学镜头、拍照算法技术方面的新突破。

vivo自研ISP芯片全解读:超300人24个月研发,效率指数级提升

vivo影像产品经理王兆丰说,夜景、变焦、运动防抖、视频等特性是vivo影像系统发力的重点方向。在手机拍照领域,“如今算法更重要还是硬件更重要?”是vivo此次抛出的核心问题。

在发布会结尾,vivo也预热称,9月9日他们的vivo X70系列旗舰手机将会发布,除了这次展示的新技术,vivo还会带来更多拍照技术方面的“惊喜”。

一、“等效32MB缓存”干翻台式CPU,将算法写到芯片里

vivo影像算法总监杜元甲说,消费者现在不光需要手机在常规场景下拍出好照片,也希望在一些高挑战性场景中拍出好照片,比如暗光、运动场景。

这些需求都对手机处理图像信息的能力提出了更高的要求。如今拍摄一段30帧视频,每帧图像允许处理器进行运算的时间仅有33毫秒。

vivo自研ISP芯片全解读:超300人24个月研发,效率指数级提升

除此之外,功耗也成了一大挑战:既要提升处理能力,又不能过多增加功耗。为了解决这个问题,vivo的思路是定制化芯片+自研算法结合。

vivo自研ISP芯片全解读:超300人24个月研发,效率指数级提升

其实此前vivo在引入定制芯片方面已经积累了一定经验:在vivo X1、X Play中,vivo就将定制Hi-Fi芯片放入手机,提升手机音频体验。到2017年,vivo将定制的DSP图像芯片放入到X9 Plus中,提升手机影像HDR表现。

此次,vivo组建了超过300人的研发团队,经过24个月研发,最终推出了V1 ISP芯片。杜元甲说,在这枚芯片的研发中,vivo也与手机SoC厂商进行了深度合作,但他并未透露具体厂商名称。

vivo自研ISP芯片全解读:超300人24个月研发,效率指数级提升

2019年,vivo曾与三星联合研发了Exynos 980 5G SoC,据称今年vivo也将在X70系列旗舰中使用三星Exynos 1080 SoC,可见vivo和三星一直以来都保持着良好的合作关系。

因此我们推测此次vivo ISP芯片的合作厂商,大概率是三星。

vivo自研ISP芯片全解读:超300人24个月研发,效率指数级提升

V1是vivo自研的第一颗影像芯片,可以搭配不同的主芯片和屏幕,可以扩充ISP算力、释放主芯片ISP负载。

这枚V1芯片在特定图像处理任务时,在性能、延迟、功耗等方面具有优势,杜元甲说,相比CPU、DSP等芯片,V1处理特定任务的效率有“指数级提升”,也可以完成数据的并行处理。

vivo自研ISP芯片全解读:超300人24个月研发,效率指数级提升

vivo优化了数据在芯片内部的储存架构和高速读写电路,实现了等效32MB的“片上高速缓存”,读写速度可以达到35.84Gbps,而目前主流旗舰级台式机CPU的高速缓存也仅有16MB左右。

vivo自研ISP芯片全解读:超300人24个月研发,效率指数级提升

那么V1这样的优化有怎样的效果呢,在夜景拍摄中,去噪、插帧等这类对算力需求较大的算法都可以应用进来。在V1辅助下,主芯片可以实现1080P 60帧的夜景视频降噪、插帧。

在V1的加持下,主芯片可以在低光录像时,以低功耗运行4K 30FPS的MEMC去噪和插帧,这辅助并强化了主芯片在夜景下的影像效果,配合主芯片ISP原有的降噪功能,实现二次提亮二次降噪。

vivo自研ISP芯片全解读:超300人24个月研发,效率指数级提升

值得一提的是,vivo通过将软件算法转移至V1的专用硬件电路中,让复杂的计算成像功能在默认拍照和录像预览下即可开启。

在高速处理同等计算成像算法时,相比软件实现的方式,V1的专用算法硬件电路功耗降低了50%。

这也就是vivo所说的“硬件级算法”。

二、蔡司镜片加持,良品率不到60%也要死磕

vivo光学器件总监朱盼盼说,去年vivo与蔡司达成了合作,从镜片、镜头到滤光片,vivo都联合蔡司进行了创新。

他提到,眩光、鬼影、边缘画质差等问题仍然是如今手机拍照的普遍痛点,而这些问题的解决都需要光学器件性能的提升。

vivo通过使用高规格玻璃镜片补足了传统塑胶镜片的缺点,朱盼盼特别提到了“阿贝数”这一性能指标,vivo的玻璃镜片阿贝数达到了Vd 81.6,相比上代设计视场色差降低约70%。

vivo自研ISP芯片全解读:超300人24个月研发,效率指数级提升

得益于新型玻璃镜片的使用,镜片中心的透光率达到了95%,相比传统镜片提升了2%。

vivo自研ISP芯片全解读:超300人24个月研发,效率指数级提升

当然,使用玻璃镜片面临许多挑战,比如工艺复杂、良率低,据称这次vivo的玻璃镜片工艺步骤有11道,每100片中才能挑选出60片良品。同时,vivo通过AOA工艺,实现了镜片的动态调整。

vivo自研ISP芯片全解读:超300人24个月研发,效率指数级提升

为了解决眩光、鬼影等问题,vivo采用了SWC镀膜技术,将镜片表面反射率降低至0.1%,而此前这一数值为0.8%,降低了90%。其核心是在镜片表面上做出“纳米级纹路”。

vivo自研ISP芯片全解读:超300人24个月研发,效率指数级提升

另外,vivo通过ALD镀膜工艺,让镜片上形成0.4nm均匀分布的光学膜层,从而使反射率均匀值到达0.25%左右。朱盼盼特别提到,这些工艺已到达成熟量产阶段。

vivo自研ISP芯片全解读:超300人24个月研发,效率指数级提升

为了解决“花瓣鬼影”问题,vivo通过色素旋涂技术,更好地实现了蔡司T*镀膜,可以提升红光的吸收率,从而改善眩光和鬼影问题。

vivo自研ISP芯片全解读:超300人24个月研发,效率指数级提升

去年vivo和蔡司成立了联合影像实验室,朱盼盼说,蔡司的团队给了他们非常大的帮助。

三、联手蔡司定义新色彩标准,深度神经网络赋能拍照算法

王兆丰继续介绍了vivo在拍照软件算法层面的突破,vivo通过三年10款机型的打磨,形成了自己一套成像色彩风格。

不过专业的创作者,更偏向于还原人眼看到的真实色彩,为此,vivo与蔡司联手打造了“蔡司自然色彩”色彩标准。

vivo自研ISP芯片全解读:超300人24个月研发,效率指数级提升

vivo在P3色域基础上,选择了140色卡指定色彩标准,与蔡司共同制定色彩标准,为了适应更加精细的色彩标准,vivo在粗调试中增加了色彩映射矩阵算法,将调试参数增加到384个。

通过这些调试,vivo将照片色相准确度提升了约15.5%。

vivo自研ISP芯片全解读:超300人24个月研发,效率指数级提升

另外vivo选择“复刻”蔡司Biotar镜头提升人像拍摄的效果,但是复刻需要解决不少难题,比如Z方向景深的模拟、XY方向像场的变化、还原镜头光斑。

vivo自研ISP芯片全解读:超300人24个月研发,效率指数级提升

在这其中,vivo通过深度卷积网络,学习了28W张人像分割照片、10W张手势分割图片;另外vivo建立了虚化模型,实现3D-POP虚化效果。

vivo自研ISP芯片全解读:超300人24个月研发,效率指数级提升

在还原镜头光斑形状方面,vivo通过散焦滤波核生成技术,对不同镜头的光斑进行更真实的模拟。

vivo自研ISP芯片全解读:超300人24个月研发,效率指数级提升

除了这些算法之外,vivo在人像拍摄、延时摄影、10bit Log视频拍摄、超级夜景等方面也进行了优化。

vivoRAWHDR3.0算法,提升了夜景拍摄样张的色彩表现,通过SuperRAW功能,实现了14bit色深,最大支持10帧合成。

vivo自研ISP芯片全解读:超300人24个月研发,效率指数级提升

结语:手机拍照领域,硬件软件结合加深

在自研ISP芯片V1、定制光学镜片、提升镜片加工工艺的同时,vivo也在算法上继续打磨,联合蔡司进行调教。

可以看到,算法的实现需要出色硬件的辅助,随着如今图像数据量增加,图像画质要求提升,算法对于硬件性能要求也“水涨船高”,自研ISP芯片无疑成为了厂商们找到了一个新的突破口。

小米、vivo纷纷推出自研ISP芯片,OPPO的自研ISP芯片也正在路上,如今在手机拍照领域,硬件+软件“两条腿走路”已经成为了大趋势。未来我们也期待厂商们能在芯片层创新上带来更多突破。