智东西(公众号:zhidxcom)
作者 | 云鹏
编辑 | 漠影

如果今天你想买一副眼镜、一块手表或一支口红,大概率会点开手机上的某款购物App。

根据CNNIC数据,在中国目前10亿多网民中,网购用户数已经超过8亿人,线上购物已经成为老百姓生活的常态之一。

但随着消费升级,我们逐渐意识到,线上购物并非“万能”,对于一些现在年轻人青睐的轻奢品和奢侈品,单纯的“看一看”、“点一点”,很难让人下定决心购买,大部分人只有真正用过、体验过才会做决策。

而今天,字节跳动旗下的火山引擎AR团队正在用一种“AR Try-on(AR试穿试戴)”的方式来破解这一困局。

背靠抖音超6亿日活用户,火山引擎如何用AR改写“新消费时代”玩法?

从各类奢侈品品牌的帽子、眼镜,到豪雅的保时捷限定款手表,你都可以通过一部普通手机,获得接近真实穿戴效果的视觉体验,甚至连手表表带的材质纹理都看的一清二楚,眼镜镜片还能模拟真实环境光线照射效果。是不是有些不敢相信?

在中国传统七夕佳节期间,火山引擎联合抖音电商以及多家头部奢侈品品牌,将这种体验带到了我们的实际生活中,让每个人都可以感受到技术给购物体验带来的颠覆性改变。

这样的“神奇”体验究竟是如何实现的?带着疑问,此次智东西与火山引擎AR团队核心业务及技术负责人进行了深入交流,对AR试穿试戴体验背后的黑科技,以及火山引擎AR团队关于新消费的思考进行了深入探讨,试图揭秘火山引擎在零售行业中拥有的AR终极秘密武器。

一、手表指针会跳动,帽子“藏好”头发,AR真实感爆棚

背靠抖音超6亿日活用户,火山引擎如何用AR改写“新消费时代”玩法?

在我们的印象中,类似“AR试穿”、“AR试戴”这样的功能在电商平台上出现,并非第一次。比如在口红这样的品类中,用户已经可以通过AR试妆来模拟涂抹口红后的唇部效果。

但实际上,在当时的技术条件下,实际体验往往差强人意,“口红涂歪”、“颜色不正”等都是比较要命的问题。

在火山AR看来,一个产品和技术落地,需要“天时地利人和”,从市场对于技术的认知度、技术能够支持的实际体验效果,到商业化模式的探索,可以说缺一不可。

而今天,随着各类VR/AR产品走入我们的生活中,AR技术不断被大众所认知,AR技术经过近年的快速迭代也解决了不少关键难题,AR技术在消费端的应用无疑到了一个关键节点。

现在,我已经可以在抖音上试戴手表、项链这样的复杂饰品,就连帽子、眼镜这样有明显“空间体积”的商品,也可以进行试戴,而不再局限于一个个平面“特效”或者“滤镜”。

在我的实际体验中,火山引擎提供的AR Try-on功能给我带来了不少惊喜。

比如在我试戴豪雅的手表时,手表的指针会同步我们现实中的真实的时间,并且指针会随着时间而跳动。

背靠抖音超6亿日活用户,火山引擎如何用AR改写“新消费时代”玩法?

就是这样一个小小的细节,立刻让商品真的“活”了起来,手表的真实感显著增强,不再局限于一个静态的3D模型。

同时,在试戴过程中,手表对于手腕转动的跟随非常及时,角度也很准确,即使部分区域被遮挡了,也能准确识别左右手并进行正确的佩戴。

接下来我还尝试了另一个知名奢侈品牌的产品,在我试戴眼镜时,我发现眼镜的镜片会真实呈现“镜子”的效果,在头部摆到不同位置时,镜片中映射出的画面并不相同,就像我们在现实世界中一样。

这种细节的增加,可以很好地模拟用户在真实场景中佩戴的效果。此外,在不同的倾斜角度下,眼镜都可以与头部保持一个正确的位置姿态,毫无“违和感”。

在体验帽子佩戴的过程中,我特别留意了“发梢”的控制,因为如果帽子无法很好的遮住头发,就会破坏画面的“真实感”,有些“出戏”的效果。

火山AR能够实现比较准确的发梢边缘控制,整个帽子可以比较好地遮住头发,并且在不同角度呈现出贴近真实的视觉效果。

整体来看,火山引擎AR团队的确实现了让我们足不出户体验奢侈品大牌产品的想法,并且对于“真实感”、“跟随性”和“自由度”方面的打磨可以说花了不少心思。

可以说,他们的AR Try-on能力能够真正解决线上购物中的一些实际痛点,让类似豪雅这样的头部奢侈品品牌用户获得更好的线上购物体验,同时给品牌带来积极的价值。

二、自研算法引擎、3D引擎、物理引擎,为“真实感”拼了

在这些极具真实感的AR体验背后,是火山引擎众多自研算法的加持。

比如如何让帽子很好的“包住”头发,不露发梢,但同时又贴合头部实际轮廓?

在深入交流中我了解到,这背后,包含了火山AR自研的图像分割算法、人脸关键点检测等技术,通过这些技术,系统可以准确区分帽子和头发,从而隐藏帽子外沿的头发,并将帽子边缘进行图像修复,实现自然的过渡。

背靠抖音超6亿日活用户,火山引擎如何用AR改写“新消费时代”玩法?

其实简单的方法不是没有,比如将所有用户都“剃成光头”,再将帽子带上去,但显然这样的佩戴效果是缺乏真实感的,也无法做到“个性化”的视觉效果。

不只是头部,火山引擎AR自研的算法引擎可以准确识别五官和人体轮廓,通过运动估计、3D重建等多种计算机视觉技术的应用,可完成对位置、姿态、网格等语义信息的有效提取,实现多视角实时试戴,同时保证静态场景的稳定性和动态场景下的实时跟随性。

实际上,要实现真实自然的AR试穿试戴体验,背后是众多技术的整合协同,而非几个单点技术的应用,因此整个AR算法的链路会更加复杂,技术挑战更高。

同时由于AR Try-on要面对的是琳琅满目的真实商品,因此研发人员要保证算法具有足够高的鲁棒性、稳定性,以及能够实现准确的动态跟随的能力,从而让算法针对不同的人群和不同的商品都能有很强的适配效果。

此外,AR Try-on还针对性能进行了极致优化,保证算法在不同平台上都能有流畅运行的体验,简单来说,就是体验不卡顿、手机不发烫。

值得一提的是,在实现某个AR效果的同时,火山引擎还需要考虑算法的普适性,比如应用在抖音中,算法就要面对超6亿级别的日活用户,这些用户使用各种各样的手机,算法至少要保证主流手机都能实现几乎相同的试穿体验。

因此,算法能效的优化、算法对于硬件调度策略的优化都是研发人员需要解决的问题。

背靠抖音超6亿日活用户,火山引擎如何用AR改写“新消费时代”玩法?

再来看看解决手表佩戴准确性方面,火山引擎是如何实现“3D手腕挂载”的。为了保证算法预测的稳定性、挂载物与手腕的贴合性和跟随性,火山引擎自研了一套能在移动端实时运行的三维手腕建模算法,来满足各种场景下的手腕挂载需求。

此外,为了保证运动过程中的准确跟随,火山引擎AR采用了运动补偿和运动估计等算法,保证在连续运动和极端角度下,试戴效果都可以比较稳定。

值得一提的是,除了自研算法,火山引擎为了实现更好的AR穿戴真实感,自研了3D引擎和物理引擎,可以说将底层关键技术都把握在了自己手中。

目前,市面上的各类3D引擎主要偏向游戏场景的应用,而AR场景用到的3D引擎,需要做针对性优化来适应业务形态,比如要做到轻量级、能够很好地适配移动端、Web端甚至PC端的应用,这也是火山引擎要亲自下场的原因之一。

背靠抖音超6亿日活用户,火山引擎如何用AR改写“新消费时代”玩法?

现在火山引擎已经有了自己的3D建模、设计及特效交互团队,他们自研的3D引擎,可以快速完成对数十种材质的细节处理,如高光、反光、半透明等等,从而保证整个AR“系统”对产品的准确还原。

此外,针对内外部环境下的不同光线、角度、反射等环境条件,火山引擎还进行了特殊优化,让产品最终呈现在我们眼前的效果更自然和真实。

值得一提的是,针对一些复杂的饰品,火山AR还专门搭建了能够覆盖多种端侧设备的物理引擎,能够很好地完整还原用户运动过程中饰品的垂坠感和晃动感,这样的体验,对于手链、项链这类产品来说非常重要。

为了满足不同客户的需求,火山引擎还将自己的AR能力变得“可定制”,能够根据不同的需求进行调整,比如有些品牌注重产品材质的展现,他们就可以让算法能够更好地展现材料的质地、光泽等特性。

据了解,这些火山引擎自研技术早已在抖音中进行应用,并获得了不少积极反馈,而在抖音之外,火山引擎的AR能力也已经落地了不少客户的自有平台,包括微信、品牌官网、小程序等等。这些实际应用案例都成为了AR算法迭代优化的推动力,形成了良性业务闭环。

背靠抖音超6亿日活用户,火山引擎如何用AR改写“新消费时代”玩法?

三、不止于“AR试穿试戴”体验,全链路方案瞄准广阔消费赛道

在这些极具真实感的体验和深厚的技术积累背后,AR能力给行业带来的改变已经不再有明确的To C或To B的界限。实际上,这样的AR技术对于消费者和品牌是会同时产生价值的。

对于我们普通消费者来说,购物体验的提升是最为直观的,我们可以“亲身试穿”更多平时不方便实际穿戴的产品。而对于品牌来说,AR Try-on技术可以在传递品牌价值的同时为品牌带来实打实的转化率提升,以及零售业务表现的改善。

在与火山引擎AR团队深入交流的过程中我们了解到,他们要做的其实不仅仅是提供一个AR技术,实现某一种AR体验,而是要围绕自身AR能力提供一条完整的全链路解决方案,真正帮助品牌、厂商解决实际业务中的痛点、实现业务效率的提升。

背靠抖音超6亿日活用户,火山引擎如何用AR改写“新消费时代”玩法?

在试穿试戴场景中,火山引擎可以提供AR Try-on 能力以及针对AR场景的数据展示及分析工具,作为品牌评估价值的指导,并可以针对数据归因做链路优化和改善;而在营销场景中,他们可以提供包含从用户分析到营销策划、创意设计,到AR能力到运营策略,以及数据展示及分析的完整营销体验方案。

对品牌来说, AR的应用可以很好地打通线上和线下场景,实现转化的提升和成本的降低,同时真正让消费者可以实际体验产品、形成直接触达,从而提升转化率、降低退货率,这种“降本增效”的作用是十分明显的。

举个简单的例子,以前我们都见过品牌做AR营销,比如通过一些AR特效让用户参与一些活动时获得比较好的体验感,但今天,品牌可以直接将自己的商品做到AR营销活动中去,真正让商品本身得到传播和曝光。

再比如,品牌可以提供有趣的AR互动玩法,这样我们在体验产品的同时,也会大概率主动地将产品互动视频与朋友或者家人分享。

尤其抖音的视频生态也可以说是一种无形的“营销放大器”,作为很好的传播平台,引发更多潜在用户对于品牌产生兴趣。与此同时,品牌也会因为提供了更新颖、更具潮流、科技感的购物体验,而获得更多年轻用户群体的关注,进而提升品牌的价值。

背靠抖音超6亿日活用户,火山引擎如何用AR改写“新消费时代”玩法?

其实,这种不局限于“AR卖货”的思考方式,也源自于生态的影响。抖音生态毫无疑问是火山引擎AR独特的优势所在。

与传统的电商平台不同,抖音是做“内容”起家的,更在意用户粘性以及更多新颖玩法的设计,火山引擎也更加注重将AR能力做全链路的设计,如何通过AR能力为品牌做更大声量、更大影响力的活动,是他们思考的重点方向。

这也是火山引擎AR的独特差异化竞争优势之一。

此时,如果我们将目光放得更广,就会发现,在整个零售行业的链条中,还有很多环节都是AR可以参与融入的,甚至不仅局限于线上购物。

背靠抖音超6亿日活用户,火山引擎如何用AR改写“新消费时代”玩法?

比如在线下商场,对于一些奢侈品、一些不方便用户直接试用的产品,我们都可以通过AR的形式增加用户的实际体验感,而对于一些紧俏的缺货商品,AR试穿试戴同样有用武之地。

比如今天对于很多小体量的潮流品牌,AR试穿试戴可以快速地让他们获得实际产品的穿戴效果,并获得用户的实际反馈,进而对他们设计的改进产生帮助,但同时又节省了很多线下实际操作的成本。

AR Try-on的应用甚至还可以延伸到供应链更上游。比如在一些服装鞋帽类产品的前期采购环节,品牌可以通过AR的形式将产品展示给经销商,避免经销商见不到实际产品难以决策的问题。

尤其在疫情仍未彻底结束的今天,线下大规模活动开展可能会受到影响,因此这种线上“实物”体验的AR形式,必然会拥有更广阔的应用场景,受到更多品牌的青睐。

可以说,面向B端零售市场,火山引擎AR给产业带来的想象空间是巨大的。全链路的AR营销方案,可以围绕人货场将品牌供应链的各个环节串联起来,提升效率,形成正向的收益,真正为客户带来利益。

在我看来,这种“接地气”的思考方式,恰恰是火山引擎AR团队“靠谱”的表现。

结语:火山引擎AR黑科技给零售行业带来新玩法

从以前的各类AR视频特效,到今天逼真的AR产品试穿,我们能够清晰地感受到,AR技术正在落地的过程中走的更加“脚踏实地”,真正让用户体验得到改善,让品牌能够从中获益。

今天,字节跳动毫无疑问已经迈上了更多B端赛道,火山引擎在AR领域的布局,也是字节众多硬核技术对外赋能的具体表现之一。而火山引擎的AR能力是否会成为搅动新消费赛道的新变量,答案即将揭晓。