新加坡南洋理工大学博士蔡雨君:应用于姿态预测补全的人体动作生成模型 | AI新青年讲座

「AI新青年讲座」将邀请世界顶尖AI研究机构和大学的科研新青年,主讲他们在计算机视觉、机器学习等人工智能领域的最新重要研究成果。

AI新青年是加速人工智能前沿研究的新生力量。AI新青年的视频讲解和直播答疑,将可以帮助大家增进对人工智能前沿研究的理解,相应领域的专业知识也能够得以积累加深。同时,通过与AI新青年的直接交流,大家在AI学习和应用AI的过程中遇到的问题,也能够尽快解决。

有兴趣分享学术成果的朋友,可以与智东西公开课教研团队进行邮件(class@zhidx.com)联系。

生成具有指定动作、合理且逼真的人体一直是计算机视觉中广泛探索且具有挑战性的任务。然而由于不同的运动合成任务有不同的目标和期望,很多方法仅限应用于一种类型的运动合成任务,或者使用不同的方法来解决各种任务。

为了使人体动作合成任务有一个统一的框架,在不同的情况下都能生成逼真且有意义的结果,新加坡南洋理工大学博士蔡雨君等人研究了影响动作生成的因素,提出一种基于条件变分自动编码器的人体运动生成模型UVAE-PoseSynthesis,它具有两条并行路径,每条路径都由一个编码器和一个解码器组成,将任意的输入视为蒙版运动序列,根据输入条件估计缺失区域的潜在分布,从中采样和合成完整的运动序列。

为了增强合成序列的真实性和全局一致性,蔡雨君博士等人还在编码器与解码器特征之间引入交叉注意力机制,利用输入姿势和输出姿势之间的关系,重建原始运动序列。同时模型在解码器引入动作自适应调制,来使整个序列按照语义生成不同的运动风格。

蔡雨君博士等人在Human3.6和CMUMocap两个数据集上进行了广泛的实验,结果表明,UVAE-PoseSynthesis能为各种运动合成任务产生连贯且逼真的结果。

8月12日上午10点,「AI新青年讲座」第146讲邀请到新加坡南洋理工大学博士蔡雨君参与,主讲《应用于姿态预测补全的人体动作生成模型》。

讲 者

蔡雨君,新加坡南洋理工大学博士,主要研究方向为基于视觉的行为分析,如姿态估计,姿态生成,动作识别等。在CVPR, ECCV, ICCV, NIPS等会议上发表多篇文章。

主 题

应用于姿态预测补全的人体动作生成模型

提 纲

1、人体姿态问题的研究
2、动作生成局限性分析
3、人体动作生成模型的构建
4、在姿态预测补全上的应用

直 播 信 息

直播时间:8月12日10:00
直播地点:智东西公开课知识店铺

成 果

UVAE-PoseSynthesis:《A Unified 3D Human Motion Synthesis Model via Conditional Variational Auto-Encoder》
论文链接:https://yujuncai.netlify.app/files/2021ICCV.pdf
开源代码:https://github.com/vanoracai/A-unified-3d-human-motion-synthesis-model-via-conditional-variational-auto-encoder