智猩猩机器人新青年讲座由AI与硬科技知识分享社区「智猩猩」全新企划，致力于邀请全球知名高校、顶尖研究机构以及优秀企业的青年学者，主讲在具身智能、强化学习、多智能体系统、建模仿真等机器人关键前沿技术上的研究成果和开发实践。

目前讲座已完结4讲，错过直播的朋友，可以点击文章底部“阅读原文”观看回放！

追求通用人工智能（AGI）的道路上，赋予智能体“身体”的特质，使之能与环境互动并从中学习，是具身智能的核心所在。尽管近年来在通过数据驱动方法学习专项技能方面取得了显著成功，但针对学习并掌握广泛任务通用技能的通用机器人操控策略上仍然充满挑战。

从现实世界中收集高质量、多样化的示范数据，往往成本高昂且效率低下。而仿真可以扩大示范数据的收集范围，并简化策略评估过程。为此，顾家远博士及加州大学圣地亚哥分校相关团队开发了一种通用操控技能的仿真平台ManiSkill2。

该平台拥有超过2000个物体和400万帧示范，用于20个开箱即用的任务族；还提供了广泛的基准测试，并为社区维护了一个公开排行榜，以评估操控技能在物体层面的泛化。与ManiSkill2相关的论文收录于ICLR 2023上。

充分利用这些示范数据的关键在于开发合适的表示方法，使机器人能够灵活适应各种任务。顾家远及Google DeepMind相关团队又提出一种RT-Trajectory框架。

该框架通过结合现有示范数据集与一种创新的策略条件——轨迹草图，来探索提升任务级泛化的途径。轨迹草图描绘了机器人末端执行器所需的运动轨迹，使得策略能够以可提示的方式，快速适应具有新颖语义和运动特征的未见任务。与RT-Trajectory相关的论文收录于ICLR 2024并获得spotlight。

此外，在解决多技能移动操控（M3）问题时，顾家远博士及加州大学圣地亚哥分校相关团队提出一种模块化的方法。这种方法将一个复杂的长期任务分解为一系列子任务，并通过串联多个操控和导航技能来共同完成任务。将传统的固定操控和点目标导航技能，升级为更加灵活多变的移动操控和区域目标导航技能。相关论文收录于ICLR 2023并获得 spotlight。

4月25日上午10点，智猩猩邀请到上海科技大学助理教授、谷歌实习研究员顾家远参与「智猩猩机器人新青年讲座」第5讲，主讲《可泛化的具身智能操作技能学习》。

主讲人

顾家远，上海科技大学助理教授、谷歌实习研究员

即将入职上海科技大学信息科学与技术学院常任轨助理教授。毕业于美国加州大学圣地亚哥分校完成了计算机科学博士学位，研究方向为具身智能和三维视觉。代表工作为RT-Trajectory，ManiSkill2，发表顶会论文十余篇（CVPR, ECCV, NeurIPS, ICLR,ICRA）。组织过若干会议（CVPR，ECCV，RSS）的教程和研讨会，并担任过多种期刊（TPAMI，IJCV）和会议的审稿人。

第5讲

主 题
《可泛化的具身智能操作技能学习》
提 纲
1、具身智能与通用机器人技能概述
2、提高机器人操作技能泛化性RT-Trajectory
3、提高移动机器人操作技能的鲁棒性方法
4、可泛化操作技能模拟平台ManiSkill2
5、总结与展望

直 播 信 息

直播时间：4月25日10:00
直播地点：智猩猩知识店铺

成果

论文标题
《RT-Trajectory: Robotic Task Generalization via Hindsight Trajectory Sketches》
论文链接
https://arxiv.org/abs/2311.01977

论文标题
《Multi-skill mobile manipulation for object rearrangement》
论文链接
https://arxiv.org/abs/2209.02778

论文标题
《Maniskill2: A unified benchmark for generalizable manipulation skills》
论文链接
https://arxiv.org/abs/2302.04659

报名方式

对本次讲座感兴趣朋友，可以扫描下方二维码，添加小助手莓莓进行报名。已添加过莓莓的老朋友，可以给莓莓私信，发送“机器人讲座05”进行报名沟通。对于通过报名的朋友，莓莓将在直播当天为大家发送直播地址。

同时，针对本次讲座，也组建了学习群，直播开始前，将会邀请通过入群审核的相关朋友入群，进行学习和讨论。