上海交通大学MVIG实验室直博生方浩树:面向通用机械臂抓取的场景预测 | AI新青年讲座

「AI新青年讲座」将邀请世界顶尖AI研究机构和大学的科研新青年,主讲他们在计算机视觉、机器学习等人工智能领域的最新重要研究成果。

AI新青年是加速人工智能前沿研究的新生力量。AI新青年的视频讲解和直播答疑,将可以帮助大家增进对人工智能前沿研究的理解,相应领域的专业知识也能够得以积累加深。同时,通过与AI新青年的直接交流,大家在AI学习和应用AI的过程中遇到的问题,也能够尽快解决。

有兴趣分享学术成果的朋友,可以与智东西公开课教研团队进行邮件(class@zhidx.com)联系。

抓取是物体灵巧操作的基础。这项技能对人类来说是简单而自然的,婴儿在9-10个月大的时候就已经学会了抓握的技能,并逐渐将抓取变为一种潜意识的行为。 而对于机器人而言,在任何场景下、对任何物体都能进行稳健抓取是一项至关重要的能力,并且一直是机器人研究人员一个长期的追求。

当前的大多数方法要么生成具有少量自由度的抓取姿势,无法覆盖大部分成功抓取,要么仅将不稳定的深度图像或点云作为输入,这在某些情况下可能导致结果不佳。

基于这个问题,上海交通大学MVIG实验室在读博士方浩树等人提出了一个全新的方法论,并构建了实现该目标的首个解决方案 RGBD-Grasp。 这是一种通过将 7-DoF 抓取检测解耦为分别处理 RGB 和深度信息的两个子任务来解决此问题的方法,其不仅能够为单目感知的场景预测海量的7自由度抓取姿势,运动规划器也可根据不同的限制,选择最佳的抓取姿势进行执行。

通过在 1000 多个新颖和对抗性物体上的测试,仅使用单个 UR5 机械臂和低成本的RealSense D435 摄像头的机器人,在杂乱场景中实现了 800+ 的每小时平均拾取次数 (MPPH),MPPH已达到人类水平。

7月25日晚7点,「AI新青年讲座」第140讲,邀请到上海交通大学MVIG实验室直博生方浩树参与,主讲《面向通用机械臂抓取的场景预测》。

讲者
方浩树,上海交通大学MVIG实验室直博三年级博士生;师从卢策吾教授,入选上海交大致远荣誉博士计划与吴文俊人工智能荣誉博士班;主要研究方向为人类行为理解与机器人物体操作,本科与博士期间,在Nature、RAL、CVPR,ICCV、ECCV、AAAI、ICRA等期刊与会议上发表二十余篇文章,其中9篇一作,总引用量逾2400次;曾获评CCF-CV新锐奖,百度奖学金,微软学者奖学金,字节跳动奖学计划等。

第140讲

主 题
《面向通用机械臂抓取的场景预测》

提 纲
1、通用机器人抓取的研究
2、单目感知中7自由度抓取姿势的场景预测
3、稳健抓握姿势检测的关键原则解析
4、在单个UR5机械臂和RealSense D435摄像头上的实现

直 播 信 息
直播时间:7月25日19:00
直播地点:智东西公开课知识店铺

成果

RGBD-Grasp
《RGB Matters: Learning 7-DoF Grasp Poses on Monocular RGBD Images》

论文链接
https://arxiv.org/abs/2103.02184.pdf