CoELA一作张洪鑫:使用大语言模型构建合作型具身智能体|智猩猩AI新青年讲座预告

「智猩猩AI新青年讲座」由智猩猩出品,致力于邀请青年学者,主讲他们在生成式AI、LLM、AI Agent、CV等人工智能领域的最新重要研究成果。

AI新青年是加速人工智能前沿研究的新生力量。AI新青年的视频讲解和直播答疑,将可以帮助大家增进对人工智能前沿研究的理解,相应领域的专业知识也能够得以积累加深。同时,通过与AI新青年的直接交流,大家在AI学习和应用AI的过程中遇到的问题,也能够尽快解决。

「智猩猩AI新青年讲座」现已完结233讲,错过往期讲座直播的朋友,可以点击文章底部 “ 阅读原文 ” 进行回看!

近来,大型语言模型(LLMs)在单智能体决策中取得了令人印象深刻的表现,并且可以为机器人控制设计奖励函数。但目前的具身智能体亦或缺乏彼此间的有效交流合作能力,亦或行为不能被人类理解,给人与智能体之间的协作带来了很大的阻碍,且LLMs是否具备多智能体协作所必需的能力也仍尚未明确。

针对以上问题,马萨诸塞大学阿默斯特分校在读博士张洪鑫利用如今大语言模型丰富的世界常识、自由形式语言生成(free-form language generation)、复杂推理等能力,构建了基于LLMs的具身智能体CoELA,以在具有挑战性的分散环境中完成长期多目标任务,最终实现了与其他智能体和人类进行高效的计划、通信与合作的功能。相关论文《Building Cooperative Embodied Agents Modularly with Large Language Models》收录于ICLR 2024

CoELA一作张洪鑫:使用大语言模型构建合作型具身智能体|智猩猩AI新青年讲座预告

CoELA由五个关键模块组成:

(1)感知模块:处理传感器获得的外部原始数据,更新记忆模块的存储信息;
(2)记忆模块:模仿人类的长期记忆,以语义、情景和程序记忆的形式存储智能体关于世界和他人的事实与经历;
(3)沟通模块:从记忆模块检索相关信息,引导LLMs利用其强大的自由形式语言生成能力生成最佳信息;
(4)决策模块:利用LLMs的强大推理能力 ,根据从记忆模块中检索的相关信息和针对当前状态决定采取哪种方案,生成的计划会再次更新记忆模块;
(5)执行模块:检索记忆模块中存储的程序知识,将高级计划转化为可在环境中执行的基本行动。

CoELA一作张洪鑫:使用大语言模型构建合作型具身智能体|智猩猩AI新青年讲座预告

4月12日上午10点,智猩猩邀请到论文一作、马萨诸塞大学阿默斯特分校在读博士张洪鑫参与「AI新青年讲座」234讲,主讲《使用大语言模型构建合作型具身智能体》。

主讲人

张洪鑫,马萨诸塞大学阿默斯特分校在读博士

师从淦创教授,研究兴趣为具身智能、人机交互、自然语言处理,在ICLR、NeurIPS、ACL、EMNLP等会议上发表有多篇论文,为NeurIPS、CVPR、ACL等会议担任审稿人。

第234讲

主 题
使用大语言模型构建合作型具身智能体
提 纲
1、大语言模型在智能体领域的应用现状概述
2、利用大语言模型构建模块化具身智能体CoELA
3、CoELA的五个核心模块协作流程
4、实验结果分析及展望

直 播 信 息

直播时间:4月12日10:00
直播地点:智猩猩知识店铺

成果

论文标题
《Building Cooperative Embodied Agents Modularly with Large Language Models》
论文链接
https://arxiv.org/abs/2307.02485
项目网站
https://vis-www.cs.umass.edu/Co-LLM-Agents/

报名方式

对本次讲座感兴趣朋友,可以扫描下方二维码,添加小助手李宛儿进行报名。已添加过李宛儿的老朋友,可以给李宛儿私信,发送“234”即可报名。

我们会为审核通过的朋友推送直播链接。同时,本次讲座也组建了学习群,直播开始前会邀请审核通过的相关朋友入群交流。

CoELA一作张洪鑫:使用大语言模型构建合作型具身智能体|智猩猩AI新青年讲座预告