新加坡国立大学在读博士陈子娇:基于扩散模型从脑信号中还原生成高度逼真图像|AI新青年讲座

「AI新青年讲座」将邀请世界顶尖AI研究机构和大学的科研新青年,主讲他们在计算机视觉、机器学习等人工智能领域的最新重要研究成果。

AI新青年是加速人工智能前沿研究的新生力量。AI新青年的视频讲解和直播答疑,将可以帮助大家增进对人工智能前沿研究的理解,相应领域的专业知识也能够得以积累加深。同时,通过与AI新青年的直接交流,大家在AI学习和应用AI的过程中遇到的问题,也能够尽快解决。

「AI新青年讲座」目前已完结207讲,有兴趣分享学术成果的朋友,可以与智东西公开课教研团队进行邮件(class@zhidx.com)联系。

有没有一瞬间,你要把自己脑子里的东西掏出来给别人看,或者是撬开别人的脑子看看里面都装了什么?来自新加坡国立大学,香港中文大学,和Stanford的研究者们,基于扩散模型实现了从脑电波还原图像的“人类视觉解码器”——MinD-Vis。

MinD-Vis框架可通过脑图像生成高度逼真的视觉刺激。其创新之处在于MinD-Vis能够在极少的训练样本情况下,从脑信号中重建出高度逼真、语义匹配的图像。这项研究也能促进脑机接口的发展并推动对人类视觉系统的理解。

在进行了定性和定量的基准测试后发现,MinD-Vis在语义映射(100路语义分类)和生成质量(FID)方面都优于最先进的方法,分别达到66%和41%。

5月23日,「AI新青年讲座」第208讲邀请到MinD-Vis一作、新加坡国立大学在读博士陈子娇参与,主讲《基于扩散模型从脑信号中还原生成高度逼真图像》。

讲者
陈子娇,新加坡国立大学在读博士;由周涓教授指导,主要研究方向为多模态脑解码与fMRI表征学习,论文发表于CVPR、AD等计算机会议、医学期刊。

第208讲

主 题
《基于扩散模型从脑信号中还原生成高度逼真图像》

提 纲
1、脑机接口及人类视觉刺激解码概述
2、面向视觉解码的稀疏掩码双条件扩散模型
3、极少训练样本的MinD-Vis视觉解码框架
4、生成质量测试和未来展望

直 播 信 息
直播时间:5月23日19:00
直播地点:智东西公开课知识店铺

成果

论文标题:《Seeing Beyond the Brain: Conditional Diffusion Model with Sparse Masked Modeling for Vision Decoding》
论文地址:https://arxiv.org/abs/2211.06956
开源地址:https://github.com/zjc062/mind-vis