「智猩猩AI新青年讲座」由智猩猩出品,致力于邀请青年学者,主讲他们在生成式AI、LLM、AI Agent、CV等人工智能领域的最新重要研究成果。

AI新青年是加速人工智能前沿研究的新生力量。AI新青年的视频讲解和直播答疑,将可以帮助大家增进对人工智能前沿研究的理解,相应领域的专业知识也能够得以积累加深。同时,通过与AI新青年的直接交流,大家在AI学习和应用AI的过程中遇到的问题,也能够尽快解决。

「智猩猩AI新青年讲座」现已完结234讲,错过往期讲座直播的朋友,可以点击文章底部 “ 阅读原文 ” 进行回看!

现有的基于扩散模型的三维纹理图生成方法在单个物体上已经取得了令人惊艳的成果,但针对场景级纹理图生成领域还有待探索。

其主要难点在于:

(1)场景级纹理图生成的尺度远大于单个物体;

(2)场景级纹理图生成任务要求更高的纹理细节以及风格一致性。

因此,现有的单个物体级三维纹理图生成方法难以被直接应用到场景级任务上。

为了解决以上问题,慕尼黑工业大学视觉实验室24届博士陈振宇提出了一种基于二维扩散模型的场景级三维纹理图生成方法SceneTex。相关论文《SceneTex: High-Quality Texture Synthesis for Indoor Scenes via Diffusion Priors》收录于CVPR 2024

SceneTex一作陈振宇博士:三维室内场景纹理图生成 | 智猩猩AI新青年讲座预告

与以往的基于Inpainting的三维纹理图生成方法不同的是,SceneTex将整个纹理图生成过程转化为一个全局优化问题。该算法核心是提出了一个多分辨率的纹理图特征场模块,以用于在多尺度上隐式编码场景的外观信息。

同时,为了提高场景中每个物体的外观及整个场景风格的一致性,SceneTex提出了一个基于跨注意力机制的纹理图解码器,有效地在生成过程中避免了物体自遮挡问题,并极大程度地提高了场景纹理图的生成质量。该项目已在GitHub开源。

SceneTex一作陈振宇博士:三维室内场景纹理图生成 | 智猩猩AI新青年讲座预告

5月14日晚7点,智猩猩邀请到论文一作、慕尼黑工业大学视觉实验室24届博士陈振宇参与「智猩猩AI新青年讲座」235讲,主讲《三维室内场景纹理图生成》。

主讲人

陈振宇,慕尼黑工业大学视觉实验室24届博士陈振宇

师从3D视觉著名教授Matthias Niessner。主要研究方向为文本驱动的三维场景理解与视觉定位,以及文本到三维内容生成。科研成果曾多次发表于计算机视觉顶级会议(如CVPR、ICCV、ECCV),并多次担任人工智能顶级会议审稿人。

第235讲

主 题
三维室内场景纹理图生成
提 纲
1、文本驱动的3D纹理图生成任务的研究重点及难点
2、基于扩散先验的3D室内场景纹理图生成框架SceneTex
3、场景级3D纹理图生成策略及方法对比
4、3D纹理图生成方法的局限性及未来发展

直 播 信 息

直播时间:5月14日19:00
直播地点:智猩猩知识店铺

成果

论文标题
《SceneTex: High-Quality Texture Synthesis for Indoor Scenes via Diffusion Priors》
论文链接
https://arxiv.org/abs/2311.17261
项目网站
https://github.com/daveredrum/SceneTex

报名方式

对本次讲座感兴趣朋友,可以扫描下方二维码,添加小助手米娅进行报名。已添加过米娅的老朋友,可以给米娅私信,发送“235”即可报名。

我们会为审核通过的朋友推送直播链接。同时,本次讲座也组建了学习群,直播开始前会邀请审核通过的相关朋友入群交流。

SceneTex一作陈振宇博士:三维室内场景纹理图生成 | 智猩猩AI新青年讲座预告