智东西9月28日消息，据新智元报道，近日，来自UC伯克利、NYU等机构研究人员发现，微调后的多模态大模型，会产生灾难性遗忘。论文中，研究团队引入了首个研究MLLM灾难性遗忘的评估框架EMT（Evaluating MulTimodality），在多个基准上评估4个模型后，发现多数模型无法保持与其基础视觉编码器（CLIP）相似的分类性能。同时，在一个数据集上对LLaVA进行微调会导致在其他数据集上出现灾难性遗忘。

论文地址：

https://arxiv.org/abs/2309.10313