智东西7月26日消息，Hugging Face页面显示，Meta AI在7月21日发表新论文，扩展其大型语言模型Llama的功能。研发团队通过直接附加一个小型音频编码器来扩展大型语言模型的功能，使其能够执行语音识别。通过直接在文本标记嵌入前添加一系列音频嵌入，大型语言模型可以转换为自动语音识别（ASR）系统，并以与其文本对应物完全相同的方式使用。多语言LibriSpeech（MLS）实验表明，尽管Llama主要是在英语文本上进行训练，但将一致性编码器集成到开源Llama-7B中，可使其性能比单语言基线高出18%，并能执行多语言语音识别。

论文地址：https://arxiv.org/abs/2307.11795