欢迎来智东西
登录
免费注册
我的订阅
关注我们
智东西
车东西
芯东西
智猩猩
网易有道R2T2、T3PO双登顶Hugging Face细分热榜
09-21
智东西
26
近日,网易有道开源的子曰Live系列两款实时交互模型——真流式语音识别模型Confucius4-R2T2(Real Real-Time Transcription)与流式翻译模型Confucius4-T3PO(simulTaneous Translation via pareTo Policy Optimization),先后登顶Hugging Face各自细分领域Trending榜,在全球开发者社区形成“双登顶”。
T3PO登顶Hugging Face Translation Trending榜第一(来源:Hugging Face)
R2T2登顶Hugging Face ASR Trending榜第一(来源:Hugging Face)
其中,R2T2登上Automatic Speech Recognition(ASR)Trending榜首,T3PO则登上Translation Trending榜首。榜单中不乏全球AI行业中最领先的科技公司发布的模型,例如OpenAI和谷歌旗下的多个模型。
两款模型分别解决实时语音交互中的“听得快、听得稳”和“译得快、译得准”问题,并能够组合形成一套面向实时AI语音Agent和同声传译的基础技术链路。
两款模型受到关注,与其实时交互技术路线密切相关。
R2T2支持80毫秒至2秒灵活可配置的流式输入,并通过Longest Stable Prefix机制判断哪些语音内容已经足够稳定。一旦确认,文字便遵循Append-only原则永久提交,不再因为后续音频而反复改写。官方测试显示,R2T2在保持接近离线ASR准确率的同时,平均识别延迟(平均说完每个字到识别出这个字的时间)约为200至600毫秒。
英文测试集质量和延迟结果对比
T3PO则进一步解决实时翻译中的另一组矛盾——速度与质量。模型通过帕累托策略优化推进了实时翻译的延迟-质量的前沿,能够在非常低延迟的情况下提供接近offline的翻译质量。
当R2T2与T3PO组合后,一条实时同传链路由此形成:
语音持续进入R2T2,生成稳定、可立即消费的文本;T3PO接收这些文本,并自主判断何时开始翻译。
这使AI语音交互有机会从传统的“说完—识别—翻译”,转向“边说—边听—边理解—边翻译”。
R2T2与T3PO正在从两款开源模型进一步进入全球开发者的实时语音工具链。
网易