如同科幻小说中的“巴别鱼” “语音到语音”即时翻译AI模型推出

《自然》杂志1月15日介绍了一款人工智能（AI）模型，巴别鱼其宛如科幻小说里的同科推出“巴别鱼”，能直接“语音到语音”翻译多达101种语言的说中语音和文本。由Meta推出的音到语音这一模型名为SEAMLESSM4T，其填补了语言覆盖方面的翻译空白，且性能优于现有其他系统。模型该成果为快速通用翻译铺平道路，巴别鱼其资源公开可用（用于非商业用途），同科推出以协助进一步研究包容性语音翻译技术。说中

科幻小说读者可能很熟悉《银河系漫游指南》里的音到语音“巴别鱼”，这种小鱼能进入耳朵，翻译以口译形式即时将一种语言翻译成另一种语言。模型这种工具对于促成全球互联环境下的巴别鱼交流非常有用，但大多数现有的同科推出机器学习翻译系统都是文本导向的，或需要好几步转换——语音识别、说中翻译成文本、再将文本转换成语音。此外，现有语音到语音模型的语言覆盖范围也远低于文本到文本模型，并且倾向于从源语言翻译成英语，而非从英语到另一种语言。

为了突破这些限制，Meta的“无缝交流团队”开发了一款单一模型，支持多达101种语言之间的多种翻译模式。SEAMLESSM4T可支持语音到语音（识别101种语言并翻译为36种语言）、语音到文本（101种语言译为96种）、文本到语音（96种语言译为36种）、文本到文本（96种语言）的翻译，以及自动语音识别（96种语言）。在语音到语音的翻译中，SEAMLESSM4T的文本翻译比现有系统准确度要高23%。这一AI模型可过滤背景噪声并适应说话者的差异。

研究团队总结称，虽然还需要进一步优化，但SEAMLESSM4T标志着在跨越语言障碍、促进交流方面的重要进步。