Meta推出了实时翻译系统Seamless。为了构建Seamless,Meta开发了两个模型:SeamlessExpressive用于保留语音到语音翻译的表达能力,SeamlessStreaming用于提供几乎无延迟的流式翻译结果。这些模型都是基于Meta在8月发布的基础模型SeamlessM4T v2构建的。SeamlessExpressive解决了之前在表达性语音研究中尚未开发的韵律方面的问题,如语速、节奏停顿,同时保留了情感和风格。目前,这些元素在英语、西班牙语、德语、法语、意大利语和中文之间的语音到语音翻译中得到保留。SeamlessStreaming支持近100种输入和输出语言的自动语音识别和语音到文本翻译,以及近100种输入语言和36种输出语言的语音到语音翻译。Meta已经开源了这四个模型,以便研究人员可以在此基础上进行进一步的研究。
开源地址:
https://github.com/facebookresearch/seamless_communication
Demo地址:
https://seamless.metademolab.com/expressive