腾讯混元同声传译大模型Hy-SimulMT发布并开源
要点
10月26日，腾讯混元同声传译大模型Hy-SimulMT发布并开源。该模型具备低时延、高准确率的特点，支持中英语言之间语音到语音实时翻译，并支持实时音色克隆，可以高度还原说话人声音和语气。 说话人的音频可以实时输入到Hy-SimulMT模型中，模型会边听边译，实时给出译文和语音…
10月26日，腾讯混元同声传译大模型Hy-SimulMT发布并开源。该模型具备低时延、高准确率的特点，支持中英语言之间语音到语音实时翻译，并支持实时音色克隆，可以高度还原说话人声音和语气。
说话人的音频可以实时输入到Hy-SimulMT模型中，模型会边听边译，实时给出译文和语音。该模型在腾讯Hy翻译App首发，免费提供服务体验。
Hy-SimulMT的响应时间实测在3秒左右，人类专业译员平均水平在4-5秒。
测评结果显示，该模型的翻译效果超过了市面上主流的开源同传模型，甚至超过大部分的商用同传API。在业界常用的长音频开源评测集RealSI上，Hy-SimulMT展示出了较好的同传翻译效果。
该评测中，StreamLAAL表示同传翻译的延迟指标，反映模型输出翻译结果相比输入音频的延迟秒数，越低越好；翻译质量使用GPT6.1-Sol进行打分，越高越好。Hy-SimulMT在延迟最低的情况下，效果达到开源模型最佳，甚至超过大多数商业API。
为了更准确评估Hy-SimulMT的真实水平，腾讯混元团队在合规允许范围内，广泛收集了互联网上新出现的中文和英文音频，包含软件AI、医学、制造能源、自然科学、农业食品、商务管理、法律、教育、文化文旅、体育生活共十个领域，涉及演讲、访谈、会议等多个场景，并请多位人类同传专家对这些音频进行同声传译。人类同传专家一共6位，其中3位拥有CATTI一级口译证书，3位拥有CATTI二级口译证书，所有专家都有多年的同传实战经验。
测评对Hy-SimulMT和人类同传专家的翻译内容在延迟和翻译质量上对比，其中人类同传专家选取的是3个人中的最高分。在这次能力定位测评中，Hy-SimulMT在翻译的质量达到人类同传专家水平（得分更高），速度更快（时延更低）。
在短音频测试集上，Hy-SimulMT也有较好表现。
