未分类

港中深与微软研究院提出ConvexLLM 统一建模语音与文本知识

要点

港中深与微软研究院提出音频大模型 ConvexLLM,用 C-Gate 把音频表示约束在词向量凸包内以复用语义空间。VoiceBench 综合得分75.36,高于 MiniCPM-o 4.5 的73.04、Kimi-Audio 的70.26。

香港中文大学(深圳)与微软研究院联合提出通用音频大模型 ConvexLLM,通过名为 C-Gate 的接口将音频表示约束在语言模型原有文字词向量的凸包内,使声音直接复用模型预训练习得的语义空间。论文已公开。

现有语音大模型多采用 MLP 或 Q-Former 作为桥接模块,将声学特征映射到解码器输入空间,生成的音频向量可能落在文本预训练空间之外,需要解码器重新学习理解音频表征。C-Gate 的做法是为每个音频位置从冻结词表中选出得分最高的 16 个词向量,以非负且总和为 1 的权重做连续混合,输出始终落在词向量凸包范围内。文本词向量表与输出层全程冻结,仅训练接口及部分编码器、解码器。在 2B 配置的对照中,每个位置只选 1 个词向量时 VoiceBench 综合分为 22.30,扩展到 16 个词向量连续组合后升至 60.35。

模型采用 Whisper-large-v3 作为音频编码器、Qwen3.5-9B 作为解码器。在覆盖 11 项任务的 VoiceBench 上,ConvexLLM 综合得分 75.36,高于 MiniCPM-o 4.5 的 73.04 和 Kimi-Audio 的 70.26;在 BBH 任务上得分 80.40%,较最强基线高 8.80 个百分点。在 MMAU Test-mini 上整体准确率为 62.50%,在 LibriSpeech test-clean 上词错误率为 2.39%。论文同时指出,在纯语音转录等任务上,部分基线模型仍具备优势,存在任务取舍。

常见问题

ConvexLLM 的 C-Gate 接口如何工作?

C-Gate 为每个音频位置从冻结词表中选出得分最高的16个词向量,以非负且总和为1的权重做连续混合,输出始终落在词向量凸包范围内,使声音直接复用模型预训练习得的语义空间。

ConvexLLM 与现有语音大模型有何不同?

现有语音大模型多采用 MLP 或 Q-Former 作为桥接模块,生成的音频向量可能落在文本预训练空间之外;ConvexLLM 通过 C-Gate 把音频表示约束在词向量凸包内,文本词向量表与输出层全程冻结,仅训练接口及部分编码器、解码器。

ConvexLLM 在 VoiceBench 上表现如何?

在覆盖11项任务的 VoiceBench 上,ConvexLLM 综合得分75.36,高于 MiniCPM-o 4.5 的73.04和 Kimi-Audio 的70.26;在 BBH 任务上得分80.40%,较最强基线高8.80个百分点。

ConvexLLM 采用了哪些模型组件,有何局限?

模型采用 Whisper-large-v3 作为音频编码器、Qwen3.5-9B 作为解码器;论文同时指出,在纯语音转录等任务上,部分基线模型仍具备优势,存在任务取舍。

免责声明本页信息整理自互联网公开渠道,仅供资讯参考,不构成任何投资或商业决策依据;相关产品参数、企业信息可能存在滞后或误差,请以厂商官方发布为准。如内容涉及版权、准确性或侵权问题,请联系 981209856@qq.com,我们将第一时间核实处理。

卫景行

卫景行,关注大模型、算力与产业应用。

公安联网备案冀公网安备13068102000496号