未分类

火山引擎上线豆包SeedRealtime 1.0 API提供60分钟试用

要点

2026年11月19日,火山引擎全量上线豆包实时音视频通话模型 SeedRealtime 1.0 API,支持 60 分钟试用,提供预付费与后付费计费方式,实现全双工端到端的“边看边听边说”实时交互。

在架构上,SeedRealtime 1.0 将声音、画面、时序与表达统一到同一个端到端模型中,可在连续的多模态信息流上实时交互,实现“边看、边听、边说”的交互方式。传统语音级联系统依赖语音识别、视觉语言模型、语音合成等模块串联,会形成延迟叠加与信息损耗;该模型不再只是等待用户提问,而能持续理解场景变化并在合适的时机主动开口,把看、听、说纳入同一套实时决策体系。

该模型原生支持声音、画面与时序信息的深度融合,既能结合场景消解同音词歧义,也能准确理解视觉中的时序指代。火山引擎方面给出的能力说明包括三项:音视频联合理解,结合画面、声音与时序信息识别交流对象,理解“这个”“刚才那个”等指代,并利用视觉上下文消解同音词歧义和模糊语音;主动交互,持续关注实时画面的变化,在用户关注的目标出现或场景状态发生关键变化时,适时提供提醒、补充或反馈,无需用户反复提问;流畅的交互节奏,结合语音、语义、画面与上下文动态判断用户是否表达完整,自然处理思考停顿、临时补充和中途打断,并区分用户交流、旁人闲聊与背景噪声,减少误回复和误打断。

在应用侧,火山引擎方面列出互动学习、文旅导览、生活问答与操作辅助、智能硬件与多人交流四类场景。互动学习结合绘本、实物和用户指向的对象开展讲解与口语练习;文旅导览围绕镜头中的展品或景观实时讲解,理解连续追问,并在指定目标出现时提醒;生活问答与操作辅助识别菜单、商品和日常物品,结合设备操作过程及画面变化提供反馈;智能硬件与多人交流为手机、智能眼镜及带摄像头的智能设备提供实时音视频交互能力,结合现场画面和对话历史判断交流对象。

在多人、嘈杂、开放的真实环境中,模型不仅能看懂当前画面,还能分清说话对象、理解上下文关系,并基于多模态信息完成实时判断,适用于多人协同交流、跨语言导览和带视觉上下文的实时问答。在多人聚餐场景中,SeedRealtime 1.0 可结合视觉与语音区分不同人物、记住各人身份,并依据多人不同需求定制旅行方案。模型同时具备持续环境感知与主动表达能力,在察觉关键目标出现、画面状态变化或任务节点到来时主动进行提醒、反馈和补充,使交互从被动响应转向主动协作。

在设备操作场景中,模型看到用户将整颗咖啡豆倒入萃取手柄时,会及时提醒咖啡豆需要先研磨;萃取完成后,根据咖啡油脂和出液量,主动给出缩短萃取时长的建议。在学习场景中,模型可持续监控翻页画面,识别到指定章节后快速提醒用户,并随即报出学习率、动量、权重衰减等关键配置训练参数。

在嘈杂交通场景中,该模型能够自动过滤机场内的无关闲聊信息,在用户询问时调用此前看到的大屏航班信息作答,同时精准识别指示牌,主动指引旅客到达网约车上车点。在家庭场景中,妈妈在一旁处理其他事务,让模型陪女儿学习动物英文,背景里爸爸正在接电话、人声不断,模型始终跟着女孩手指的方向实时纠音、举例造句,出声时不迟疑,受干扰时不跑偏。

在对话交互层面,模型可实时感知用户的对话状态与交流节奏,在适当时机自然接话、停顿与回应,并具备较强的抗干扰能力,能分辨旁人闲聊与背景噪声,不因干扰误触发。火山引擎称,相比级联模型,SeedRealtime 1.0 的音视频对话节奏问题减少了一半,单次对话能够完整、顺畅交流的概率也有明显提升,可用于语音助手、智能硬件、陪伴式应用、实时客服等场景。

计费方面,火山引擎方面列明,豆包实时音视频通话模型 1.0 按照通话分钟数计费,支持预付费与后付费两种方式,后付费按小时结算;控制台提供 60 分钟试用额度,有效期为半年。

在产品线关系上,SeedRealtime 1.0 归入火山引擎豆包语音产品体系,与语音合成、声音复刻、流式语音识别、录音文件识别、端到端实时语音大模型、同声传译、音色设计、机器翻译等模型并列。火山引擎方面对实时语音与音视频通话两条路径作了区分:豆包实时语音大模型采用端到端 Speech 2 Speech 框架,直接处理语音输入与输出;传统的级联对话链路按语音识别、语音合成等模块的 ASR→LLM→TTS 顺序串联,在用户情绪以及副语言信息理解方面存在限制。豆包端到端实时语音大模型分为 S2S-Omni 与 S2S-Strong Character 两个版本,前者定位为低延时、覆盖闲聊客服车载等场景的语音文本多模态模型,后者专注人格扮演与情感陪伴。

常见问题

火山引擎何时全量上线豆包实时音视频通话模型 SeedRealtime 1.0 API?

火山引擎于 2026年11月19日 正式上线豆包实时音视频通话模型(SeedRealtime 1.0)API 服务,并实现全量上线。

豆包实时音视频通话模型 SeedRealtime 1.0 支持哪些计费与试用方式?

豆包实时音视频通话模型 1.0 按照通话分钟数计费,支持预付费与后付费两种方式,其中后付费按小时结算;控制台提供 60 分钟试用额度,有效期为半年。

SeedRealtime 1.0 在交互架构上有何特点?

SeedRealtime 1.0 将声音、画面、时序与表达统一到同一个端到端模型中,实现“边看、边听、边说”的交互方式,不再依赖传统级联系统的模块串联,能持续理解场景变化并在合适时机主动开口。

火山引擎列出了哪四类适用 SeedRealtime 1.0 的应用场景?

火山引擎方面列出了互动学习、文旅导览、生活问答与操作辅助、智能硬件与多人交流四类场景,其中互动学习结合绘本开展讲解,文旅导围绕展品或景观实时讲解。

相比传统级联模型,SeedRealtime 1.0 在对话节奏方面有何改进?

火山引擎称,相比级联模型,SeedRealtime 1.0 的音视频对话节奏问题减少了一半,单次对话能够完整、顺畅交流的概率也有明显提升。

免责声明本页信息整理自互联网公开渠道,仅供资讯参考,不构成任何投资或商业决策依据;相关产品参数、企业信息可能存在滞后或误差,请以厂商官方发布为准。如内容涉及版权、准确性或侵权问题,请联系 981209856@qq.com,我们将第一时间核实处理。

卫景行

卫景行,关注大模型、算力与产业应用。

公安联网备案冀公网安备13068102000496号