ithome
其他
采集 2026-11-19T10:10:35+00:00
豆包实时音视频通话模型API全量上线
原始标题:豆包实时音视频通话模型 1.0 API 全量上线,可实现边看边听边说全模态实时交互
来源
ithome
发布时间
2026-11-19T06:55:41
采集批次
2026-11-19-10
字数
826
URL 指纹
a4906cf9dd554281
📌 AI 总结(165 字)
火山引擎正式上线豆包实时音视频通话模型SeedRealtime 1.0 API,将声音、画面、时序和表达统一到端到端模型中,支持连续感知、主动开口与多模态实时决策。模型可降低传统语音级联系统的延迟和信息损耗,在多人交流、设备操作、学习辅助、导览及家庭陪伴等场景中识别身份、理解上下文并主动协作,提升复杂环境下的交互准确性和自然度。
📄 正文(826 字)
火山引擎正式上线豆包实时音视频通话模型SeedRealtime 1.0 API服务,带来全模态实时交互体验。该模型将声音、画面、时序与表达统一到同一个端到端模型中,可在连续的多模态信息流上实时交互,实现「边看、边听、边说」。 传统语音级联系统通常需要串联语音识别、视觉语言模型和语音合成等模块,容易产生延迟叠加与信息损耗。SeedRealtime则能够持续理解场景变化,不再只是等待用户提问,而是在适当时机主动开口,将视觉、听觉和表达纳入同一套实时决策体系。 模型原生支持声音、画面与时序信息的深度融合,可结合场景消解同音词歧义,并理解视觉中的时序指代。在多人、嘈杂和开放环境中,它不仅能看懂当前画面,还能区分说话对象、理解上下文关系,并据此作出更准确的实时判断,适用于多人协同、跨语言导览和带视觉上下文的实时问答。 在实际应用中,模型可持续感知环境并主动表达。当关键目标出现、画面状态变化或任务节点到来时,它可主动提醒、反馈和补充。例如在多人聚餐场景中,它能结合视觉和语音区分不同人物、记住各人身份,并依据不同需求定制旅行方案。 在设备操作场景中,模型发现用户将整颗咖啡豆倒入萃取手柄后,会及时提醒需要先研磨;萃取完成后,还可依据油脂和出液量主动建议缩短萃取时长。在学习场景中,模型能持续监控翻页画面,识别指定章节后快速提醒用户,并报出学习率、动量、权重衰减等训练参数。 SeedRealtime还能感知对话状态和交流节奏,在适当时机自然接话、停顿和回应,并具备抗干扰能力,可分辨旁人闲聊与背景噪声,避免误触发。官方称,相比级联模型,其音视频对话节奏问题减少了一半,单次对话顺畅完成的概率也有明显提升。 在嘈杂交通场景中,模型能够过滤机场内的无关闲聊,调用此前看到的航班大屏信息回答问题,并识别指示牌,主动引导旅客前往网约车上车点。在家庭场景中,面对家长接电话等人声干扰,模型仍可跟随孩子手指方向实时纠音、举例造句,稳定完成英语陪伴学习。