SeedRealtime：把看、听、说和发言时机放进同一条实时决策链 (2026)

SeedRealtime 把视觉内容、语音内容、时间关系和发言时机放进同一个实时决策循环。字节 Seed 在 2026 年 8 月 5 日发布这款音视频全双工大模型，并称它已经在豆包 App 全量上线。1

这比「给语音助手加一个摄像头」更具体：模型要同时判断画面里发生了什么、谁在说话、语音指向哪个对象，以及自己现在该不该开口。官方公开的案例和人工评测足以说明这条架构路线已经进入产品，但还不足以证明它在所有设备、噪声和多人场景中稳定领先。

全双工的难点，不只是同时收发

实时音视频交互通常把 ASR、视觉语言模型和 TTS 串成一条流水线。每个模块只看到前一个模块交给它的结果，延迟在阶段之间累积，画面、原始声音和上下文关系也可能在转换中损失。另一条路线虽然更接近端到端，但仍把轮次判断交给外部 VAD，最后做成「用户问一句、模型答一句」的半双工对话。1

SeedRealtime 的公开定义是：用统一的端到端模型原生融合音频、视频和文本，让感知、理解、决策与表达在连续的音视频流上并行进行。全双工因此不等于模型可以随时打断人，而是它持续估计「此刻该听谁、该看什么、是否该回应」，并把回答内容和发言时机一起决定。2

这也是它最值得研究的地方：官方没有公开完整的网络结构、训练数据或训练目标，但把系统边界说得很清楚——轮次控制不再是模型外面的一条规则，视觉与声音也不再先后经过几个孤立模块。

一条实时循环，承接三种判断

画面帮助语音确定所指

当用户说「这个怎么弄」时，单靠语音转写无法确定「这个」指什么。SeedRealtime 的设计目标是把当前画面、手势、视线和历史动作放在同一个判断里；遇到同音词或模糊语音时，再用视觉场景消歧。这里的变化不是多识别一种输入，而是让视觉内容直接参与语音理解。1

官方用聚餐场景展示了这种绑定：四个人轮流说话，模型根据外形把名字和人对应起来，并在后续交流中持续保持「声音—身份」的对应关系。它还根据每个人对旅行的偏好和限制给出共同方案。这个案例指向的不是普通的人脸识别，而是人物身份、说话人和对话需求在连续场景中的联合维护。1

观察持续进行，提醒不必等提问

主动交互依赖的不是一次性的图像问答，而是持续观察加上任务保持。用户在河北博物院交代「看到错金银铜虎噬鹿屏座就提醒我」后，模型要在镜头移动期间继续看，等目标真的出现再发声。翻阅 ResNet 论文的案例也一样：用户要求它留意「3.4 Implementation」，模型需要在快速翻页中识别目标并主动叫停。1

这两个例子把「主动」限定在一个可检查的范围内：模型能根据持续变化的画面触发提醒或纠错。它们还不能证明模型已经能独立完成开放式任务；官方把查询、预订和任务办理列在后续方向，而不是当前发布中已经量化验证的结果。1

发言时机也成为模型输出的一部分

在全双工交互里，回答内容正确还不够。人话未说完时抢断，停顿后很久才接话，被旁人闲聊触发，都会让对话失去连贯性。SeedRealtime 的做法是根据音频、画面和时序信息持续决定是否介入，并区分用户真正的请求与环境中的无关声音。2

大兴机场案例把几个判断放在了一起：同伴闲聊提到「老李的航班」时，模型没有被误触发；用户正式询问时，它还能调用此前看到的航班信息，并据官方描述联网提供行李转盘位置；行走过程中看到网约车指示牌，又能主动给出上车点路线。这里展示的是噪声抑制、视觉上下文保留和工具调用在同一段交互中的配合，不是单独一个 VAD 指标。1

官方的「减少一半」具体说明了什么

官方称，端到端人工评测显示，相比级联模型，SeedRealtime 的音视频对话节奏问题减少了一半；「话未说完被抢断、话音已落却回应迟缓、被背景杂音与闲聊误触发」都属于它举出的卡壳类型。官方同时称，单次对话能够顺畅、完整交流的概率也有明显提升。1

这项结果支持一个窄结论：在官方人工评测定义的对话节奏问题上，SeedRealtime 比所用的级联系统更少出现这些问题。它不支持以下几种更强的说法：

「减少一半」不是端到端延迟降低一半。博客没有给出绝对延迟、延迟分布或各阶段耗时。
它不是所有音视频能力提升一倍。博客没有公布样本量、节奏问题的分母、问题分类方法、级联基线的具体组成或统计区间。
「顺畅、完整交流的概率明显提升」没有伴随具体概率和统计检验，不能替官方补出显著性结论。
七个演示场景不是跨语言、跨设备、跨噪声强度和跨多人规模的完整评测。官方也没有在这篇发布页中公开长时间运行结果或失败案例。

因此，当前公开材料的证据强度分成两层。统一架构、连续感知、主动提醒和全量上线，是发布页明确陈述或展示的内容；一般环境下的稳定性、效率和相对级联方案的普遍优势，则仍需要更细的评测设计来确认。

对工程落地，最先要验证的不是演示数量

工程师真正需要复测的是端到端时延、打断策略和持续运行成本：在真实设备上，模型从听到、看到目标到开口的时间是多少；用户补充、停顿和抢话时，模型如何处理；连续视频流带来的带宽、算力和上下文保存成本如何变化。博客没有提供这些规格，不能用「全双工」三个字替代它们。

多人场景还要单独测说话人和目标绑定。聚餐与家庭学习案例说明 SeedRealtime 能处理重叠人声和多对象指向，但产品上线前仍应检查方言、遮挡、多人同时说话、镜头快速移动以及背景视频声音。要判断是否能从演示走向稳定服务，失败率和恢复策略比再增加一个精心编排的案例更有用。

产品团队需要把「主动交互」拆成权限明确的动作。当前发布展示了提醒、纠错、叫停和联网查询；官方把预订、任务办理列为未来方向。若要把工具调用放进真实产品，还必须知道接口、授权、确认、失败回退和隐私边界，这些信息目前不在公开博客里。

研究者则应继续追踪四类公开材料：全双工轮次决策如何训练，统一模型的模块与数据如何组织，人工评测的样本和基线如何定义，以及多人复杂场景的绝对时延与错误分布。没有这些内容，外界可以判断它提出了值得跟进的系统方向，却不能复现或严格比较这套方法。

结论：架构方向已经清楚，成熟度证据仍然有限

SeedRealtime 的实质变化，是把「看到了什么」「听到了什么」「这些信息在时间上如何对应」和「现在是否开口」放进同一个实时决策循环。这个位置变化解释了它为什么能在官方案例中完成指代消歧、主动提醒、连续纠错和抗干扰接话，也解释了它为什么不必把轮次判断完全交给外部 VAD。1

但公开证据还停在官方演示和一项相对人工评测结果：缺少绝对时延、样本与基线细节、跨场景量化结果、失败分布以及完整技术配方。对研究和产品决策来说，最准确的判断是：SeedRealtime 已经把原生音视频全双工从概念演示推进到豆包 App 的规模化产品形态；它是否能在一般设备和复杂多人环境中稳定替代级联基线，还要等更完整的评测和技术资料。

References

1
SeedRealtime 音视频全双工大模型发布：走向全模态自然交互
seed.bytedance.com
2
SeedRealtime Audio-Visual Full-Duplex LLM Released: Toward Omni-Modal Natural Interaction
seed.bytedance.com