Gemini 3.5 Transcribe：专用 STT 管线，流式 WER 4.0%，相对 Chirp 3 终稿延迟约降 70% (2026)

Google 在 2026 年 8 月 26 日发布官方博客，推出语音转写模型 Gemini 3.5 Transcribe。它把原始音频直接收成可读、可格式化的文本，并拆成两条开发者接口：实时双向流的 Live API（gemini-3.5-transcribe-live），以及处理会议录音、通话记录等预录文件的 Interactions API（gemini-3.5-transcribe）。1

Google DeepMind 官方账号同日发帖确认上线。2

按官方写法，相对前代转写模型 Chirp 3，这次同时补了新能力、词错误率（WER）与延迟；Artificial Analysis 测到的平均 WER 为流式 4.0%、非流式 2.6%，「到最终转写结果的时间」改善约 70%。1

专用转写管线与 Live Agent 的分界

开发者文档把 Live API 上的两条路径划开：

维度	Live Agent	Live Transcription（3.5 Transcribe）
角色	听、推理、再开口的对话助手	把进来的音频转成文字的 STT 管线
输出模态	语音 + 文本（`AUDIO`）	流式文本（`TEXT`）
交互	轮次、停顿检测、打断	说话过程中的连续流处理
能力	Function calling、Search、系统指令等	自定义词表、语言检测、VAD 策略、Smart transcription
输入	音频、视频、图像、文本	原始 16-bit PCM 音频

上表来自 Live 转写文档对 Live Agent 与 Live Transcription 的对照。3

3.5 Transcribe Live 刻意做成专用 STT：只出文本、不挂通用工具，换的是更稳定的低延迟文本流。流式会话里，服务端会同时推两类结果——说话过程中的 interim_input_transcription（临时假设），以及停顿或话轮结束后的 input_transcription（定稿）；Smart 模式下，定稿才带清洗与格式化。3

预录路径走 Interactions API 的 gemini-3.5-transcribe：上传音频后一次拿全文，并可打开说话人标注与词级时间戳。4 5

接口上真正多出来的能力

Smart 与 Verbatim

两边 API 都支持两种输出模式：

verbatim（默认）：尽量原样保留口头语，包括 “um / uh / like”、重复和假起头。
smart：去掉填充词与口吃式重复，合并自我更正（例如把 “周二——不，周三” 收成最终意图），并自动加段落、列表、数字与日期格式、大小写与标点。3 4

官方举例：口语 “Um, so for the meeting, I think we should, uh, invite Alice and, wait no, Bob and Carol.” 在 smart 下变成 “For the meeting, I think we should invite Bob and Carol.”4

模式选择取决于下游：法务、质检、字幕时间轴往往要 verbatim；备忘录、工单、语音写作更适合 smart。文档写明：smart 不能与词级时间戳或说话人标注同开。4

自定义词表、语言与说话人

自定义词表：最多 1000 条短语/专有名词；文档建议实际用到约 100 条效果更好。4
语言：自动识别 85+ 语言/地区码，支持句内与句间语码切换；也可传入 BCP-47 提示。列表含 cmn-Hans-CN、yue-Hant-HK、en-US 等。4 5
说话人标注：仅非流式。最多 8 人；3 人及以上的归属仍为 experimental。流式 Live 端不支持 diarization。3 5
词级时间戳：仅非流式；开启后可能拉低整体转写准确率。Live 端只有 utterance 级时间信息。5

流式工程细节

Live 输入约定：

原始 16-bit PCM，16 kHz 单声道 little-endian
建议约 100 ms 一块发送（约 1024–2048 frames）
VAD 可选：默认服务端自动；Hybrid（客户端在静音时发 audio_stream_end 以求更快定稿）；或关闭自动 VAD 做按键说话（activity_start / activity_end）
客户端直连麦克风时可用 ephemeral token，避免把 API key 放进端上3

博客还提到 function calling：模型可以把图像生成、文件分析等任务委托给其他 Gemini 模型——但写明 目前出现在 macOS 版 Gemini 应用。1 模型页对 unary gemini-3.5-transcribe 将 Function calling 标为 Not supported；Live Transcription 能力表也只列 STT 相关项。3 5 若要做「语音触发工具」，应把期望放在 Gemini 产品面，或另接 Live Agent。

官方数字落在什么条件上

博客给出的核心数字如下（均为官方或官方引用 Artificial Analysis 的表述）：

指标	数值	出处说明
平均 WER（流式）	4.0%	Artificial Analysis，博客转述
平均 WER（非流式）	2.6%	同上
FLEURS WER（流式）	5.50%	官方称在一组 top languages and locales 上
FLEURS WER（非流式）	5.04%	同上；相对 Chirp 3 有改善
到最终转写的时间	相对 Chirp 3 改善约 70%	Artificial Analysis，博客转述
语言覆盖	85+	博客与模型页

上表数字均摘自官方博客或其引用的 Artificial Analysis 表述。1

博客强调嘈杂环境与邮编、订单号一类字母数字实体，但 没有公开逐语言 FLEURS 表、完整对照系统名单，也没有给出 Artificial Analysis 测试集构成。独立复现仍只能以第三方榜与自建噪声集为准。

产品入口与价格

博客列出的落地包括：Android Gboard 的 Rambler（口语成文、去填充词、语音改稿）、Google Antigravity（经用户许可结合屏幕与对话上下文）、AI Studio Build 模式语音写代码、macOS Gemini 应用，以及即将进入 Chrome 的网页字段听写。开发者侧为 Google AI Studio / Gemini API public preview；企业侧为 Gemini Enterprise Agent Platform public preview。1

定价页（Gemini Developer API，2026-08-26 可查）给出的付费档大致为：

模型	输入（约）	输出（约）	官方估算混合价
`gemini-3.5-transcribe`	$2.00 / 1M tokens 或 $0.003/min 音频	$12.00 / 1M tokens 或 $0.002/min 文本	约 $0.005/min（按 25 audio tokens/s、175 text tokens/min）
`gemini-3.5-transcribe-live`	$3.50 / 1M tokens 或 $0.005/min 音频	$21.00 / 1M tokens 或 $0.004/min 文本	约 $0.009/min（同上假设）

上表摘自 Gemini Developer API 定价页对两个模型 ID 的条目。6

免费档输入输出均为 free；Grounding with Google Search 不支持。6

模型页还写明：Caching、Code execution、File search、Batch / Flex / Priority inference 等均 不支持。5

时长与能力边界（落地前先对表）

约束	Live（`…-live`）	预录（`gemini-3.5-transcribe`）
最长音频 / 会话	连续流最多 10 分钟 / session	普通请求最长 1 小时；开 diarization 或词级时间戳时限 30 分钟
说话人标注	不支持	最多 8 人；3+ experimental
词级时间戳	不支持	支持，可能降准确率
Smart 与标注同开	Smart 不能与 word annotations 同用	Smart 不能与 timestamp / diarization 同开

上表合并自 Live 文档、Interactions 文档与模型页的限制说明。3 4 5

博客侧的合作集成（Agora、LiveKit、Pipecat、Vercel、LangChain 等）主要解决实时媒体基建，本身不改变上表模型限制。1

局限与值得继续看的点

评测透明度。 WER 与 70% 延迟数字依赖 Artificial Analysis 与未展开的 FLEURS 子集；没有逐语言表和完整基线对照，横向对比仍要自建。1
流式与分析能力互斥。 实时字幕拿不到 diarization 与词级时间戳；会后分析要换非流式，并接受 30 分钟/特性上限与 smart 互斥。5
10 分钟 Live 会话。 长会议、长直播需要分段重连与状态拼接，文档未给跨 session 的官方续传协议。3
Function calling 的产品/API 落差。 博客演示在 macOS Gemini；开发者 STT 模型页未开放该能力。1 5
Public preview。 接口、配额与 SLA 仍可能变；企业路径还写了 Gemini Enterprise for Customer Experience coming soon。1

对工程读者，优先核对三件事：目标场景要 verbatim 证据链 还是 smart 可读稿；延迟预算能否接受 Live 的 interim→final 两段式；长音频是切 10 分钟流，还是走 1 小时 unary 并决定是否牺牲 smart 换 diarization/时间戳。对研究读者，价值在「专用 STT 端点 + 意图级格式化」这条产品线如何与 Chirp 系、通用多模态音频理解分工——博客没有给训练配方或架构论文，跟进点仍在公开评测与真实噪声集上的复测。

材料入口：官方博客、Live 转写文档、Interactions 转写文档、模型页、定价、DeepMind 发布帖。