AI PM 面试精华：AI 客服 Agent 的升级、工具与指标怎么答
本期用 AI 客服 Agent 做主案例，拆解面试中如何回答升级交接、工具权限、护栏位置和评估指标，让你把「降低客服成本」讲成一套可信的产品方案。
如果面试官问你「设计一个 AI 客服 Agent，目标是降低人工客服成本」，不要一上来就说自动化率。这个题真正考的是：你能不能把 AI 该接、该问、该做、该交给人这四件事讲清楚。
今天用 Intercom Fin 做主案例。Fin 的官方说明把产品能力拆成 Train、Test、Deploy、Analyze 四个环节，并强调它通过知识、政策、连接系统和测试来持续改进回答质量。它不是单纯在聊天框里塞一个模型。1
面试官在这道题里想听什么
AI PM 题库里，常见问题已经从「你会不会用 AI」变成「你如何定义 AI 产品指标」「如何做 GenAI safety」「AI 系统替用户执行动作时怎么做 safeguards」。Exponent 的 AI PM 题库里就能看到这些方向：成功指标、安全、行动权限和产品设计都被单独拿出来问。2
所以这题不能只答「接入大模型 + 知识库 + 人工兜底」。更好的回答顺序是：
- 先划清 AI 的任务边界：哪些问题只回答，哪些问题可以查数据，哪些问题能执行动作。
- 再设计升级交接：什么情况下必须转人工，转人工时带哪些上下文。
- 最后讲评估指标：既看省了多少人工，也看有没有让用户卡在机器人里。
主案例：Fin 把「交给人」做成正式产品能力
Fin 的产品说明里有一个值得面试复述的点：它的 AI 层会理解上下文、澄清问题、检索相关信息、应用业务政策，再生成回答；模型层还包括用于检测何时升级给人工的模型。1
这给了我们一个很实用的面试表达：客服 Agent 不是「尽量别转人工」，而是「在可控范围内尽量解决，在风险升高时有理由地转人工」。
Intercom 的升级规则文档也能支撑这个判断。Fin 默认会在用户明确要求人工、强烈愤怒、重复卡住等场景触发升级；团队还可以用结构化数据规则、自然语言升级指导和后续工作流控制交接后的路由与动作。3
面试里可以这样讲：
| 设计点 | 差回答 | 好回答 |
|---|---|---|
| 目标 | 提高自动化率 | 提高「被正确解决的问题占比」，同时控制误答、重复求助和人工接手后的补问 |
| 升级 | 模型答不了就转人工 | 明确触发条件：用户要求人工、负面情绪、三轮重复、VIP/高金额订单、医疗/金融/法律等高风险内容 3 |
| 交接 | 发一句「请等待客服」 | 带上问题摘要、已尝试步骤、升级原因、优先级、用户身份与订单上下文 |
| 指标 | 看节省多少客服 | 同时看解决率、升级率、重复联系率、AI 后 CSAT、人工接手后的处理时长和抽检错误率 |
Intercom 在 Fin 2 发布材料里给出过自报数据：Fin 2 平均解决率 51%，并声称准确率 99.9%；同一篇材料还提到团队做过 120 多个 A/B 测试，并需要在提升解决率时控制幻觉率。4 这组数字不用在面试里当作行业标准，但它提醒你：解决率必须和准确性一起讲。只报自动化率，很容易被追问「是不是把用户挡在门外」。
参考回答骨架
可以把答案压成一段 90 秒版本：
我会先把客服请求分成四类：信息查询、流程指导、需要查系统的数据问题、会产生副作用的动作问题。前两类可以让 AI 直接回答；查数据类需要接只读工具；退款、取消、改地址这类动作要按风险分级，低风险可自动执行，高风险必须让用户确认或转人工。产品上要保留明确的人类入口，并把升级原因、上下文摘要和已尝试步骤交给客服。指标上不能只看自动化率，还要看正确解决率、重复联系率、升级后处理时长、AI 后满意度和抽检错误率。
这段话的重点不是术语，而是把「能不能做」换成「在什么条件下做」。
三个追问点
1. 如果面试官问：怎么避免 AI 客服乱执行动作？
先把工具权限拆成三档。
第一档是只读，比如查订单、查套餐、查工单状态。第二档是可逆动作，比如重发邮件、更新偏好设置、创建普通工单。第三档是高风险动作，比如退款、取消服务、改收货地址、发放补偿。
OpenAI Agents SDK 的工具文档把工具定义为让 Agent 执行获取数据、运行代码、调用外部 API 等动作的能力。5 这对 PM 的启发是：只要 Agent 能调用工具，就要把「模型建议」和「系统执行」分开。模型可以提出动作，但执行层要检查权限、参数、幂等性和用户确认。
可复述答案：
我不会把所有客服工具一次性开放给模型。先从只读工具开始，动作类工具按风险分层。高风险动作必须有确认页、操作摘要和可追溯记录；模型生成的参数要过规则校验，不能让模型自己绕过确认。
2. 如果面试官问：转人工时怎么保证客服不用重新问一遍？
这里要讲「handoff payload」，也就是交接包。
OpenAI 的 handoff 文档提到，handoff 可以让一个 Agent 把任务委派给另一个专门 Agent；在升级给「Escalation agent」时，还可以让模型提供 reason、priority、summary 这类元数据。6 这不是要你在面试里写代码，而是提醒你：交接不是一句「转人工」，交接本身有结构。
客服场景的交接包至少包括：
- 用户原始诉求和 AI 归纳后的问题摘要。
- AI 已经查过的知识源、订单状态或错误码。
- 转人工原因，比如用户要求人工、重复三轮、负面情绪、高金额订单。
- 建议路由，比如账单、技术支持、二线客服或风控团队。
Intercom 的升级文档也把「什么时候升级」和「升级后工作流做什么」分开，升级规则负责触发，workflow 负责后续路由、收集信息和分配团队。3 这个拆法在面试里很好用。
3. 如果面试官问：怎么衡量这个 Agent 有没有越帮越忙？
Zendesk 的 AI agents 页面强调，客服 AI 要能处理多意图、多步骤请求，连接知识和外部系统，并用自动 QA 控制审计结果、执行政策和维护质量。7 这说明评估不能只看「AI 回了多少」。
建议把指标分成四层：
| 指标层 | 看什么 | 为什么重要 |
|---|---|---|
| 业务结果 | 正确解决率、人工节省时长、每单服务成本 | 证明它真的解决问题 |
| 用户体验 | AI 后 CSAT、重复联系率、转人工等待时长 | 防止用户被机器人拖住 |
| 风险质量 | 高风险误答率、错误动作率、敏感场景升级率 | 防止低频事故毁掉信任 |
| 运营改进 | 知识缺口、失败流程、升级原因分布 | 帮团队知道下一轮该改知识库还是改流程 |
OpenAI 的 guardrails 文档也提醒，输入护栏、输出护栏和工具护栏运行在不同位置；如果工作流里有 manager、handoff 或 delegated specialist，围绕每次自定义工具调用做检查，不能只依赖首尾的 agent-level guardrail。8 翻成产品语言就是：高风险动作要在动作前后都验，不是只在聊天开头写一条安全提示。
当日练习题
你可以拿下面这道题练 20 分钟：
为一家 SaaS 公司设计 AI 客服 Agent。它需要处理套餐咨询、账单问题、退款请求和 Bug 反馈。请说明你会如何划分 AI 与人工客服边界，如何设计转人工规则，以及上线后看哪些指标。
练习时不要写成完整 PRD，按这个顺序答就够了：
- 先列请求类型和风险等级。
- 再说 AI 能回答、能查、能做、必须转人工的边界。
- 补上交接包：摘要、原因、已查信息、建议队列。
- 最后给指标，并明确「自动化率不能单独作为成功标准」。
能把这四步说稳，这道题基本就不会散。
References
- 1Fin AI Agent explained
intercom.com
- 2Product Manager Artificial Intelligence Interview Questions
tryexponent.com
- 3
- 4
- 5Tools - OpenAI Agents SDK
openai.github.io
- 6Handoffs - OpenAI Agents SDK
openai.github.io
- 7AI Agents for Customer Service
zendesk.com
- 8Guardrails - OpenAI Agents SDK
openai.github.io
This story was produced automatically by a channel. One sentence is all it takes for Neodrop to keep producing for you.