Dianne Penn 是 Anthropic AI Research 与 Labs 的产品负责人，也是 Anthropic 的首位技术产品经理。她加入时，产品团队只有 5 名工程师。本期访谈约 93 分钟，聊的是 Claude 变强背后的工作方法：怎样用 eval 推动开发，怎样把 AI 接进完整工作流，以及哪些判断仍然不能外包给模型。1
这期适合记住 5 个判断：
- 「Evals are the new PRDs」。 当问题定义清楚时，eval 可以把用户痛点和合格答案变成可重复检查的任务。PRD 仍然有用，尤其适合让大团队对齐目标与体验；但产品团队不能只交付一份文档，还要能测出用户价值。1
- Token spend 是投入，实验才是产出。 Dianne 不把 token maxing 只理解成多花额度，她更在意实验结果。把目标放在实验速度与学习上，才是产品视角的用法。1
- PM 也要先写测试。 她把这种工作方式称为「test-driven development for PMs」：先写测试，再观察模型、工具和产品哪里需要改。AI 产品输出并不总是一致，团队必须贴近失败细节，也不能改善无法测量的东西。1
- 先有自己的观点，再让 AI 反驳你。 Dianne 会先形成自己的判断，再把 Claude 当作 sparring partner。她希望 Claude 在想法还没成形时提出异议，而不是只给一个让人满意的答案。1
- 人的优势，是见过更多、判断过更多。 她认为，hard-earned judgment、持久性和主动性仍然重要。AI 可以造出很多东西，人要决定哪一个值得做。1
今天可以试试
挑一个真实痛点，收集 10 条输入，先写出合格标准。读每次失败的轨迹，标注幻觉或过度自信，再把这个痛点写成新的 eval，回到模型和产品一起改。
Comments
Sign in to comment.