企业 AI 为什么还慢:真正卡住的是数据、权限和 agent identity

企业 AI 为什么还慢:真正卡住的是数据、权限和 agent identity

The Data Exchange 对谈 Gradient 的 Denise Teng,解释企业采用 AI 的瓶颈为何落在数据出域、open weights、RL traces 和 agent identity。

单集信息

字段内容
播客The Data Exchange with Ben Lorica
主持人Ben Lorica
嘉宾Denise Teng,Gradient partner,负责 early stage AI investments;曾在 Meta AI platform team 任 product manager 6 年
集标题Enterprise AI Is Moving Slower Than You Think
发布日期2026 年 7 月 23 日(按新加坡时间显示)
原集链接原始音频

企业采用慢,先卡在数据而不是模型

Denise Teng 对 enterprise AI 的判断很具体:non-tech enterprises 的 adoption 仍然 relatively early。银行、保险和医疗尤其慢,不是因为它们看不见模型能力,而是因为 internal knowledge 和 data 本来就是公司的 moat。把这些内容送进 closed source model company,意味着隐私、合规、权限和商业秘密都要重新评估。1
这也是为什么「给员工开一个聊天机器人」和「让 agent 进入企业 workflow」是两回事。前者可以先试,后者要求企业先把 data ready for AI and agents,再补上 security、data privacy 和 monitoring。Teng 明确说,写一条 policy 并不等于真的能监控 AI;关键在 deployment,要让数据不会随调用流向不该去的地方,同时支持 on-prem 或 private cloud。她把这些实现称作不容易的工程,而不是采购一个模型就能完成的配置。
Ben Lorica 举了一个和美国大型银行高管交流的场景。节目没有把这个个案包装成全行业统计,Teng 的结论也只是银行等行业 adoption 更慢。对企业读者来说,这个限定很重要:本集讲的是部署条件的结构性阻力,不是宣布所有金融机构都停在试验阶段。

Open weights 成为私有部署的现实路径

Teng 认为,open source / open weights 对企业的一个重要价值,是让企业不用把数据交给 closed source model company。只要找到合适的 inference provider,或自己搭建 GPU 和 serving stack,企业就能在 private cloud 或 on-prem 环境里获得不错的性能。1
她给出的时间差变化很值得注意。三年前,open models 可能落后 closed frontier 10 到 12 个月;今年差距缩小到大约 6 个月,甚至 3 个月。节目还提到,closed model 发布新前沿模型后,open models 可能在 3 个月后就追到足够可用的水平。这里的「可用」不是所有 benchmark 都追平,也不是在任何任务上同等,而是足以让企业重新计算隐私、成本和控制权的价值。
这条路线也有反面。Teng 说 open weights 的 supplier list unpredictable,因为 open weights 本身是 business decision,而 business decisions can be reversed。节目提到 Meta 曾退后一步,Google 的 Gemma 则是另一种例子:它不如 Gemini,但对很多 routine work 已经 good enough。对企业来说,问题不只是今天哪个权重开放,还包括明天供应商会不会继续维护、更新和承担责任。1

Vertical AI 已经从聊天框走向 workflow

Teng 观察到 traction 较明显的 vertical AI 场景包括 legal、healthcare 和 finance。早期产品可能只是叠在内部领域知识之上的 another ChatGPT experience,现在更多团队转向 agent-first workflow。法律场景会自动化 deep research、case 和 deposition 相关工作;医疗场景涉及 scribe、insurance data 或 patient history data;金融场景则更接近研究和分析流程。coding agents 也很热,但它是由 engineers 为 engineers 做的 domain-specific 例子,不能直接代表所有企业。1
这些产品的共同点不是「更会聊天」,而是能替人跑完一段工作,让人只看最后的分析结果。于是企业的评估标准也会变:回答是否流畅只是开始,数据权限是否正确、过程是否能审计、错误能否回滚,才决定它能不能进入生产。

RL 在生产里还没有真正到位

节目把 post-training 的瓶颈指向 data。企业数据分散在 dashboard、data warehouse、CRM 和 SaaS tools 中,一个 workflow 可能要访问许多工具,但 actions 没有统一结构,也没有 universal way 生成 agent-learnable 或 post-train-learnable traces。Teng 的原话是:「RL is there, but it’s actually not there in production。」1
这解释了 supervised fine-tuning 和 reinforcement fine-tuning 的差别。SFT 对 non-programmer 更容易,因为写 labeled examples 就够了;RL 则需要 domain expert 参与,还可能需要 synthetic data、synthetic environments、dashboard、terminal、MCP 或 API call。它不是多写几组 prompt-output pair,而是要构造一个 agent 可以在其中行动、犯错和学习的 program environment。

Agent identity 是还没填上的一栏

当 agent 进入企业系统,runtime 只是第一层。它需要 sandbox、隔离和长时间后台运行能力;更难的是 identity 和 credentials。安全团队要知道 agent 能访问什么,agent 的权限是继承 human access,还是只得到 human 权限的一部分,或者再生成更细的 sub-access。Teng 把 agent identity 称作 massive and unsolved problem。1
AI memory 也属于同一类基础设施问题。它不只是记住个人的 prompts、skills 和 files,还要把组织中不同人的 memory 连接起来,具备 semantic connectivity、searchability 和 graph flavor,并能低延迟取回正确的 context。这个 data layer 如果没有解决,agent 只会变成拥有更多工具、却不理解组织边界的自动化脚本。

订阅价遮住了 inference 的真实成本

对谈最后把视线放到 inference。需求在增长,但供给受 data center 和 chips 约束;从 hosting、serving、kernel optimization 到 model routing,都还有工程空间。Lorica 提到 $20 或 $100 的月订阅,以及一次任务花掉 $10 的可能性。Teng 的判断是,inference 目前 heavily subsidized,如果按真实成本收费,用户可能会被价格吓到。她还开玩笑说,CFO 正在变成 CTO,也就是 chief token officer。1

这集适合谁,哪些可以跳过

  1. 做企业 AI、私有部署或平台安全的人,重点听 data 不出域、open weights 的时间差和 agent identity。
  2. 做 post-training 或 agent infra 的团队,重点听 data readiness、RL traces、sandbox 与 memory layer;这些是本集最有用的技术增量。
  3. 只想看 AI bubble 评分的人可以跳过结尾的投资讨论;嘉宾自评担忧程度是 1 到 10 的第 6 档,主持人给自己 8 或 9 档,但文章真正应该带走的是:采用速度慢,主要因为部署条件还没准备好。

Related content

  • Sign in to comment.
More from this channel