从可玩演示到失败记录:Mollick 与 Chollet 把 AI 的验收表补上了

从可玩演示到失败记录:Mollick 与 Chollet 把 AI 的验收表补上了

Mollick 展示 AI 生成可玩软件并观察开源模型权重,Chollet 要求 AI 报告失败实验,帮助读者把产品演示、开放权重与企业验收放进同一张证据表。

演示已经变成作品,证据还没有跟上

在北京时间 7 月 27 日 08:00 至 7 月 28 日 08:00 的窗口里,最值得追踪的新增观点集中在 Ethan Mollick 和 François Chollet:前者展示 AI 已经能持续产出可玩的软件,并开始直接观察开源模型的权重;后者提醒,AI 研究和产品展示仍然只把成功的一面摆出来。两条线合起来,问题从「模型能不能做出东西」变成了「我们有没有记录它什么时候做不出来」。
核心名单里的 Sam Altman 只留下了一条脱离上下文的「wrong」,Ilya Sutskever 只有「Time to scale that SSI」,两条都不足以独立支撑判断。Andrej Karpathy、Yann LeCun、Demis Hassabis、Jim Fan 在窗口内没有可纳入的原创主线。因此,今天的材料主要来自频道允许扩展追踪的 Mollick 与 Chollet,且没有用旧推文补足篇幅。

Mollick:AI 生成物开始值得试玩

Mollick 在 7 月 27 日 10:08 发布的一条推文里,介绍了 Fable 为他做出的 Piranesi 城市建造游戏。游戏的核心机制不是摆放现成建筑,而是建造由拱门和水道组成的城市,让人类住进一片「cyclopedian ruins」式的废墟中。他说这次作品「impressed me」,并附上了试玩入口。1
这条内容的价值不在于证明 Fable 已经能稳定开发游戏。推文没有给出代码规模、运行时长、错误率或用户测试结果,试玩页面也只是一个可交互作品入口。它能证明的事情更具体:AI 生成的交付物已经可以从一张图片或一段演示视频,变成一套有规则、能继续操作的环境。验收对象随之增加了。产品团队除了检查能否启动,还要检查输入是否真的改变状态,状态是否会无故丢失,用户能否在关键节点接管,以及生成的规则是否能被解释。
几个小时后,Mollick 又写道,凭借当前 Codex 和 Claude Code 的能力,人们已经可以按需制作「truly unique, visually interesting and creative playable demos」,没有必要继续复制那六种常见的 AI 游戏范例。他的「Get weirder!」听起来像一句审美要求,实际也包含一个工程判断:如果系统只会复刻已有模板,生成能力就很难转化为新的产品假设。2
这里仍然不能推出「AI 已经具备独立产品设计能力」。Mollick 展示的是作品样本,不是受控实验。但样本的形态正在变化,企业评估也不能只看截图或首屏效果,至少要把交互连续性、异常处理和二次修改成本放进验收表。

他看到的 AI,和科幻小说预想的不一样

Mollick 还说,自己读过很多科幻作品,却没有哪一部真正预见了今天这种 AI。他指的不是 Culture Minds 或 Golem XIV 那种高度人格化的超级智能,而是「统计语言模型」在当下和近期做出的各种事情。3
这句话可以和他的可玩软件观察放在一起读。AI 的现实形态既不像一个全知全能的数字人物,也不只是聊天框里的自动补全,它更像一批可以被临时组织起来、输出软件和媒介作品的统计系统。能力边界因此很难靠传统的科幻类比来判断:一个模型能写出有趣的游戏,不代表它能长期维护游戏;它能生成有风格的场景,也不代表每次修改都能保留原有规则。

从看权重,到要求公开失败

Mollick 同日还写道,自己正在阅读「the most powerful open weights AI model yet released」的权重。他只描述了第一页的粗略印象:大部分是负值,随后出现一段零值,最后有一个出乎意料的大正值。4
这条推文没有写出模型名称、权重格式、读取方法、层的位置或这些数值与性能之间的关系。因此,它不是一份模型分析报告,不能据此判断模型架构,更不能据此推导能力变化。它更像一个公开的研究过程片段:使用者开始把模型当作可以检查的对象,而不是只通过排行榜和产品接口认识它。对开源模型而言,权重公开并不自动带来可理解性;真正有用的透明度还包括加载方式、训练信息、评测脚本、失败样本和复现实验。
François Chollet 在北京时间 7 月 28 日 04:16 写得更直接:「In science, you have to report the experiments that didn't work, not just the ones that did. Same with AI. (I wish.)」5
Chollet 没有在这条推文里给出具体案例,也没有列出一个现成的失败披露标准,所以这不是对某个实验的事实指控。它提出的是证据结构问题:成功演示能说明系统在某些条件下完成过任务,却不能告诉我们任务对提示词、环境、人工干预和偶然路径有多敏感。没有失败记录,读者就无法估计成功率,更无法知道系统会以什么方式失控。

今天该把什么写进验收表

这几条推文共同给出了一份比「模型排行榜」更实际的检查清单。对于生成可玩软件的 Agent,记录每次运行的输入、生成版本、关键状态、人工接管点和最终修改量;对于开源模型,记录权重来源、加载与推理条件、失败样本和可复现实验;对于任何面向真实用户的功能,再补上停止、回滚和责任人。
Mollick 展示了 AI 作品正在变得更具体,Chollet 则提醒我们,具体作品仍然只是成功轨迹。没有失败样本,产品演示无法变成可靠的能力边界;没有过程记录,开放权重也只是一种可下载的黑箱。今天真正缺的不是又一个「能不能做」的答案,而是做不到时留下的那份记录。
Loading content card…
Loading content card…

Related content

  • Sign in to comment.
More from this channel