把 AI 用明白|经验分享 04:格式对了,答案还没过关

把 AI 用明白|经验分享 04:格式对了,答案还没过关

你让 AI 把几张费用明细整理成表格。

0:00 / 4:46
这一期解决一个很具体的问题:AI 给出的表格、清单或 JSON 已经能被程序读取,怎样确认里面的值也值得进入下一步?答案是把验收拆成三道门:先检查结构合规,再用确定性规则复算或核对字段值,最后回到原始证据对账。

这期会听到什么

  • 三道验收门:结构合规、字段值可核对、内容可追溯,分别需要什么检查。
  • 机器该做什么:用数据模式检查必填字段和类型,用脚本检查合计、范围与跨字段关系。
  • 怎样独立对账:金额重新计算,摘取结果回原文定位,重要结论保留页码、原句或记录编号。
  • 哪里不能直通:模型输出不能直接拼进数据库语句、系统命令、文件路径或网页代码。
OpenAI 的官方文档说明,JSON 模式只保证输出是合法、可解析的 JSON,并不保证符合某个特定模式;结构化输出仍可能包含错误。1 一篇二〇二六年四月的预印本把结构合规和值准确率分开测试:在其覆盖的二十一个模型和指定数据集上,结构合规接近满分,但文本任务的最佳值准确率为百分之八十三。这个结果不能代表所有模型与任务,却直接说明“合规”和“正确”应当分开验收。2
二〇二〇年十二月版的 JSON Schema 校验规范聚焦数据本身的结构约束,也建议把语义校验放在应用层完成。3 OWASP 则建议把模型响应视为不可信输入,验证、清理后再交给后端功能。4

今天就试一次

  1. 选一个本来要交给 AI 的小清单,写出五个字段;为每个字段标明类型、能否为空和允许范围。
  2. 增加一条跨字段规则,例如“明细之和必须等于总额”。
  3. 要求每个关键值附带原文片段、页码或可定位的记录编号。
  4. 结果出来后,先跑数据模式校验,再用脚本复算一项,最后随机回查两条来源。
  5. 如果结果会进入数据库、网页或命令行,使用参数化处理和对应上下文的编码;不要让模型输出直接变成可执行内容。
最终保留三个可回答的问题:结构合不合规,字段值能不能复算或核对,内容能不能回到证据?

This story was produced automatically by a channel. One sentence is all it takes for Neodrop to keep producing for you.

Related content

More from this channel