Neodrop
Create
FeedDiscoverMy ChannelsAuto-publishJoin Our Discord
FeedDiscoverCreateMy Channels
1/28
2026-10-21

一页一美分,读错的那页最贵

16 档顶级海外 AI 创投播客图文笔记
16 档顶级海外 AI 创投播客图文笔记@FC
这一期我记住的不是模型,是一个数字:80.7%。Medicare Advantage 在 2024 年拒掉的 410 万次事前授权里,只有 11.5% 被申诉,而这些申诉里 80.7% 推翻了原决定。
Reducto 联合创始人阿迪特·亚伯拉罕和 a16z 普通合伙人珍妮弗·李聊了 38 分钟:从 OCR 的三代讲到自研的 r-1,从一页一美分讲到为什么「读错一个词」在医疗里不是小事。
下面按节目顺序整理了全部要点,然后是逐句全文翻译。

一、为什么这件事不是模型实验室顺手能解决的

节目从一句反问开始:大模型实验室也在做知识工作,视觉多模态也一直在变强,为什么文档这一层还需要一家独立公司?阿迪特的回答分两层。第一层是问题的谱系极深——他自己做这行,仍然会撞见没预料到的边角情况:PDF 里套着 PDF,像文件夹一样;连忠实地渲染一个 Word 文件,都没有好用的开源工具。第二层是分工:他认为实验室打的是「为世界造超级智能」的军备竞赛,而 Reducto 做的是让它变得有用的那层基础设施。
更关键的是一个聚焦上的判断。他说,给 ChatGPT 供电的模型,视觉编码器要能把一张自拍变成吉卜力风格的画;而 Reducto 只需要在这一组文档测试上极强。「你不可能把所有 PDF 解析都扔给 Astra,但我们想要 Astra 级的水准。」1
公司背景:Reducto 2023 年由阿迪特·亚伯拉罕与劳纳克·乔杜里在旧金山创办,YC W24 出身,阿迪特此前在 MIT 读计算机、在 Google 做过 Ads/Search 的产品经理、在 MIT Media Lab 做过机器学习研究。2

二、OCR 的三代,与为什么要有自己的模型

他把文档处理分成三代。最早是文件处理问题,1990 年代人们的难题是「怎么把页面忠实地打印成 PDF」。然后是模板式 OCR/IDP:拿一张 W-2,给姓名该出现的像素位置画框,再对文本做后处理——对稳定的流程够用,对长尾不够。2023 年两件事同时发生:上传文档的人不再容忍复杂,默认它就该能读;而工具一侧,视觉语言模型第一次能在内容上推理。
Reducto 的起点因此是两段式:用传统计算机视觉保住版面与边界框,用 VLM 当纠错环。这样做牺牲的是准确率与延迟之间的取舍,换来的是确定性与可追溯——客户要知道答案是从哪一行来的。等到多模态推得足够远,r-1 把这两段合成一个端到端模型:仍然保留边界框,输出仍然一致,但不再需要多步拼接。
官方口径:r-1 于 2026 年 9 月 1 日发布,比旧的多步管线错误率下降 20%,价格一页 1 美分全包(旧管线为 3 到 6 美分),官方称便宜至多 6 倍、速度更快。3

三、最难的数据,与「比人更准」的自检

最难的不是学术意义上的脏数据,而是人排版的习惯:有人用一长串句点分隔两段空白,一行一百个点,VLM 就会陷入复读。真正困难的是跨页表格、扫描歪掉的列、要拼起来才能看懂的蓝图。
精度是门槛而不是终点。传统 OCR 通常停在 70 到 80 分,而他认为今天的多数场景要做到 90 分以上;但一份贷款材料要经过切分、抽字段、填表十几道工序,每道 90% 会让错误复利下去。
Deep Extract 是他给出的答案:这套 harness 与模型无关,它给模型工具去回查自己的输出、去立验证规则——比如一张几百行的发票,让一个上级 agent 核对明细加起来等不等于总额。他的判断是,这是第一次在很多测试上 agent 的结构化抽取比人更准,因为人的「标准答案」也会漏行、只填一半。他给的理由很朴素:「人不只是会犯错,人是会漏。」

四、一页一美分,与第 70 亿页

成本这一段的判断最反直觉:按页计价的真正作用不是省钱,是取消一个决定。当一页要 3 到 6 美分,你必须先分类哪些页值得送进精确管线;一页一美分之后,理想状态是每一页需要模型读的纸都先过一遍。
录制当天早上,他们跨过了第 70 亿页;每月处理数十亿页。他给的下一个节点是 10 月底过 80 亿。官网关于页写的是「超过 50 亿页」,那是上一版口径。4
客户结构也在变:早期是 Harvey、Rogo 这类 AI 原生公司做信息综合;现在最大的对冲基金、PE、科技公司都在用。他的说法是,对一家基金而言,聚合信息的管线本身就是 alpha。

五、harness:多端点、引用与对账

客户开始把两个以上端点串起来用,于是「评测、复核、搭工作流」变成刚需。他举的例子很具体:谈过合同的人电脑里都有好几版划线条款,除非有人把文件标成 final,否则分不清哪版最新;于是有重复内容、有互相矛盾的材料,需要一份可以落地的对账。
为此他们把引用做得很细——不只给出「答案在这份文档里」,而是「我们知道 X 是答案的那一个词」。当两份文档都能指到词,agent 才谈得上在两者之间核对、落到真相上。
这一段他用了 Cursor 的旧故事说明市场差在哪:2023 年,代码补全时代的工具做到 100 万美元 ARR 就值得全体剃头庆祝;今天同类公司多家过了 10 亿美元。而专业服务没有出现同一条曲线,卡住的不是智能,是「二阶问题」。

六、他们不跟实验室比推理

被问「为什么实验室不做这件事」时,他把边界说得很清楚:Reducto 做的工作和智能是切向的,不比推理质量。真正被低估的是问题的深度,以及聚焦带来的价格优势——在同等精度下,他们能把报价压到前沿模型做不到的位置,这决定了「什么时候值得用」。
被问下一步,他的答案是「改」而不是「读」:翻译对模型很容易,把译文套回原来的版式很难;Office 套件对 agent 意外地难,而人的工作恰恰在那里。他们要先做一个「没有界面的 Word」,以 ChatGPT 插件的形式出现。

七、长文档抽取:召回才是分水岭

这一期信息密度最高的一段,是他讲那份基准。micro1 的 LongExtractionBench 用 225 份文档、平均 358 页、每份约 8.8 万个真值字段,把 7 套系统放在一起跑:4 个抽取平台,加 GPT-5.5、Claude Opus 4.8、Gemini 3.1 Pro。结论不是「谁更准」,而是:精度普遍很高,召回从 49% 到 99.6% 差出一大截;Gemini 3.1 Pro 只完整跑完 112 份,Claude Opus 4.8 是 116 份。前沿模型的失败模式是悄悄漏,不是算错。5
需要说明的是,这份基准由 Reducto 委托执行:文档由 micro1 选,方法由 Reducto 设计,标注、复核与发布归 micro1。Reducto 自己的公告称,Deep Extract 在四项指标上均列第一(完整度 100%、精确率与召回率 99.6%、叶节点准确率 99.3%),完成全部 225 份、零失败。6

八、评测怎么才算数

他对基准的态度是这一期最值得抄走的部分。第一,先看数据分布是否代表你的活;简单的文档用简单管线就够,别拿通用榜单看。第二,别定太死的规则:同一条信息可以有两种忠实的写法,死规则会把对的判成错。第三,他自己承认,基准这些年已经变成了营销——当所有东西永远是「state of the art」,你很难知道什么在你的场景里是好的。
他给的检验办法也很朴素:同一批文档,加一点噪声(倾斜一度、加一点高斯模糊),发布那份基准的厂商掉得最狠,其他家基本稳住。他还说,客户的黄金数据集往往不黄金:人做会漏,为省钱用便宜模型生成会带进那个模型的错。

九、后果:一个被读错的「胸痛」

这一期最重的一段。一家医疗客户的材料是几英寸厚的纸包,初始管线把「胸痛」读成了别的词,医生检索病史时查不到,理赔因此被拒。医生在这些系统里已经超负荷,不会去复核 OCR——他们相信工具是可靠的。他说,这不叫「哎呀识别错了」,这是一个人的结果。
量级也解释了他为什么在意召回:有些场景现有工具的准确率低于 50%,一个病人的纸包可能有几万页,最好的办法只剩「大致知道信息在哪一页」,然后让人去看,而人根本看不过来。
他用 Medicare Advantage 的数字说明原始判断有多不可靠:2024 年 5,280 万次事前授权、410 万次被拒(7.7%)、只有 11.5% 被申诉,而这些申诉里 80.7% 推翻了原决定。7 同一个逻辑也适用于移民局积压、海关单据与后台外包:大量流程卡在「准确率还不够高到可以不需要人」。

十、还有多少手工活

他最后说,最想让它先消失的是手工数据录入——世界上还有很多人拿着纸质文件,把上面的内容抄出来。他提到在会计领域 Basis 做得很好,也提到一家做海关与边境保护局表单的大型会计服务公司、以及替大公司做后台的 BPO。
这里有一处口径要标出来:他说美国有 16% 的报税人仍然纸质邮寄报税;IRS 的官方统计是 FY2025 个人申报 93.7% 电子提交,也就是纸质约 6%。两个数字对不上,方向一致、量级不同。8

逐句全文翻译

以下是整集 38 分 17 秒的逐句中文翻译,按节目顺序排列,保留「珍」「阿迪特」「旁白」「片尾」的说话人标签,不压缩、不摘要、不删减。底稿是官方整集音频的完整转写;这档节目的官方视频当时尚未上线,所以两位说话人的归属由声部分离与对话内容共同判定。

片头与转向文档之前(00:00–03:58)

片头(阿迪特):我们进 YC 的那一天,就对自己说,我们要转向。没有人会在把一份文档上传给 ChatGPT 的时候去想它有多复杂,你只会默认它能读。而另一边,用来解决这件事的工具已经强了太多。对我们来说,文档几乎就是人类工作的抽象和产物。这是我第一次发现,在很多测试上,agent 做结构化抽取可以做得比人更好。最好的 Reducto,是让你可以把 PDF 处理这件事整个抽象掉,哪怕这些 PDF 里面还套着一层一层的麻烦。
珍:考虑到大模型实验室也在盯知识工作,而且他们自家模型的多模态视觉能力也一直在变强,你为什么认为这不是他们会顺手解决的问题,而需要 Reducto 这样一家独立公司专门去做?
阿迪特:有一件事被低估了,就是这个问题的谱系有多深。当然,实验室或许可以深挖下去,把这一件件工具都造出来,但我个人认为,他们打的是另一场军备竞赛。
旁白:AI agent 的推理正在变得强得多,但它们做真实工作所需要的大量信息,仍然被困在 PDF、电子表格、扫描件和其他机器难以可靠理解的文档里。本期,a16z 普通合伙人珍妮弗·李与 Reducto 联合创始人兼 CEO 阿迪特·亚伯拉罕坐下来,拆解「让 AI agent 处理文档」背后这个难得出乎意料的基础设施问题。他们谈到为什么传统 OCR 不够用、视觉语言模型怎样改变了文档处理,以及为什么一个在基准上看起来挺准的模型,遇到又长又乱的文档时仍会悄悄漏掉关键信息。阿迪特还讲了 Reducto 为什么自研专用模型、为什么 agent 在结构化抽取上有时能靠自查做得比人更好,以及当 AI 不只读文档、还能可靠地修改文档并据此行动时,什么会成为可能。因为当 agent 走进医疗、法律、金融和保险,一次文档处理的错误不再只是一次 OCR 错误——它会改变真实世界里的一个决定。
珍:阿迪特,欢迎来到我们的播客间,很高兴你能来。
阿迪特:谢谢邀请。
珍:我想从头问起。你和劳纳克刚开始做 Reducto 的时候,我记得是在做和记忆有关的问题,后来是什么
阿迪特:什么——
珍:把注意力转到了文档上?以及为什么它到今天还没有被解决?
阿迪特:我们 2023 年开始做,那时候模型的上下文窗口还小得可怕,所以「记忆」是一件能真切感受到的、摆在最前面的问题。我还记得我们进 YC 的那一天,我们跟黛安娜说我们要转向,她意外地好说话。现在回头看我们才有的那个说法,老实说当时并没有这么清楚。你想想看,agent 会去做各种各样属于人的工作,而文档恰好就是人类工作的抽象和产物。医疗、法律、金融、保险里那么多白领工作都在 PDF 和电子表格里:你从里面读,往里面写,它们把那些知识编成目录。所以如果你要让 agent 在医疗里干活、去读病人的病历,那它读到的保真度必须和你本人去看时一样。搞错一个勾选框,不能只是一句「哎呀」,那是这个病人的结果。我们就是在这里真正兴奋起来的:人类将要处理的文档比历史上任何时候都多,那你要怎么造出那个把合成智能和人类知识连起来的界面?这件事一直往下螺旋。我们究竟怎么走到这里,有一部分是地点和时间对上了——垂直 AI 应用刚刚开始冒出来。我们的背景是计算机视觉,我们开始和很多早期的 AI 原生公司聊天,意外地反复发现同一个趋势:大家都卡在文档处理这一层基础设施上。因为我们的背景是 CV 研究,我们想从更根本的问题去看:怎么像人一样把它读出来?然后就越滚越深了。

OCR 的三代,与自研 r-1(03:58–08:50)

珍:也许可以拆开讲一点。OCR 这门技术大概二十年前就有了。
阿迪特:是有很久了。
珍:对。而且我知道 Reducto 一直站在视觉语言模型上面。也许可以先给一个快速的引子:你看到传统技术在哪儿不够用,大模型和前沿的 VLM 又在解决这些乱糟糟的问题上走到了哪儿,以及它们现在还在哪儿欠缺。我觉得还有不少问题要解决。帮我们把 Reducto 眼里的文档世界拆解一下。
阿迪特:我总开玩笑说,我真的见过做 PDF 处理比我活得更久的人。1990 年代就有人在写驱动,把页面打印成 PDF——那本来就是这种格式的原初目的:怎么把一页上的所有字符忠实地表现出来。这件事可以分成几个时代。最早是文件处理的问题。然后出现了那些基于 OCR 的 IDP 公司。通常的做法是这样:你手上有一张 W-2,你就给 W-2 画一个模板,像素级地知道姓名出现在这里,再对那段文本做后处理。对很多一致的流程,这没问题。但 2023 年变的地方是:没有人会在把文档上传给 ChatGPT 的时候去想复杂度,你只是期待它能用。另一方面,你手上的工具强了太多——VLM 有了在内容上推理的能力,这是过去没有的。这两件事刚好在我们创业的时候撞到一起。文档说到底就是图像:一块九乘十一的网格,信息可以摆在任何一个位置。它不只是页面上的字符。它是——当你有两栏的时候,你要理解你在读第一栏、然后是第二栏;当你有一张表的时候,它是二维的数据,而你要保住行、列、合并单元格,以及中间的一切。所以我们刚开始的时候,把问题拆成两半:怎么用传统计算机视觉保住结构,怎么用 VLM 当纠错环。因为准确率和延迟之间有明显取舍。我们非常在意的不仅是准,还有确定性、可追溯性——客户需要知道我们是从哪里得到这个答案的,而传统 CV 在这一点上非常强。但随着大家把多模态往前推,我们做了很多有意思的工作:怎么为这类任务造出最好的 VLM。r-1 就是从这里来的。现在我们有一个统一的模型,端到端做完整件事,没有历史上那些取舍;边界框还在,输出依然非常一致,但它把页面上的所有东西都抓住了。
珍:既然你提到 r-1,我们就聊聊它。你们大概是从用现成模型起步,后来决定自己后训练一个基础模型,那就是 r-1,据说准确率更好、速度更快、成本更低。也许可以多讲讲你们是怎么把这个模型推到前沿的,以及你认为它会解锁什么——因为我发现,在 AI 这个领域,当你解锁了一个不同的基础,原来只敢想象用法的东西就突然变得可能,而这一点 Reducto 已经反复证明过。
阿迪特:要做的工作很多。我们很幸运,团队里有这个领域最好的一些研究员,所以这不是一个季度的突破,我更愿意把它看成公司成立以来所有工作的累积。有很长一段时间,我们把大量时间花在生产里抓错误:我们搞砸了这张表,那怎么做出更好的表格表示?还有,我们很幸运能接触到一些最难的数据分布——我们服务最大的企业、最领先的 AI 原生公司,他们帮我们看清不同类型的模型会失败在哪里。所以我们在模型架构之外,在它周围的数据管线上也投了非常多时间。产品就是这样做出来的:后训练和中期训练之间有一个很好的 RL 循环。
珍:最难处理的是哪些数据?那些边界情况里最难解的是什么?给我们举几个例子。
阿迪特:这要看你用什么工具。比如说 VLM 的一个特点是,重复会变得非常讨厌。你会遇到一些 PDF,人们用句点来分隔两段空白——人就是这么排版的。当你有一百个连续的句点,VLM 就开始不停地把句点改来改去。但我们真正见到的范围,比这种「最后一公里」的技术细节难得多:真实世界里,你会遇到跨两页的表,扫描得又不够好,于是列对不上,你得开始考虑结构,专门写管线把两半合起来、把上下文保住。你也能想象,人们在拍蓝图和图纸的时候,那些页面极其密——你作为人都得放大才看得懂。所以你需要一种近乎拼贴的方式,去理解这一页上到底有什么。这些正是我们想确保自己做得极强的部分。

最难的数据、精度阶梯与自检(08:50–12:17)

珍:也聊聊准确率。我发现,准确率每上一个量级,你能真正交给自动化去跑的场景就会多一批。传统 OCR 其实很多还在 70 到 80 这个区间,离 97、98、有时 99 还差得远。你们瞄的是什么?在一个还需要人参与,和你真的可以用 agent 替掉整条文档处理管线之间,你怎么想这个取舍?
阿迪特:这其实引出了我们在解析之外做的事。解析是那个核心积木——你怎么知道这一页上有什么。对绝大多数场景,我们今天可以做到 90 分以上。有些边角情况,比如医生的手写,我自己都认不出来,所以我甚至不知道我们做得好不好。但如果你看的是一个端到端的任务,比如你在收一份贷款材料,那不只是解析:你要切分内容、抽单个字段、最后可能还要填一份贷款申请表,每一步都得准。如果你要收十几个文件,单页 90% 是不行的,因为那些错误会复合。所以我们最近很多有意思的工作不在模型层。我们开始发布围着这件事的 harness。Deep Extract 就是一个很好的例子:这是我第一次发现,在很多测试里 agent 做结构化抽取可以比人更好。我们遇到的情况是,人工标注出来的标准答案本身就有很多错,而他们原本不会知道,因为那就是「标准」。那你的比较基准是什么?但你想想,人也会犯各种错:人会漏内容、会丢行、可能偷懒只填一部分。可如果有一套 harness,让 agent 不只是抽取,还去纠正自己、检查自己的输出,你就能把这件事往「完美准确率」那边掰。
珍:那么在准确率和延迟之后,我们聊聊成本。现在降到一页一美分,同时解析和抽取的质量还很高。当你有了一条这么强的文档处理管线,你觉得什么会变得可能?它还能解锁什么?你见过哪些用法,是人们过去犹豫着不敢丢给模型、丢给管线的,而现在我们可以真的从经济上算得过来、用 agent 去做?
阿迪特:有很长一段时间,大多数 AI 产品就是聊天机器人,你只能限定一组来源,就在那里面工作。如果真要让 agent 干活——人很擅长意识到「我信息不够,我去找更多」,对吧——那你理想上会希望 agent 去网上搜、去知识库里检索更多东西。而理想状态下,人们不该再从「解析一页要花我多少钱,所以只有这些页能进准确管线」这个角度去想问题。
阿迪特:今天,就在今天早上,我们跨过了第 70 亿页。现在我们每个月处理数十亿页。我们想达到的状态是:每一页需要被模型读的纸,都先经过 Reducto。而这必须是无摩擦的。所以作为一个团队,我们还有很多事要做。一页一美分是我们的标价,但我们也在做很多工作去理解:在更大的量上——如果有人想处理几百亿页——我们怎么让它跑得起来?

一页一美分、70 亿页与 harness(12:17–15:35)

珍:太酷了,恭喜跨过 70 亿。我记得你好像发过推,讲从零到 10 亿页花了多久,它只是
阿迪特:越来越
珍:越来越快。要不要预测一下什么时候到 80 亿?
阿迪特:我们原本说这个数字会在 10 月底出来。我觉得到那时候我们会过 80 亿。
珍:太好了。
阿迪特:我们每周处理的页数一直在破纪录。
珍:太棒了。也许可以多讲讲是什么在推动这个增长。你看到的,是哪些类型的活儿会涉及这么大量的文档?
阿迪特:我会把最早那一波用例归成各种形式的信息综合。聊天机器人对很多人来说终究是搜索工具。所以早期我们和很多领先的 AI 原生公司合作,比如 Harvey 这样的,还有 Rogo 等等。但越来越多地,最大的对冲基金、最大的 PE、科技公司开始采用我们,这些案例到处都是。有些情况里他们在造工具,让 agent 在数据上推理;有些情况里他们是在做真正的工作。比如你是一家对冲基金,
阿迪特:你用来聚合信息的管线就是你在市场上的竞争优势。所以如果你能更快、更稳地把所有能拿到的信号收上来,那就是 alpha。这类事情我们见得越来越多。
珍:顺着这个,我们很想聊聊你们搭的那套 harness,讲讲背后的灵感,以及最大的 PE 基金和最大的金融服务公司是怎么采用它的。
阿迪特:我们开始看到很多客户把两个以上的端点一起用。而要部署到生产,你需要的不只是好的解析准确率,你还需要评测、复核、搭建自己工作流的工具。我们想把这一切都变简单。而且有些小事,放到真实世界里真的很难。如果你谈过合同,你笔记本某处一定有好几个版本的划线条款清单,除非有人把文件名标成 final,否则人很难知道哪个是最新的。于是你有重复的内容,你需要在互相矛盾、分散的信息之间做核对。这建立在我们在做的很多工作之上:我们花了大量时间做引用——不只是「这是答案,这是文档」,而是「这是我们知道 X 是答案的那一个词」。如果在一份文档上你知道这一点,在另一份上你也知道,你就能让 agent 更容易推理,理解「我该怎么看两份信息、核对之后落到真相上」。这就是我们真正想做的事:让文档工作更容易。支撑它的东西,我最近和团队聊过——你看 2023 年的代码生成市场,那时候工具还只是代码补全,规模只有今天的零头。我很佩服 Cursor 这家公司。我记得有个朋友剃了光头来吃晚饭,他们全体剃头是为了庆祝 100 万美元 ARR,那在当时是个大里程碑。

为什么不是实验室来做(15:35–21:54)

珍:Cursor?
阿迪特:对。哇。现在你看那个市场,很多家已经过了 10 亿美元 ARR。但在专业服务市场里,你还没看到这条曲线。问题是为什么?是价值不够吗?显然不是:医疗有那么多纸面密集的工作,保险、法律、金融也是。我觉得很大一部分原因是那些二阶问题——它们不是智能问题。我们想帮客户把这些问题解决掉。
珍:你觉得这里面有多少是技术问题,多少是文化、是采用速度的问题?比如人们不够放心去信任——尽管我们大概知道,在某些类型的工作上,模型会比人更准,人反而会丢行、漏列、填不全——但他们还是习惯了原来的流程。而另一边,开发者想把工作自动化掉,那股力量巨大,因为这在文化上是被接受、被鼓励的。
阿迪特:科技圈里确实有一部分是热情,这些东西对科技人来说几乎像玩具。但我觉得也要说后果。如果你 vibe code 出一个满是 bug 的东西,你可以把 PR 回滚掉,这在医疗里不成立。那里的代价非常、非常真实。所以我不认为可以把它只归因于「愿不愿意采用」。我觉得真问题是你怎么有足够的护栏,怎么让做决定的人有信心。这就回到我们说的引用、核对那些东西。
珍:对。我们也想深入聊聊,既然你们现在相当于是自己拥有模型和 harness、更深地进到工作流里,下一步是什么?
阿迪特:第一件事是,我们一直在做很多工作去解锁全部的交互模态,一个好例子就是文档编辑。我不知道你有没有花很多时间用 Claude for Excel 和市面上那些插件,但 agent 用 Office 套件其实是出乎意料地难,这很奇怪,因为人的很多工作恰恰在那里。举个例子,本地化是个真问题,人们投入很多时间,但翻译其实很简单:模型能把自由文本翻过去,我们想让「把翻译应用上去」变容易——你有一份英文文档,怎么让你把它翻成阿拉伯语或别的语言变得非常简单。所以接下来几周你会看到我们在这一块发很多东西。我们先从一个 ChatGPT 插件开始,你想改哪里就能改哪里,把它理解成一个没有界面的 Microsoft Word。但不止于此。整体上,我们想让那套工具在评测、监控和可观测性上非常健壮。更广地说,我们想达到的是让客户更容易用 Reducto 去改进他们的管线。他们会从 schema 优化这类一阶问题开始,但最终我们想走到人们能有效地把自己的上下文用起来。
珍:或许就做 ChatGPT 插件这件事展开一点:考虑到大模型实验室也在做知识工作,而且他们一直在提升自家模型的多模态视觉能力,你为什么认为这不会是他们解决的问题,反而需要 Reducto 这样一家独立公司集中去做?
阿迪特:我们做的很多工作其实和智能是切向的。我们不是要在推理质量上和实验室竞争。而我认为有一件事被低估了:这个问题的谱系非常深。即便我看过的 PDF 大概比大多数人都多……
阿迪特:我还是会遇到我们没预料到的边角情况。比如 PDF 里可以套着 PDF,像文件夹一样;你就算只是想渲染一个 Word 文件,也会发现没有好的开源工具能忠实地表示它——这也是 LibreOffice 这类库经常不够用的原因。所以,是的,实验室或许可以深挖,把这一件件工具造出来,但我个人认为,他们正在打的是一场为世界造超级智能的军备竞赛,而我们做的事更像是它周围的基础设施,让那件事更有用。另一点是,我觉得专注真的非常重要。我们能把需要自己擅长的题目收窄,这是我们能领先的很大一部分原因:我们不是在做通用模型。而一个给 ChatGPT 供电的模型,它的视觉编码器要能把一张自拍变成吉卜力风格的画。我们知道自己在处理哪个领域的信息,我们需要模型在这一组特定测试上极其出色。所以对我们的客户来说,当你在一个不只是要准、还要在规模上有成本和延迟的量级上处理文档时,我们能在同等精度下把价格压到前沿模型完全做不到的位置。这决定了「什么时候值得用」这件事。你不可能把所有 PDF 解析都扔给 Astra,但我们想要 Astra 级的水准。
珍:我觉得很多人的误解也在这里:以为可以从一份长文档里做一次模型调用,就把信息取出来。但通常它是一条管线:你得把文档拆开、分成一块一块,我认为你们在这上面花了很多工夫——拆解文档里有什么、理解格式、准确地转换它,把那些细枝末节都过一遍,确保每一块都被正确解析和抽取,同时在最后一公里用上
珍:能力强的大模型。也许可以讲讲一条典型管线的组成部分,以及它相比那种「一次调用」的做法,在价格和延迟上如何?

长文档抽取:召回是分水岭;评测怎么算数(22:07–27:37)

阿迪特:有一份很有意思的基准,是 micro1 发布的。它是独立跑的,我们有机会和他们合作,重点就是长文档抽取。我觉得它有意思的地方在于:我们把当时所有前沿模型都测了一遍,也测了 Reducto 和一些专用的文档解析器。结果发现,在精度上,前沿模型其实比很多专用解析器更好——只要它们真的抽了东西出来,它们更可能是对的。但前沿模型的失败模式在召回:它们会悄悄把信息漏掉。这种事在生产里非常非常难抓到。所以我们想 Deep Extract 这种东西的时候,里面发生的事很多:它不只是一个专门做抽取的模型,事实上这套 harness 对模型是无关的。我们给模型造了很多工具,让它能检查自己的输出、能立验证规则。比如一张巨大的发票,你怎么让一个上级 agent 确保明细加起来等于总额?就是这些细节,让它知道什么时候该回去把信息再核一遍。这也是我们唯一能把准确率做到接近完美的办法。同样的事也适用于我们做的所有东西,比如文档切分。
珍:也许可以聊聊基准这件事。一份基准可以看起来很棒。我们花了大量时间在真实世界的各种场景上做评测,micro1 那份对这件事很有代表性,但有时候它仍然会漏掉对客户自己很重要的细节。你怎么看……
珍:一份有用的评测该长什么样?当你的客户在拿 Reducto 和开源模型、或者别的前沿模型做同类任务时,他们最在意的是什么?
阿迪特:是,那什么
珍:以及你觉得他们应该最在意什么?
阿迪特:我认为他们第一该在意的是数据的分布,是搞清楚它对你想要做的事有没有代表性。如果你处理的本来就是很简单的文档,那很可能一条简单的管线就够了,你不该拿一份通用基准去看这件事。第二点,很多地方会出错,比如你怎么决定要测什么。我们最近写过一篇文章讲这个:在评测里定非常严格的规则,通常是个错误,因为同一条信息可以有两种忠实的表达方式,而你不该因此判它错。AI 行业有一件不幸的事——我不是要替谁开脱,我觉得这是普遍情况——基准这些年已经变成了营销。它的下游副作用是:当所有东西永远是「state of the art」的时候,你根本很难知道在你的场景里什么是好的。我们见过一些很过分的版本,我不点名,但我们测过一份……
阿迪特:市面上有一份公开基准,我们测过:如果你拿同一批文档,加一点噪声——把它倾斜一度,加一点高斯模糊——
阿迪特:发布那份基准的厂商会掉得比所有人都惨,而其他人基本稳住了。你可以从这个结果里得出结论。但这种事,普通人不会去做。所以我们的建议其实是:今天用大模型当裁判已经相当强,前提是你在评分标准上想得足够清楚。我们希望能看到这个行业往「人们用自己的数据去测」的方向走,也许配合一些让评测更容易的工具。总之,不要相信一份通用基准,你应该走到一个状态:你知道什么对你最好。
珍:你多久会遇到一个客户,手里已经有黄金数据集、准备好拿来评 Reducto?还是说——黄金数据集
阿迪特:得是好东西才行?
珍:我猜那本来就是期待,但……
阿迪特:对。通常情况是,人们确实有某种黄金数据集,但我们发现,取决于它是怎么做出来的,会有各种各样的问题。比如有的是人做的,于是人漏掉了信息;有时候是模型生成的,但为了省钱,他们可能用的是 Sonnet 而不是 Opus,于是 Sonnet 带进来一些错。
阿迪特:我发现,越来越常见的情况是,人们至少有某种形式的评测,但要保证这个评测站得住非常非常难。所以我们会花很多时间陪团队,确保他们在做任何正面比较之前,先对自己要怎么做测试这件事有底。
珍:那到今天,你们看到的绝大多数文档还是 PDF 吗?还是说别的格式开始渗进来、变得更多、也更难让大模型处理?
阿迪特:其实五花八门。我们支持四十多种文件类型。PDF 大概算是个旗舰的门面,但对我们来说,很多底层其实是图像处理。你可以想象,Excel 文件可以任意大:你事先不知道它是一张巨表,还是散落在各处的一堆小表。而模型即便上下文窗口足够长,处理这类信息也很吃力。所以你可以做很多事:为 Excel 造一份给模型读的表示,而不是把原文件直接丢过去。

Reducto 的边界、胸痛案例与 80.7%(27:37–34:11)

珍:那当内容越来越偏多模态的时候,对你意味着什么?我相信今天的 PDF 里已经可以嵌多媒体素材。我们把它拆成图像处理,这对模型来说更普遍、更好接近;但同时,对别的传统做法来说,它大概更难处理。你怎么看文件格式本身变得越来越复杂、包含越来越多的模态这件事?
阿迪特:我觉得到最后,随着你看复杂度,问题会一层层展开。一阶问题是:你怎么知道一份文档复不复杂?然后二阶问题是:你怎么知道某一页难不难?而在页面之内,有些区域又比别的区域更难。就像你说的,在金融里,最常见的表示数据的方式之一是时间序列:你有图表、折线图、柱状图,无论哪种,都非常难。人很擅长判断趋势线在往哪走,但你去问模型,会发现它们挺善变的。所以要能做到:这是一张折线图,我们不只要说出「收入上升了」,还要把每一个数据点描述出来,这样你才能在那些数据点上做推理。那是一个完整的子问题域,我们为此专门训了图表 agent。我很确定地说,这一块 Reducto 是行业里最好的一档。
珍:那个基准可以拉出来给大家看看,别的模型差得有多好笑。
阿迪特:视觉上看,差距大得惊人。但能以一种客户理想上根本不用去想的方式做到这一点,才是我们的目标。最好的 Reducto,是让你可以把 PDF 处理的问题整个抽象掉,哪怕这些 PDF 里还套着一层层的小麻烦。
珍:还有嵌套的表格。比如 Excel 里有多个工作表。我们越往这些问题里钻,越觉得这是一组没有边界的问题。
阿迪特:对。
珍:那么,放到未来几年的尺度上,你觉得 Reducto 会变成什么?你以文档处理和解析出名,但当你越来越多地去搭 harness、搭工作流、解更长周期的端到端问题,你认为那个还没被人们意识到的机会是什么?
阿迪特:这回到我们开头说的。我觉得无论 AI 原生公司还是大企业,都有很多了不起的工作在发生。你看 Harvey 在法律上做的事,也看企业自己内部团队在做的事。我真的很希望 Reducto 成为一套可靠的工具,Harvey 这样的公司和世界上最大的企业都能用它,把自己的上下文接到模型上。这意味着我们必须是世界上最会解析的,但也意味着那些他们本来要自己处理的小细节——比如突然要并行处理一千万份文档这类基础设施问题——这些抽象对客户很重要。如果我们做对了,那就是我们提供的价值。我一般不太把「智能文档处理」这个市场当成我们的品类,因为 IDP 里的那种野心,和我们要做的事差得很远。我们想到的位置是:agent 可以帮助增强人的工作。我没有一张市场地图式的未来图景,但在这个未来里扮演关键角色,对这个世界来说真的非常重要。
珍:就像我们常说的,往模型里放东西,有两件事重要,一件是数据,这个
珍:你知道,Reducto 正在把 PDF 和文档变成喂给大模型的数据;另一件就是大模型可以用来跑起来的算力。所以为语言模型创造价值、让它表现更好的机会是无穷的。我完全相信这里有一个巨大的机会,可以继续把这个标准往上抬。
阿迪特:这也是为什么我们会一起工作。
珍:太好了。我们再聊聊准确率的后果,以及它如何影响客户对「用 agent、用 AI 处理文档」的信任。
阿迪特:我记得我们有一个医疗行业的客户。他们是一家很大的供应商,本质上给医生做一个抓取信息的搜索工具。他们处理的是医疗里更难的情况,难到那些文件就是纸质的。他们会有几英寸厚的纸包。而奇怪的是,一个错误对个体到底多重要,这件事很难被体会。我们聊到过一些具体案例:因为初始管线把「胸痛」读成了别的东西,某个人的理赔被拒了——医生去搜「这个人有没有病史」,搜不到,那也许就不需要这个药了。而这很重要,因为在这些医疗系统里医生已经非常超负荷,他们没法把所有信息都复核一遍、确认 OCR 是准的。他们只是相信自己在用的工具是可靠的。而这还只是搜索产品。想象一下,如果是 agent 在做那种裁定决定。你处理进来的输入是不是可信,这件事极其重要,因为上层的一切都建立在它上面。
珍:他们不是按页来算,而是按文件有几英寸高来算,这太惊人了。那现在这些 OCR 工具大致是什么水平的……
珍:这些工具?
阿迪特:在那类情况下,我们确实发现有场景低于 50%。你能做到的最好结果,是有一个信息大概在哪儿的近似,然后让人去看。但一个病人的纸包可能有几万页。所以即便你把最好的例子摆出来,医生其实也翻不动。那些是我们希望能为这个世界解决掉的前沿问题。

还有多少手工活;片尾(34:11–38:17)

珍:确实。那今天的兜底是什么?如果错过了「胸痛」呢?
阿迪特:哦,人一直在犯错。每年有数以百万计的 Medicare 理赔因为事前授权被拒。我学到的最疯狂的统计之一是:在 80% 的申诉里,原来的决定被推翻了。这应该让人震惊,因为显然最初做决定的方式里有某种低效。
珍:80%?
阿迪特:80% 的申诉。
珍:哇。
阿迪特:我觉得这难以置信,但它不只在医疗里。比如你看 USCIS 现在为移民积压的案子,很多都是纸质流程,卡在同一个点上:准确率需要高到值得今天就用一个人。如果你对准确率、成本和延迟有无限的胃口,可以就在这些任务上用前沿模型,你可以让世界上很多流程对人来说变容易。
珍:看过一些移民案子里的发现,确实有大量
珍:不同类型的手写笔记、大量图片、作为证据的照片要去过一遍。所以我确信今天还有大量效率、大量需要人在环里的工作可以被自动化,只是还没到。
阿迪特:如果
珍:AI 真的能可靠地理解、评估并修改企业用的文档,你觉得今天就应该可能、但还没有的,头几类工作是什么?
阿迪特:你会惊讶于还有多少数据录入是手工的。这大概是我最兴奋的第一件事。人在推理和决策上有很多可以贡献的,但世界上有很多人,是拿纸质的文件,把纸上的内容抄出来。真的非常低效。在美国,16% 的报税人还在用纸质邮寄报税。所以所有这些只是一味给工作加上几周、又机械又例行的事,大概就是我希望能先消失的一类问题。
珍:那在这些问题上,你的客户或者应用层里,有哪些人在做、你觉得大家该知道?
阿迪特:这真的取决于行业。比如在会计领域,我们看到 Basis 做得非常出色。但这同样适用于大企业。我们和一家最大的会计服务公司合作,他们做的是海关和边境保护局的表单。还有一家 BPO 公司,为很多大公司做后台工作。我觉得他们都很兴奋能走过这一类问题。
珍:太好了。很期待越来越多这种琐碎、枯燥、需要人在环里的活儿消失掉,我们就可以专注在更有意思的事上。
阿迪特:对。
珍:太棒了,很高兴你能来,阿迪特。非常感谢你今天过来。
阿迪特:也谢谢你,这次很好玩。
片尾:感谢收听本期 a16z 播客。如果你喜欢这期,请点赞、评论、订阅,留下评分或评价,并分享给你的朋友和家人。想听更多单集,请到 YouTube、Apple Podcasts 和 Spotify。在 X 上关注 @a16z,并订阅我们的 Substack:a16z.substack.com。再次感谢收听,我们下一期见。

References

  1. 1
    The a16z Show E1234 单集页

    a16z.simplecast.com

  2. 2
    Y Combinator:Reducto

    ycombinator.com

  3. 3
    Reducto:r-1 发布文

    reducto.ai

  4. 4
    Reducto 关于页

    reducto.ai

  5. 5
    micro1:LongExtractionBench

    micro1.ai

  6. 6
    Reducto:Deep Extract 在该基准上排名第一

    reducto.ai

  7. 7
    KFF:2024 年 Medicare Advantage 事前授权

    kff.org

  8. 8
    IRS:申报方式统计

    irs.gov

16 档顶级海外 AI 创投播客图文笔记
16 档顶级海外 AI 创投播客图文笔记@FC

This story was produced automatically by a channel. One sentence is all it takes for Neodrop to keep producing for you.

Related content

Comments