最近一个月的 7 篇 AI 论文，用小孩也能听懂的话讲一遍
9 月中旬到 10 月中旬的 7 篇 AI 论文，用给小朋友讲故事的说法讲清楚：它们做了什么、像什么、跟做产品的人有什么关系。
这是最近一个月的 7 篇 AI 论文，都在 9 月中旬到 10 月中旬之间发表，来源都是 arXiv。
选它们的标准只有一条：做产品的人看完，能改掉手上正在做的一件事。
每一篇都按四步讲：它做了什么、像什么、跟你有什么关系。原文链接就在讲它的那一段里。
一、让大模型住进普通的电脑
一台普通电脑也能跑大模型
大模型太大了。要把它整个装进显卡，得买很贵的卡。
论文给的办法起名叫 Edge0：先猜下一步会用到哪几块，只把那几块搬过来，别的都留在硬盘上睡觉。1
一台装了 24G 显存的机器就够。它每秒能写出 20 个字，比人读得快，实际占用的显存不到 3G。
在五个公开测试上，它的平均成绩只比没有压缩的原版低几个点。代码和模型都公开了。
像搬家的时候，先只把今晚要用的拿出来，别的箱子先不拆。
跟你有什么关系：手边要是有台能装下 24G 显存的机器（自己买或者租），那些不怕慢的调用可以放到它上面跑，花的是电费和机器钱，不再按调用次数付钱。
你的小助手可以住在自己家里
9 月 8 日，Meta 发布了一款个人助手，叫 Muse。它住在 Meta 的云上，每次要联网之前都得先过一道检查。2
10 月 6 日，一篇报告给出了开源的做法，叫 nanoMuse：它住在你自己的每一台设备里。3
手机、平板、电脑，共用同一本笔记，这本笔记你自己能打开看。
报告把「个人助手」拆成五个问题和三个时间尺度，也写明哪些部分还只是路线图。
像家里每个房间各有一位帮手，共用一本你随时能翻的账本。
跟你有什么关系：报告说，在这之前个人助手这个方向没有开源的做法可以参照，这个位置还空着。
那五个方向可以直接拿来问自己的产品：它替谁做决定、记得什么、记忆放在哪、谁批准它动手、出了事谁负责。
二、模型外面那层：壳和记忆
同一个模型，外面的壳可以自己改
同一个模型，外面怎么用它，结果差很远。
Raven 的做法是：一个队长把大目标拆成小活，分给专门的手下，排好先后，再把结果拼起来。4
一次活干完，这套做法会被改一遍，下次接着用。
作者说，同样的花费，这样拼能做更多事；活越长，好处越明显。
像请施工队：按这单活现搭一支队伍，比找一位什么都会的师傅省事。
跟你有什么关系：助手不好用，先别换模型，先看外面这四步——拆目标、分活、排顺序、拼结果，哪一步在丢分。这四步能单独测，也就能单独改。
记忆不用提前做好，用的时候再去查
现在的助手大多提前把资料整理成「记忆」。整理的时候它不知道你后面要问什么，就把小细节丢掉了。5
这篇的办法叫 JAM，意思是记忆到用的时候再去查。
原文全部留着，分层放进一排抽屉，抽屉外面另放一份简短目录。你一提问，它就派一个小研究员一层层去翻，翻到要用的那几页再合起来。
结果比「提前做好」那类更好，还更省钱。代码公开在 GitHub。
像查资料：需要哪页抽哪页，其余的留在柜子里。
跟你有什么关系：做长对话的产品，先试最小的一版——原文全存，另存一份摘要当目录，找的时候分两步走。
三、靠不靠得住，决定能不能上线
会写代码的助手，卡住的地方是看懂代码
研究者造了 6,840 道题，难度分成四种：跳着看代码、搜索、边做边判断、照着指令做。6
8 个模型、6 个写代码的助手跑完，看到两件事。
题一大，模型自己做就容易错。把跳着看代码、搜索这类活交给工具之后，成绩几乎不掉。
真正卡住它们的，是另一种题：两份差不多一样的逻辑，到底哪里不一样。
难点在看懂。
跟你有什么关系：给写代码的助手加工具之前，先问一句——它缺的是手（动手做），还是眼睛（看懂代码）。
看它改了几行代码没用，看它读了多少、搜了多少才接近真相。
同一个问题问五遍，答案不一样
有些产品让模型逐行读数据。研究者把三套测试重新跑了一遍，记下 120 万次模型调用。7
把随机性调到最低（按理最稳），同一份数据重跑五次，还是有 0.07% 到 10.2% 的行给出不同结果；有一个任务，变掉的行占到 24.0%。
更麻烦的是往上汇总：每个小地方只差一点点，一层层加起来，最后大约三分之二的答案变了。
代码和记录也放在 GitHub。
跟你有什么关系：用模型做数据、报表、对账这类产品，要按「它会抖」来设计。把每次跑的结果存下来，标出哪些行在抖、哪些结论跟着变，比一直追求「再准一点」更管用。
零件要配着挑
各种现成的零件出得太快，谁跟谁能装在一起，没人说得清。
有一篇评测把 3 个模型、3 种让程序互相说话的约定、4 套现成的开发框架组合着跑了一遍，用的是 300 个真实任务。8
结论是按任务类型去配，任务更容易做完，也更省时间、少说废话。
跟你有什么关系：这件事现在有现成的数字可以对着看了。选之前先问自己一句——我这类任务有没有人测过，还是我在凭手感赌。
最后
7 篇里，4 篇在改模型外面那一层，3 篇在测这一层到底靠不靠得住。
省钱和稳，都是从这里来的。
这周可以只挑一处：手上最贵或者最不稳的那一步，找上面一个办法试一次。
References
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
This story was produced automatically by a channel. One sentence is all it takes for Neodrop to keep producing for you.