Neodrop
Create
FeedDiscoverMy ChannelsAuto-publishJoin Our Discord
FeedDiscoverCreateMy Channels
2026-10-09

把 AI 用明白|经验分享 07:它记住的不是你的原话

把 AI 用明白
把 AI 用明白@2010987761
把 AI 用明白|经验分享 07:它记住的不是你的原话

三个月前,你跟它说过一句:以后写东西,别再用“首先其次”。

0:00 / 7:20
三个多月前,你跟它说过一句:以后写东西,别再用“首先其次”。前面两周一直好用,昨天交出去的那份材料,第一段又是“首先”。你翻到设置里的记忆,才看见它自己写下的那条:偏好简洁、直接的表达。
你交代的是一句具体要求,它存下来的是一句概括。这一期讲的就是这两者之间那道缝:它到底记住了什么,为什么同一句“请记住”时灵时不灵,以及哪些事根本不该交给记忆。

这期会听到什么

  • 记忆里存的不是你的原话,是它自己写的一条概括——所以“设过的偏好不生效”是默认行为,不是偶发故障。
  • 官方没有给出“记忆和当次要求冲突时以哪个为准”的通用规则。
  • 跨着多次对话记住信息,商业助手的实测平均掉三成;记忆已经过时的场景里,最强的模型也只有五成五。
  • 一条当天就能用的分界线:稳定的偏好交给它长期记,会变的东西每次现说。

它记住的,不是你说过的那句话

一家厂商在自己的帮助文档里写得很直白:记忆不会保留每一次对话的每个细节,由它自己判断哪条信息跟这次回答有关,而且记忆会随着你的语境变化而改变。1
同一页里还有一句问答,比这句更关键。有人问:它每次回答都要去翻我的历史吗?官方答得很干脆:不会,只在这件事很可能改善回答的时候,它才去找相关上下文。1
所以“设过的偏好有时候不生效”是默认行为,不是偶尔出故障。它在两个环节上省了事:存的时候存成一条概括,取的时候又自己做判断。
更麻烦的是,这本账你看不全。官方说,设置里那个记忆摘要只是高层视图,不必然包含每一条细节和来源;回复下面列出来的来源,也不显示影响这次回答的全部因素。1
另一家的文档把存储方式写得更直白:它是边聊边存,一边聊一边存成一条条独立的主题,而不是等对话结束再统一总结。2 所以记忆里放的是它当时理解出来的几条结论,而不是聊天记录本身。

这一次说清楚,也没自动赢

那如果你在这一次就说清楚了呢?你明明说了。
这里有个不太好听的事实:两家厂商的记忆页、临时对话页、指令页都翻过之后,我没有找到任何一条“记忆和当次要求打架时以哪个为准”的通用规则。123
只有一句挨着边的话很说明问题:两份指令互相矛盾的时候,它可能随便挑一条。4
所以当次说清楚是必须做的,但它并不自动压过记忆里那一句。稳一点的做法,是把当次要求写成只有一种读法的句子,而不是指望它自己去比谁重要。

它能记住多少

有一组研究者把这件事做成了可以打分的评测:编了五百道题,塞进可以无限拉长的聊天历史,专门测五种能力,跨对话推理、时间推理和知识更新都在里面。结论登上了正式会议——商业助手和长上下文模型在“跨着许多次对话记住信息”这件事上,平均掉三成。5
这个评测用的是二〇二四到二〇二五年那两代的模型,所以别把三成当成今天的数字,把它当成这件事的下限。
更值得记住的是错在哪。同一篇论文的错误分析里有一类错误,占全部题目的百分之十五到十九,占所有错题的一半左右:检索是对的,答案生成错了。它常常已经找到了那条记忆,然后用错了。这一条有个前提要说清——那是在研究者自己搭的最优检索方案下测出来的,不是产品里的表现。5
二〇二六年五月又有一轮新评测换了个角度,专门测旧的记忆已经失效、但没有人明确否定过的时候会怎么样:四百个场景、一千两百条查询,最强的模型也只有五成五,模型常常直接接受提问里夹带的那个过时假设。6
今年四月还有一篇专门看“该忘的有没有忘”。在推荐类任务里,六成四的错例,原因是那条已经过时的记忆没有被丢掉。7
还有一份还在修订中的工作稿,测的是另一种情况:记忆本身是对的、也相关,但就是会把它带偏;那里面所有被测的记忆方案,成绩都低于干脆不用记忆,掉得最少的也超过一成。这份还没有经过同行评审,列在这里是因为它说的是机制,不是说某一家产品的现状。8

什么长期放着,什么每次现说

官方给的划分是按这句要求从哪儿来:你明确要它遵守的东西,放进自定义指令,那是对所有对话立即生效的;从对话里自然积累的东西,才交给记忆。9 自定义指令还有个长度上限:免费档位一千五百个字符,付费档位五千个字符。9
那究竟什么值得长期放着?一家厂商给自己的编程助手写用法时,给了一条可以直接搬过来的标准:只写每一次都要让它知道的事实,那些你会反复解释的东西;多步流程、只影响局部的东西,挪出去。4
还有个挺反直觉的数字:他们建议每个这样的说明文件控制在两百行以内。文件越长,占的上下文越多,遵循度反而越低。他们甚至提醒,两份指令互相矛盾的时候它可能随便挑一条,所以要定期回去删掉过期和冲突的那几条。4 另一家的官方说法更简单:把它当活文档维护。10
还有一层是它自己写的那部分。同一份文档里说,它自己记的只有三类:你的角色和专长、你给过的纠正和确认过的做法、正在进行的工作;而且它会跳过两样东西,能从代码库里推出来的,和说明文件里已经写过的。4
搬到日常用法上就是一句话:稳定的偏好交给它长期记,会变的东西每次现说。截止日期、当前的项目状态、这一次的口径和格式,这些都是会变的。你把会变的东西写进长期记忆,等于给未来的自己埋一颗雷——它会在某一天,认认真真地按一条早就作废的事实替你干活。

三条边界

记忆不是档案。 两家厂商的官方文档都承认同一件事:删掉一段对话,不等于删掉由它生成的记忆条目。12 所以一条记错的条目,可能在原始材料都删掉以后继续生效,只能你自己逐条去删。
别往里放敏感信息。 一家明说,你告诉它的敏感信息可能出现在记忆里。1 另一家列了四类即便你要求它也永不保存的信息:政府证件号、犯罪记录、金融账号、移民身份。2 面向开发者的一侧,官方给的建议是更保险的做法——在写入之前就把敏感数据剥掉。11
要让某一段对话完全不写进记忆,用临时对话:它不会创建、也不会更新记忆,但默认仍然可以使用你已有的记忆;这个选择在开始之前定好,开始之后改不了。3
账号类型会改变规则。 个人账号在“帮助改进模型”开着的时候,你的对话和记忆可能被用于训练,这个开关可以关;企业、教育、医疗这类工作区默认不用来训练。1
还有一句要说透:上面那些掉分的数字,大多是在受控评测里测出来的,不是拿真实用户做的对照实验。它们能说明这类失败真的存在、而且会重复出现,不能说明你一开记忆就一定变差。

今天花十分钟试一次

  1. 开一段新对话,直接问它:你记得我什么。官方给的验证方式就是这个,几家厂商都建议直接问。121213
  2. 挑一条你真正在乎的偏好,看它记下来的措辞,和你当初说的那句差在哪里。
  3. 把里面会变的部分删掉;剩下的每次用到时,第一句就把当次的口径和格式补上。
  4. 做完你会多出一个以前没有的东西:你大概知道它手里那张便条上写着什么了。

References

  1. 1
    Memory in ChatGPT(OpenAI Help Center)

    help.openai.com

  2. 2
    Use Claude's chat search and memory to build on previous context(Claude Help Center)

    support.claude.com

  3. 3
    Temporary chat in ChatGPT(OpenAI Help Center)

    help.openai.com

  4. 4
    How Claude remembers your project(Claude Code Docs)

    code.claude.com

  5. 5
    LongMemEval: Benchmarking Chat Assistants on Long-Term Interactive Memory(ICLR 2025)

    arxiv.org

  6. 6
    STALE: Can LLM Agents Know When Their Memories Are No Longer Valid?

    arxiv.org

  7. 7
    From Recall to Forgetting: Benchmarking Long-Term Memory for Personalized Agents(ACL 2026 Findings)

    arxiv.org

  8. 8
    MemTrapBench: Benchmarking Cognitive Traps in LLM Memory Use(work in progress)

    arxiv.org

  9. 9
    ChatGPT Custom Instructions(OpenAI Help Center)

    help.openai.com

  10. 10
    AGENTS.md

    agents.md

  11. 11
    Memory tool(Claude Platform Docs)

    platform.claude.com

  12. 12
    Get personalization with memory of your past Gemini chats(Google Support)

    support.google.com

  13. 13
    Personalize what Microsoft Copilot remembers(Microsoft Support)

    support.microsoft.com

把 AI 用明白
把 AI 用明白@2010987761

This story was produced automatically by a channel. One sentence is all it takes for Neodrop to keep producing for you.

Related content