先看证据
改变表现的不是新模型，而是一段操作手册
IBM Research 在 Hugging Face 发布了 ALTK-Evolve，研究的是一个具体的客服智能体问题：在不更新模型权重的情况下，能不能让系统更稳定地遵守政策、理解客户要求，并正确执行工具操作？团队用 GPT-4.1 驱动 τ²-bench 自带的基础 ReAct 智能体，再把从训练任务中提炼出的行为指南附加到系统提示词里。研究者报告称，这个配置在零售任务上取得 67.5% 的 Pass^4，高于 2026 年 10 月 12 日排行榜快照中的所有零售参赛项。
这个结果的看点不是“记忆打败模型”这样的口号，而是改进发生在模型权重之外。智能体仍使用基准自带的政策、工具和 THINK → ACT 流程，GPT-4.1 既负责执行任务，也负责从训练轨迹中提炼指南。实验因此把一个常见的工程问题摆到台面上：当智能体反复犯同类错误时，团队是否必须换更强的模型，还是可以先把已经获得的经验整理成可执行的工作规则？
所谓记忆，是从失败轨迹中压缩出来的规则
ALTK-Evolve 所说的 learned memory，并不是把旧对话原样塞回上下文，也不是训练出一套新的模型参数。它分析智能体在 τ²-bench 训练任务中的成功与失败，再让 GPT-4.1 将重复出现的经验归纳为简短指南，最后把指南原样用于留出的测试集。每条指南还带有一个支持数，表示它来自多少个不同训练任务，意在区分跨任务反复出现的规律和偶然的一次性教训。
给出的规则写得很具体：处理订单前先验证客户身份，缺少邮箱时用姓名和邮编查找用户；修改、取消、退货或换货前，要先总结变更并取得明确同意；处理退货时说明退款明细和到账时间；工具调用一次只做一件事，等工具返回后再向客户回复。另有一条要求先清理姓名格式，并在几次查找失败后明确告诉用户需要什么格式。这些指南把“谨慎服务”拆成能被模型遵循、也能被工程团队审查的步骤。
这类记忆的优势在于可读、可改，也能直接进入现有提示词流程。团队可以检查规则是否符合业务政策，追问某条规则来自哪些训练任务，并在发现误导时修改或撤回。与把经验隐含在模型权重里相比，这让行为调整更容易审计，但也意味着规则是否有效，仍取决于模型能不能在具体对话中正确理解并服从它们。
67.5% 不是单次成功率，而是四次都成功的任务比例
理解这个数字，先要理解 τ²-bench 如何判定客服任务成功。每个任务都包含一个由语言模型模拟的客户、一组领域工具，以及一份智能体必须遵守的书面政策。客户可能要求查订单、退款或改签，智能体则需要问出必要信息、遵守政策并执行合适操作。最后的判断不取决于对话是否流畅，而取决于数据库最终状态是否与任务预期一致；退款等操作还可能不可逆。
Pass^4 的口径进一步提高了要求：同一任务要在四次独立尝试中全部成功，才算通过。因此，67.5% 表示有 67.5% 的零售任务实现了四次全胜，不是智能体每次尝试都有 67.5% 的成功概率。研究设置使用 GPT-4.1 作为智能体、GPT-5.5 作为客户模拟器，每个任务跑四次。这个口径强调的是重复执行时的稳定性，但不能与单次成功率或真实业务中的解决率直接互换。
比较的控制变量也相对明确。作者称政策、工具和基础 ReAct 脚手架都沿用 τ²-bench 原有实现，唯一改动是在系统提示词中加入学习到的指南。这样的设计支持一个有限而有用的结论：在这套基准和模型配置下，显式规则与表现变化同时出现，而且取得了领先的零售成绩。材料没有提供加入指南前后的具体分数差，也没有拆解每条规则各自贡献了多少，因此不能仅凭排行榜位置推断增益的大小或来源。
提示词能提醒模型，但不能替工具设权限
对技术团队来说，低部署门槛是这条路径最直接的吸引力。指南以普通 Markdown 清单附加在领域政策之后，不需要更新模型权重，也不需要人工逐条标注训练数据。既有客服智能体如果已经有稳定的工具接口和提示词管理流程，就可以把经验整理、评审，再作为一层明确的行为约束加入系统。规则本身也便于在版本管理中追踪，至少比一段笼统的“请谨慎处理”更容易讨论和测试。
不过，文本规则仍然是模型需要遵守的指令，不是强制执行机制。即便提示词要求先认证、先确认用户同意，模型也可能误解上下文、漏掉步骤，或在工具失败后继续作出不准确承诺。对退款、取消等会改变数据库状态的操作，权限检查、服务端状态校验和必要的确认门槛应由系统本身兜底。提示词可以减少错误发生的机会，却不能成为授权逻辑的唯一载体。
规则的维护也会变成新的工程工作。指南可能随着产品政策变化而过时，可能与更高优先级的政策冲突，也可能只适用于某一种身份核验方式或某一类订单。支持数能提供规则来自多少训练任务的线索，但不能单独证明规则在新客户、新政策或不同模型上仍然有效。上线前需要把指南当成可审查的版本化配置，而不是一次提取后就永久可信的知识库。
领先的基准成绩，仍没有回答迁移问题
研究材料提到，实验覆盖 τ²-bench 的零售和航空两个客服领域，也讨论了给模型不同数量的指南。每条指南带有训练任务支持数，作者据此比较不同“剂量”的指导方式。但现有材料只提供了零售域的 67.5% Pass^4 和排行榜比较，没有给出航空域的具体成绩，也没有呈现不同指南数量配置的结果。对于技术负责人而言，这些缺口意味着现在还不能判断规则数量如何影响表现、支持数能否预测泛化，或同一方法在另一领域是否同样有效。
更重要的是，τ²-bench 的任务是受控模拟环境，成功标准是预期数据库状态，而真实客服还会遇到材料未覆盖的情况：客户表达含糊、身份信息不完整、政策例外、工具服务异常，以及多轮沟通中的情绪变化。基准成绩说明智能体在给定场景和工具约束下完成任务的能力，不等于已经证明它能安全接管生产流程。尤其是“结果正确”和“过程可接受”并非总是同一件事，后者还需要业务和治理层面的检查。
可执行的判断不是立刻把指南扩展到所有业务，而是把它作为一项有边界的工程实验。先在隔离测试集中复现规则效果，分别检查单条规则、规则组合和反复运行时的结果，再针对高风险工具调用加入服务端约束。若进入小流量评估，应保留回滚能力，并记录每条规则的来源、适用范围、失效条件和政策版本。ALTK-Evolve 展示的是如何让经验变得可见、可编辑、可测试，而不是让提示词本身成为可靠性的保证。