IBM ALTK-Evolve：不更新模型权重，GPT-4.1客服Agent在τ²-bench零售域涨到67.5%

IBM ALTK-Evolve：不更新模型权重，GPT-4.1客服Agent在τ²-bench零售域涨到67.5%

给AI挂上“长期记忆”，是这两年Agent圈最热的话题。但大家心里默认了一条：想让模型变强，就得重新训练它。IBM Research这次给出的答案有点出人意料——模型一动不动，光靠在提示里塞几条“自己写出来的规则”，分数就涨了上去。10月20日，IBM Research在Hugging Face上放出ALTK-Evolve的介绍文章（ALTK全称Agent Lifecycle Toolkit，智能体生命周期工具包，配套论文见arXiv 2603.10600）。先说几条判断：其一，思路朴素但方向准——把Agent自己干成的事和搞砸的事“总结成经验”，写进系统提示，下次接着用；其二，效果不是小修小补——一个标准ReAct Agent配GPT-4.1，在τ²-bench零售域的Pass^4从57.5%抬到67.5%，越过了10月12日排行榜快照里的所有零售条目；其三，别被“冲上榜首”晃住——Pass^4考的是“连续四次都对”的稳不稳，不是单次答对率，同步看的平均正确率只从78.1%挪到82.5%；其四，这条路对闭源模型格外友好，因为它全程不碰权重、也不要人工标注；其五，别急着照抄作业——IBM自己另一组实验说得很直白：记忆是“剂量”，给多了反而会拖累弱模型。

一句话：给Agent配一本会自己写的操作手册

ALTK-Evolve干的事，一句话讲完：给Agent配一本它自己写的操作手册。

流程大概是这样：先让Agent在一批训练任务上跑一遍，系统从它的成功轨迹和失败轨迹里提炼出几条行为准则——比如“碰到身份认证要先确认”、“处理退货先核对订单号”、“调用工具前先看参数合不合规”——然后把这些准则追加到系统提示（也就是每次发给模型的那段“任务说明”）里，再让它去跑测试任务。整个过程，模型权重一行都没改。

图：ALTK-Evolve的“工作手册”流程

跑训练任务 → 从成功/失败轨迹中蒸馏行为准则 → 追加进系统提示 → 跑测试任务
（模型权重全程不变）

说明：图示ALTK-Evolve的学习闭环（依据IBM Research发布内容与多家媒体报道）：Agent先在训练任务上尝试，系统从其成功与失败轨迹中提炼出可复用的行为准则（认证、确认、退货、工具调用等），把准则追加到系统提示中，再去执行新任务；全过程不更新模型权重。图中不含性能数字，相关数值见下表。

光这一句可能还不够直观。看个类比：一个新员工入职，你不会为了让他少犯错就换掉他脑子里已有的知识、重新培训一遍；你更可能直接给他一本《工作手册》——“接退货单前先核对订单号”、“涉及退款先口头确认”、“调工具前先确认参数在范围内”。这些条目不是外部专家拍脑袋写的，而是从他过去几个月办成的事和踩过的坑里总结出来的；手册随着新坑不断增补，下次遇到同类问题就不用重踩。ALTK-Evolve干的就是“写手册”和“改手册”这两件事，只不过载体是系统提示，不是权重。

这个设计有三个好处。一是绕开了微调：闭源模型、只能走API、碰不到权重的场景都能用上，这是它最被看好的地方。二是省掉人工标注：不需要工程师一条条手写规则，准则由模型从轨迹里自己提炼。三是便宜：IBM的实验里，准则集变大后token消耗确实上升，但对话长度没有变——也就是说增益来自“决策更靠谱”，而不是“话说得更多”。

数据摆出来：涨了多少，涨在哪

IBM报告的是留出测试任务上的结果，基准是Sierra出的τ²-bench——专门考AI客服Agent的模拟环境，分零售、航空等域，考的是模型在多轮对话里能不能正确调用工具、遵守业务规则。

说明：表中数字为IBM研究团队在τ²-bench留出测试任务上的自报结果（媒体依据其10月20日的Hugging Face发布整理）；航空域的Pass^4用的是“小型高支持度准则集”，平均正确率用的是完整准则集，两组并非同一配置。

这里有个必须解释清楚的概念：Pass^4里的4不是“第4版”，而是“连续四次独立尝试全都做对”。同一个任务跑四次，四次全对才算通过。这个指标专治“看运气”——一个Agent平均正确率不低，但换个说法就飘，那就是不稳。所以零售域从57.5%到67.5%的含义是：同一批客服任务里，四次全对的比例明显提高了。10月12日那份排行榜快照里的零售条目（包括一些前沿模型和微调过的系统）都没越过这条线，这大概是这条新闻最抓眼的部分。

还要留意两件事：一是准则可以迁移——把同一套准则喂给更强的模型（表里GPT-5.5那行），效果会进一步往上走，说明这方法是“给模型补经验”，不是“替代模型升级”；二是IBM同组还有一篇更早的工作（9月15日在Hugging Face上发的《Your Agent Aced the Task. Will It Do It Again?》），提出“一致性差距”这个概念，并用一套叫Consistency Analyzer的诊断工具定位“容易翻转的决策点”，在AppWorld上把pass^5从53%抬到69%，而平均分一点没掉——两篇读起来像一条线上的两步。

几个容易踩的坑

其一，“冲上榜首”不等于全面碾压。它只是越过了10月12日那份排行榜快照里的零售条目，而且是零售这一个域、GPT-4.1这一个模型上的结果。榜单会变，别的域还没这么好看。

其二，Pass^4和正确率不是一回事。57.5%→67.5%说的是“连续四次都对”的稳定性；同步的平均正确率只从78.1%挪到82.5%。两个数一起看，才是完整画面。

其三，记忆不是越多越好。IBM团队在八个不同能力档位的模型上做过实验（从30亿参数的稠密模型到前沿专有系统），结论是记忆像“剂量”：强模型适合直接给完整准则集，弱模型更适合精选检索，能力接近上限的模型加了记忆可能几乎没收益。所以“加记忆”不是免费午餐，剂量得校准。

其四，这也不是第一个把轨迹变成经验的方法。第三方对比里，ACE这类同样从轨迹提炼经验的做法，在AppWorld上能用更少token打到相当的准确率。方法论的竞争还在继续。

其五，这套东西是研究团队的成果，不是成熟产品。IBM Research在Hugging Face上发的是介绍文章，配套论文在arXiv上，代码以开源仓库形式放着。距离“拿来就能用的企业方案”，中间还隔着工程化、评估、成本核算这些活。

和我们有什么关系

先说最实际的：这套东西是可以上手试的。IBM Research把Evolve作为ALTK的一部分开源出来，代码在GitHub的AgentToolkit组织下（仓库名altk-evolve），支持pip安装；官方还演示了用插件方式接进Claude Code、Codex这类编码助手，以及一个轻量模式。也就是说，它不是一篇只能读的论文，而是一个能装到Agent里的东西。

再说它的适用范围。这套方法最有想象力的地方不在“零售域67.5%”这个数字，而在于它把“让Agent变好”这件事，从“等下一代更强的模型”改写成了“让现有的模型少犯重复的错”——在模型能力固定的前提下，用经验去补可靠性。这对那些只能用某个现成模型、没法微调也换不掉的场景，是一条现实的路径。

但也别把它当银弹。它需要Agent有可复现的任务轨迹可挖，也就是说你的业务得能反复跑、能记录成功与失败；它把记忆写进提示，意味着每轮请求的上下文会变长，token成本要重新算；IBM自己的实验还提示了剂量问题。这些都是落地时要自己算的账，而不是读完文章就能省心的部分。

最后留一句判断：把“长期记忆”从一句产品口号，变成一行行可读的行为准则，这个转换本身是有价值的——它让Agent的改进第一次变得可以检查、可以讨论、可以交给业务同事看。而这可能比那10个百分点更值得记一笔。

诚实边界

几句口径摆正。其一，来源是IBM Research在Hugging Face上于2026-10-20发布的介绍文章，官方博客页面暂缺直接核对，事实以多家媒体报道与IBM官方ALTK介绍页交叉印证为准；配套论文见arXiv 2603.10600，代码以开源仓库形式发布，许可与使用边界以仓库文件为准。其二，57.5%→67.5%、78.1%→82.5%、35%→45%、55%→70%等均为IBM Research自报数据，属研究方口径，未经独立第三方复现；零售域与航空域的准则配置不同（Pass^4与平均正确率分别用了小型高支持度准则集与完整准则集），两组不可混读。其三，“超过10月12日排行榜快照中所有零售条目”针对的是那份特定快照，不是长期领先，且仅限零售域。其四，Pass^4为连续四次独立尝试全部通过的比例，衡量稳定性而非单次正确率；“榜首”是相对该快照、特定域、特定模型而言的结论，不构成通用能力结论。其五，剂量校准结论（强模型给全量准则、弱模型用精选检索、接近上限的模型可能几乎无收益）来自IBM另外一组跨八个模型的自报实验。其六，本文仅做技术解读与口径澄清，不给任何团队选型或部署建议。