腾讯:把成功经验内化为大模型能力
📖标题:Scaling Trajectories for Complex Tasks through Recursive Self-Rewrite
🌐来源:arXiv, 2610.02826v1
🛎️文章简介
🔸研究问题:不同辅助工具(Harness)能帮模型解决不同难题,但这些成功路径里夹杂着特定工具的“拐杖”,直接拿来训练会让模型产生依赖,如何在通用环境下把这些经验真正转化为模型自身的能力?
🔸主要贡献:论文提出递归自我重写(RSR)框架,利用多种辅助工具发现成功解法,将其清洗并重写为通用环境下的纯净轨迹,显著提升了模型在复杂终端任务上的独立解决能力。
📝重点思路
🔸多工具探索发现:使用三种不同逻辑的辅助工具(通用交互、状态管理、反思修复)让同一基座模型去解题。因为每种工具擅长领域不同,组合起来能覆盖更多高难度任务,收集到更丰富的成功样本。
🔸规划者提取步骤:由模型扮演“规划者”,从原始成功轨迹中剔除特定工具的干预信息,提炼出关键步骤、检查点和恢复策略,生成结构化的操作手册(Runbook),但不直接泄露最终答案。
🔸审查者过滤泄露:由模型扮演“审查者”,检查操作手册是否包含验证器泄露或特定工作流依赖。如果存在“作弊”嫌疑或不可复现的步骤,则拒绝该手册并反馈给规划者重新生成,确保指导信息的纯净性。
🔸执行者重新实践:由模型扮演“执行者”,在全新的沙箱环境中,仅依靠通用接口和通过审查的操作手册重新解题。只有那些在没有外部“拐杖”支持下依然成功的轨迹,才会被保留作为高质量训练数据。
🔸微调提升能力:将上述过程产生的大量高质量、去依赖化的重写轨迹用于监督微调,让模型学习其中的规划、验证和纠错逻辑,从而在通用设置下获得更强的泛化能力。
🔎分析总结
🔸多工具互补性强:实验显示,单一工具只能解决部分任务,而三种工具的并集比最强单个工具多解决了34.3%的任务,证明不同辅助机制能挖掘出模型潜在的多