ModularRSI: Modular and Generalizable Recursive Harness Self-Improvement——模块化且可泛化的递归式脚手架自我改进

一、研究背景与核心问题

背景：CLI 智能体在复杂软件工程和终端任务上表现优异，但其效果越来越依赖于智能体脚手架（agent harness）——负责管理执行、工具交互、上下文和环境反馈的机制。近期研究将递归式自我改进（RSI）扩展到脚手架，使智能体能从经验中改进执行机制。

核心挑战：可泛化的脚手架 RSI 面临两个难题：

1. 基准污染问题：现有方法（Meta-Harness、AHE、HarnessFix）直接在下游基准或其子集上演化，导致可迁移改进与基准特定适应难以区分。

2. 信用分配粗粒度问题：

   • 机制级：任务级奖励太粗，难以定位改进应落在脚手架的哪个组件；

   • 行为级：单条轨迹将系统性缺陷与任务特定推理、随机失败纠缠在一起。

核心假设：可迁移的脚手架自我改进需要提高两个层级信用分配的精度，而非简单扩大自我修改空间。

二、方法：ModularRSI 框架

1. 模块化分解（机制级信用分配）

将 Terminus-2 脚手架重组为五个功能模块，各自独立演化：

基础设施组件（沙箱初始化、并行执行、LLM 通信）不在演化范围内。

2. 对比轨迹采样与分析（行为级信用分配）

对每个演化实例收集 K 条轨迹，按奖励分为三组：

• Positive：全部成功 → 寻找效率改进机会

• Contrastive：部分成功部分失败 → 同任务对比成功/失败轨迹，识别函数级差异因素

• Negative：全部失败 → 检索历史成功轨迹配对，或单独诊断明显缺陷

诊断结果记录为结构化 JSON，包含模块、证据、因果判断、建议修改等字段。

3. 模块级脚手架修改

• 将语义相似的诊断合并为候选修改，按支持任务数投票排序，取 Top-K（K=10）优先修改，聚焦反复出现的缺陷而非实例特定失败。

• 每个模块独立演化 3 个 epoch，不共享中间更新。

4. 验证门（三重保障）

每个函数更新须依次通过：

1. 程序检查：静态检查有效性与兼容性

2. 差异审查：检测任务特定解决方案/过拟合

3. 执行验证：随机抽 2 个任务实际运行

任一失败则回滚。

5. 跨模块集成

独立演化后组合为统一脚手架，额外执行一个集成 epoch，修复跨模块冲突（重复机制、行为冲突、交互不一致）。

6. 函数库管理

• 函数合并：LLM 比较并合并功能重叠的函数（评估时不执行）

• 任务感知函数组合：根据任务描述选择相关函数子集激活（评估时执行）

集成后函数库冻结，评估时仅允许任务感知选择。

三、演化数据集与协议

• 从 GitHub、Hugging Face、Kaggle、Linux 内核文档等外部来源构建2,000 个可执行任务，以 Harbor 格式呈现。

• 基准仅提供类别级检索指导，不使用任何基准实例、轨迹或任务特定信息。

• 多阶段质控：LLM 过滤（环境完整性、实用性、评估器有效性）→ 可执行验证（参考解通过 + 空操作不得正奖励）→ 人工审查 → 语义相似性筛查。

• 任务分布：数据加工、机器学习、构建部署、系统OS、语言API、网络、算法、安全加密、数据库等，TB 相关与 SWE 相关子集分布大致均衡。

四、实验结果

1. 基准与指标

• 基准：TerminalBench 2.0（89 个长时程终端任务）、SWE-Bench-Verified（500 个真实仓库任务）

• 指标：Acc（准确率）、Pass@3（3次内至少成功1次）、Pass3（3次全部成功）、StepNum（平均交互步数）

2. 主要结果

（1）超越演化经验的泛化（表1）

• 域内提升：TB 2.0 +4.86，SWE-Bench +3.00

• Pass³ 从 30.34 提升至 35.96，执行可靠性显著增强

• 跨领域迁移有效，证明发现的是可复用机制改进

（2）跨模型泛化（表2）

冻结在 TB 数据上演化的脚手架，应用于不同基础模型：

（3）模块化 vs 非模块化（表3）

更大的自我修改空间反而增加信用分配模糊性，非模块化演化甚至低于基线。

（4）单模块演化效果（表4）

• Agent Loop：最大单模块准确率增益（50.56）

• Observation Management：StepNum 从 34.70 降至 22.50，效率最高

• 跨模块集成进一步提升至 52.43，说明各模块捕获互补改进

（5）消融研究（表5）

三个组件均贡献显著，其中 FLM 影响最大（Pass@3 和 Pass3 退化明显）。

（6）与现有 RSI 方法比较（表6）

在相同初始脚手架、演化数据、基础模型和预算下，ModularRSI 优势明显。

（7）数据规模扩展（图2）

演化实例从 120 → 600，TB 2.0 准确率从 47.6 持续提升至57.3，呈现持续上升趋势。

3. 统计可靠性

附录 G 采用任务级配对 bootstrap（100,000 次重采样）计算 95% 置信区间：

• ModularRSI 相对基线的 ΔAcc = +4.86，CI [3.37, 9.36]，显著

• Meta-Harness（+1.87，CI 含 0）和 AHE（+2.24，CI 含 0）提升不显著

4. 数据质量影响（附录 H）

• 中等难度为中心的演化数据优于"难+易"分布：SWE-Bench 上 76.40% vs 74.20%

• 原因：中等难度任务更易产生信息量丰富的成功-失败对比

5. 演化曲线（附录 M）

随 RSI 代际增加，准确率和 LLM 评判分数均持续上升，验证演化过程有效。

五、案例研究（附录 K）

四类典型案例说明机制如何工作：

六、主要贡献与结论

贡献

1. 问题形式化：将可泛化脚手架 RSI 定义为基准不相交的信用分配问题，提出两级信用分配框架。

2. 方法创新：ModularRSI 通过对比轨迹分析识别行为缺陷，通过模块受限演化定位机制改进，再跨模块集成。

3. 数据资源：构建2,000 个基准不相交的可执行演化任务，经可执行验证、人工质控和相似性筛查。

4. 实验验证：在 TB 2.0 和 SWE-Bench Verified 上验证跨任务、跨领域、跨模型泛化能力；受控实验证明模块化演化和对比归因的必要性。

核心结论

在基准不相交演化下，有效的脚手架 RSI 需要将执行经验转化为可复用的机制级改进，而非从任务级反馈中广泛修改脚手架。ModularRSI 通过对比轨迹归因和模块受限演化缩小信用分配空间、减少无关机制干扰，从而发现真正可泛化的改进。

局限性（隐含）

• 演化数据构建依赖人工标注和 LLM 过滤，成本较高

• 模块分解基于 Terminus-2 特定架构，迁移到其他脚手架需重新设计

• 跨模块集成仅执行一个 epoch，可能未充分优化模块间交互

• 实验主要基于 DeepSeek-V4-Flash-Preview 作为演化骨干，其他模型作为演化骨干的结果在附录 D 中

ModularRSI 通过将智能体脚手架分解为五个功能模块独立演化、用对比轨迹分析精准定位行为缺陷、再经三重验证门和跨模块集成，在完全不接触下游基准的演化数据上实现了可跨任务、跨领域、跨模型泛化的脚手架自我改进，在 TerminalBench 2.0 和 SWE-Bench Verified 上显著超越 Meta-Harness 和 AHE 等现有方法。这里是自己的论文阅读记录，感兴趣的话可以参考一下，如果需要阅读原文的话可以看这里，如下所示：

项目地址在这里，如下所示：

摘要

近期工作将递归式自我改进（Recursive Self-Improvement, RSI）扩展到面向长时程编程与终端任务的智能体脚手架（agent harness），使智能体能够从经验中改进其执行机制。然而，实现可泛化的脚手架 RSI 面临两个挑战：在下游基准上进行演化，使得可迁移的改进难以与基准特定的适应区分开来；而粗粒度的任务级结果对于“改进应在何处实施”以及“脚手架中应改变何种执行行为”所提供的指导有限。我们提出 ModularRSI，一个用于可泛化脚手架自我演化的模块化框架，在信用分配中同时解决机制级定位与行为级归因问题。ModularRSI 将脚手架分解为五个功能模块，包括智能体循环（Agent Loop）、工具使用（Tool Use）、观测管理（Observation Management）、上下文管理（Context Management）和任务完成检测（Task Completion Detection），并独立演化每个模块，以实现局部化的机制改进。在每个模块内，ModularRSI 对同一任务的成功与失败轨迹进行对比分析，并跨任务聚合证据，以识别反复出现的执行缺陷。最后，将独立演化的模块集成起来，构建最终脚手架。我们进一步从外部来源整理了 2,000 个可执行的演化任务，这些任务与下游评估基准不相交。在 TerminalBench (TB) 2.0 和 SWE-Bench-Verified 上的实验表明，该方法在未见任务、演化领域和基础模型上具有一致的泛化能力。使用 DeepSeek-V4-Flash-Preview 时，域内演化将 TB 2.0 上的准确率从 47.57% 提升至 52.43%，将 SWE-Bench-Verified 上的准确率从 73.40% 提升至 76.40%。在域内设置之外，演化后的脚手架还能有效跨演化领域和基础模型迁移，带来约 2%–5% 的性能提升。在统一的基准不相交协议和匹配的演化预算下，ModularRSI 在 TerminalBench 2.0 上达到 52.43% 的准确率，优于 Meta-Harness 的 49.44% 和 AHE 的 49.81%。消融研究进一步证实，模块化演化和对比分析都对性能提升有所贡献。

1 引言

CLI 智能体在复杂软件工程和基于终端的任务上已取得显著性能（Jimenez et al., 2024; Deng et al., 2025; Merrill et al., 2026; Hong et al., 2026）。除了基础模型之外，它们的有效性越来越依赖于智能体脚手架，后者负责管理执行、工具交互、上下文管理和环境反馈。因此，近期工作开始探索脚手架的递归式自我改进（RSI），使智能体能够从经验中精炼这些执行机制。

然而，可泛化脚手架 RSI 的核心挑战不在于脚手架能否在用于演化的经验上有所改进，而在于所产生的变化是否代表对底层执行机制的可迁移改进。现有方法（如 Meta-Harness、AHE 和 HarnessFix）通常直接在下游基准或由其衍生的子集上进行演化（Lee et al., 2026; Lin et al., 2026; Du et al., 2026; Chen et al., 2026a; Pan et al., 2026; Nguyen et al., 2026），使得可复用的改进难以与基准特定的适应区分开来。即使在演化与评估分离的情况下，任务级奖励也只能提供粗粒度监督：单个轨迹将系统性的脚手架缺陷与任务特定的推理纠缠在一起，而粗放的整体脚手架更新又难以在不影响无关机制的情况下定位可复用的改进。因此，我们将可泛化脚手架 RSI 视为一个两级的信用分配问题，这在基准不相交演化下尤为重要。成功的自我改进过程必须回答两个互补的问题：改进应在脚手架的何处实施，以及应改进何种执行行为。第一个是机制信用分配问题：一旦识别出可复用的缺陷，相应的更改必须定位到负责的脚手架组件，而不是广泛修改无关组件。第二个是行为信用分配问题：必须对执行轨迹进行比较和聚合，以将反复出现的脚手架缺陷与任务特定的决策或随机失败区分开来。我们的核心假设是：可迁移的脚手架自我改进需要提高两个层级上信用分配的精度，而不是简单地扩大自我修改空间。HarnessFix（Chen et al., 2026a）改进了从执行轨迹中定位失败的能力，但未能明确将识别出的缺陷分配到负责的脚手架机制。AHE（Lin et al., 2026）认识到脚手架中功能上不同的组件，但仍然在联合的脚手架级过程中演化它们，而不是独立地归因和优化机制特定的改进。因此，行为级和机制级信用分配仍然只得到部分解决。

为解决这两个层级的信用分配问题，我们提出 ModularRSI，一种用于可泛化脚手架演化的模块化方法。对于机制级信用分配，它将可演化脚手架分解为五个功能连贯的模块（即智能体循环、工具使用、观测管理、上下文管理和任务完成检测）。每个模块在受限的修改范围内独立演化，随后进行跨模块集成，形成统一脚手架。对于行为级信用分配，它对比同一任务内的成功与失败轨迹，并跨任务聚合证据，以识别超越任务特定变化的反复出现的缺陷，同时引导对负责脚手架机制的局部化更新。

为了对可泛化脚手架 RSI 进行干净的评估，我们建立了基准不相交的演化协议，并从与下游基准不相交的外部来源整理了 2,000 个可执行任务。在 TerminalBench 2.0 和 SWE-Bench Verified 上的实验表明，该方法在未见任务、领域和基础模型上具有一致的泛化能力，同时受控研究证明了模块化演化、对比轨迹分析及其他一些组件的优势。

我们的主要贡献总结如下：

1. 我们将可泛化脚手架 RSI 形式化为一个基准不相交的信用分配问题，并提出 ModularRSI，在两个互补层级上执行信用分配。对比轨迹分析识别反复出现的行为缺陷，而模块受限演化则定位并实施相应的机制级改进。

2. 我们建立了基准不相交的演化协议，并从外部数据源独立整理了 2,000 个可执行的演化任务。通过可执行验证、人工质量控制和相似性筛查，该资源使得脚手架自我改进研究无需直接接触下游基准实例。

3. 我们在 TerminalBench 2.0 和 SWE-Bench Verified 上广泛评估了 ModularRSI。演化后的脚手架在未见任务、演化领域和基础模型上具有泛化能力。受控研究进一步表明，在匹配预算下，模块化演化显著优于联合演化和非模块化演化，而移除对比归因会降低性能，支持了行为级和机制级信用分配的重要性。

图 1：ModularRSI 概览。该框架收集并分析对比轨迹，执行模块级脚手架修改，并通过验证门保留修改。

2 相关工作

2.1 智能体脚手架与自我改进

随着编程模型的进步（Yang et al., 2026a;b），可执行环境和经过验证的轨迹为智能体改进提供了可扩展的信号（Wu et al., 2026a; Gandhi et al., 2026; Cheng et al., 2026）。近期工作利用轨迹反馈来优化提示和外部智能体机制（Agrawal et al., 2026; Zhang et al., 2026c; Fan et al., 2026），诊断失败并定位可编辑组件（Lin et al., 2026; Chen et al., 2026a），或通过合成脚手架代码直接演化智能体（Zhang et al., 2026b; Lou et al., 2026; Lee et al., 2026; Ren et al., 2026）。

2.2 自我改进中的泛化

一个核心挑战是区分可迁移的改进与对开发数据的适应。HarnessDev 及相关研究考察了脚手架演化、反馈预算和留出泛化（Wu et al., 2026b; Wang et al., 2026）。Aspire 研究了隐藏评估下的权重和脚手架演化（Wu et al., 2026c），而 S3Gym 通过历史、记忆或参数更新将自测试、自评判和改进分离（Shi et al., 2026）。尽管有这些进展，现有的脚手架演化方法通常依赖基准衍生数据或将脚手架视为单一整体，使得可泛化的细粒度改进仍未得到充分探索。我们通过基准不相交的演化数据集和协议来填补这一空白，并提出 ModularRSI，它使用对比轨迹分析来指导独立的、模块受限的演化，随后进行跨模块集成。

3 方法

3.1 MODULARRSI 概览

如图 1 所示，ModularRSI 通过模块受限演化和随后的跨模块集成来组织脚手架自我改进。它从相同的初始脚手架独立演化五个功能模块，不共享中间更新。在每个模块特定的谱系内，对比轨迹归因识别行为缺陷，并通过三个阶段指导局部化的功能更新：(i) 对比轨迹采样与分析，从执行证据中识别行为缺陷；(ii) 模块级脚手架演化

3.2 脚手架模块化

我们将 Harbor（Merrill et al., 2026）中 Terminus-2 的行为机制重新组织为五个功能模块。基于我们对脚手架实现和执行轨迹的分析，该分解涵盖了直接介导智能体-环境交互的机制。基础设施组件，如沙箱初始化、并行执行和 LLM 通信，不在演化范围内。

我们将 Harbor（Merrill et al., 2026）中 Terminus-2 的行为机制重新组织为五个功能模块。基于我们对脚手架实现和执行轨迹的分析，该分解涵盖了直接介导智能体-环境交互的机制。基础设施组件，如沙箱初始化、并行执行和 LLM 通信，不在演化范围内。

(1) 智能体循环控制推理-行动-观测循环，包括执行流、交互控制和恢复行为；(2) 观测管理在过滤或压缩噪声观测的同时保留任务相关的环境反馈；(3) 工具使用管理工具选择、调用和验证；(4) 上下文管理通过信息保留、压缩和检索来维护交互历史；(5) 任务完成检测确定任务是完成还是需要进一步交互。

每个模块为后续演化定义了不同的功能范围。在执行过程中，智能体循环协调其他模块并构建提示，供 LLM 与环境交互。模块交互和函数接口详见附录 B。

3.3 对比轨迹采样与分析

轨迹记忆（Trajectory Memory）存储每个任务跨演化轮次的历史轨迹和奖励，在当前 rollout 不足时提供额外证据。

代码修改智能体（Code-Modify Agent）针对目标模块分析每个任务。对于 Contrastive 组，它比较同一任务的成功与失败轨迹，以识别与不同结果相关的函数级因素。对于 Negative 组，它在可用时检索历史成功轨迹，并将其与当前失败轨迹配对进行同任务比较。否则，它仅从失败轨迹中诊断明显的执行缺陷。对于 Positive 组，它检查成功轨迹，寻找提高执行质量和效率的机会。

诊断结果记录为结构化 JSON 发现，指定所分析的模块、支持性轨迹证据、支持或反对修改的理由，以及适用时的建议更改。分析提示和输出模式见附录 J.1 和 I。

3.4 模块级脚手架修改

在每个独立的演化谱系内，代码修改智能体将第 3.3 节的发现转换为限制在目标模块内的函数更新。两种机制指导这些更新的选择和实施。

修改目标选择。对于每个批次，我们将针对同一函数语义相似的诊断合并为候选修改。每个候选获得一个投票计数，等于提供支持证据的不同任务数。然后按投票计数对候选进行排序，并优先选择前 K 个候选进行修改，从而关注反复出现的缺陷而非实例特定的失败。我们在所有实验中设置 K=10。

3.5 验证门

每个函数更新必须通过三个顺序验证门才能被保留。任何门失败都会使用记录的差异触发回滚。程序检查。静态检查验证修改后的脚手架的有效性以及与周围系统的兼容性，包括导入和协议合规性。差异审查。代码修改智能体检查修改差异，寻找任务特定的解决方案、启发式方法或不太可能泛化到演化实例之外的条件。审查提示见附录 J.3。执行验证。我们从当前批次中随机抽取两个任务，使用修改后的脚手架执行，以检测运行时错误或违反预期执行协议的情况。额外验证细节见附录 C。

3.6 跨模块集成

独立演化后，我们将验证过的模块变体组合成统一脚手架。尽管每个变体在其自身功能范围内开发，但组合它们可能引入重复机制、冲突行为或不一致的交互。

因此，我们在演化集上额外执行一个跨模块集成轮次。代码修改智能体分析集成脚手架的轨迹，以识别跨模块冲突，然后通过移除重复机制、明确职责和调整协调逻辑来精炼模块交互。集成提示见附录 J.4。

3.7 函数库管理

随着模块级演化的扩展，函数库不断增大，我们通过两种互补机制控制模块内冗余和任务特定函数激活。

函数合并。在演化过程中，LLM 比较每个模块内的函数描述和行为，合并功能相似或重叠的函数，以减少冗余同时保留已学能力。函数合并在下游评估期间不应用。

任务感知函数组合。每个演化后的函数都有其当前行为的自然语言描述。给定任务描述和所有候选函数的描述，LLM 选择任务相关的子集，只有这些函数在执行期间被激活。组合器在轨迹收集和下游评估期间都运行。

跨模块集成后，函数库被冻结。下游评估允许从该固定库中进行任务感知选择，但不进行进一步的函数合并或修改。

4 演化数据集与协议

在 TerminalBench 和 SWE-Bench 系列的高层任务类别指导下，人工标注者从外部来源检索公开可用资源，包括 GitHub 仓库、Hugging Face、Kaggle 和 Linux 内核文档。这些资源用于以 Harbor 格式构建新的可执行任务。基准仅提供类别级检索指导；在任务构建期间不使用任何基准实例或任务特定信息。

所有实例都经过多阶段质量控制流程。基于 LLM 的过滤评估环境完整性，检查所需数据、依赖项、文件和工具的可用性；实用性和非平凡性，排除人为或过于简单、推理或交互有限的任务；以及评估器有效性，要求测试评估功能正确性而非表面完成度。可执行验证要求参考解决方案 solution.sh 通过所有任务特定测试，且无操作提交不获得正奖励。然后对每个实例进行人工审查，检查任务清晰度、环境完整性和评估器正确性，随后进行基于 LLM 的语义相似性筛查，以移除与基准高度重叠的实例。

如附录 E 中图 4 所示，我们整理了 2,000 个高质量、基准不相交的演化实例，任务类别相对平衡，TB 相关和 SWE 相关子集之间的分布大致可比。它们不同的构建来源限制了重叠：SWE 相关任务涉及 GitHub 上的仓库级软件工程，而 TB 相关任务侧重于直接终端交互。该数据集为研究脚手架自我演化是否产生可泛化改进而非基准特定适应提供了基础。

5 实验设置

5.1 基准

为验证 ModularRSI 的有效性，我们在两个近期且具有挑战性的终端相关基准上对其进行评估：TerminalBench 2.0（Merrill et al., 2026）和 SWE-Bench-Verified（Jimenez et al., 2024）。TerminalBench 2.0 包含 89 个多样化的长时程终端任务，而 SWE-Bench-Verified 包含 500 个来自真实世界仓库的人工验证软件工程任务。它们共同提供了对通用终端交互和仓库级软件工程的互补评估。为保证可复现性，我们使用原始发布的基准版本，并在 Harbor 框架下进行所有评估。

5.2 指标

考虑到评估结果的稳定性以及比较不同脚手架效率和性能的需要，我们评估以下四个指标：

准确率（Acc）：准确率衡量所有 rollout 轨迹的平均成功率。如果智能体根据任务特定评估器成功完成任务，则该轨迹被视为成功。

Pass@3：Pass@3 衡量智能体是否能在三次独立 rollout 尝试内成功解决任务。如果至少有一条轨迹成功，则该任务计为已解决，最终分数在所有评估任务上取平均。

StepNum：StepNum 衡量每次 rollout 所需的智能体-环境交互步骤的平均数。它反映智能体的执行效率，步骤越少通常表示问题解决过程越高效。

Pass3：Pass3 衡量智能体在 3 次独立 rollout 尝试中的一致性和可靠性。只有当所有 3 条轨迹都成功时，任务才计为成功解决，最终分数在所有评估任务上取平均。

5.3 实现细节

ModularRSI 中每个模块特定的演化谱系演化 3 个轮次。五个独立演化的模块随后通过一个跨模块集成轮次组合。对于以联合方式演化整个脚手架的不同方法或设置的实验，我们调整轮次数以匹配 ModularRSI 的总演化预算，详见第 6.3 节和第 6.5 节。由于计算和时间限制，我们从 2,000 个实例演化数据集的 TB 相关和 SWE 相关子集中各选择 120 个实例进行脚手架演化。用于演化的主要模型是 DeepSeek-V4-Flash-Preview。我们为部署的模型提供每分钟 200 万 token 的 TPM 限制，并在整个演化过程中使用批量大小 10。在本工作中，我们将 Terminus-2 视为无演化（No-Evol）基线。

表 1：演化后脚手架的跨基准迁移。在 TB 相关或 SWE 相关任务上演化后，每个脚手架在两个留出基准上评估。

6 结果

6.1 超越演化经验的泛化

脚手架 RSI 的核心挑战不仅在于提高用于演化的任务上的性能，还在于发现能泛化到演化经验之外的脚手架修改。为评估这一能力，我们构建了两个独立的演化集，即 TB 相关和 SWE 相关。从每个集合中，我们采样 120 个实例进行脚手架演化，得到 120 个 TB 相关和 120 个 SWE 相关演化任务。然后我们在域内和域外设置下，在 TerminalBench 2.0 和 SWE-Bench-Verified 上评估演化后的脚手架。演化集不包含任何下游基准实例、轨迹、评估器反馈或任务特定内容；基准分类法仅用作源覆盖的粗粒度类别指导。

如表 1 所示，以 DeepSeek-V4-Flash-Preview 作为骨干模型，ModularRSI 在不同演化设置下的两个评估基准上均持续提升性能。在域内设置中，演化后的脚手架将 TerminalBench 2.0 上的准确率从 47.57 提升至 52.43，将 SWE-Bench-Verified 上的准确率从 73.40 提升至 76.40。我们进一步分析了连续 RSI 代际的性能，观察到在整个演化过程中基本单调的改进（见附录 M）。

更重要的是，这些增益可迁移到演化领域之外。在 TB 相关数据上演化的脚手架将 SWE-Bench-Verified 准确率提升至 75.80，而在 SWE 相关数据上演化的脚手架将 TerminalBench 2.0 准确率提升至 49.44。这些结果表明，ModularRSI 发现了对底层智能体执行机制的可复用改进，而不仅仅是专门适应演化过程中遇到的任务。

值得注意的是，TB 2.0 上 Pass3 的增益尤为显著，从 30.34 提升至 35.96。这一改进表明，脚手架演化不仅提高了平均任务解决能力，还增强了执行可靠性，减少了重复试验中的随机失败。

6.2 跨模型泛化

除了任务级泛化之外，我们进一步检查所发现的脚手架改进是否可跨不同基础模型迁移。由于不同模型在规划、工具交互和错误恢复方面表现出不同行为，模型特定的优化可能无法泛化。

为评估这一能力，我们冻结在 TB 相关演化集上用 DeepSeek-V4-Flash Preview 演化的脚手架，并将其应用于 TerminalBench 2.0 上的不同基础模型。

表 2：在 TB 2.0 上使用演化脚手架在不同推理模型上的泛化。

如表 2 所示，演化后的脚手架在所有评估的基础模型上持续提升 Acc、Pass@3 和 Pass。例如，演化后的脚手架将 GLM-5.2 准确率从 59.55 提升至 61.80，将 MiniMax-2.5 准确率从 41.57 提升至 44.94。此外，我们使用不同模型作为演化骨干应用 ModularRSI。如附录 D 所示，ModularRSI 持续

6.3 模块化演化的效果

我们检查 ModularRSI 的增益是来自更大的演化暴露还是来自模块化演化本身。我们与联合全模块演化和非模块化整体脚手架演化进行比较。所有方法每个任务使用 3 条 rollout 轨迹，两个替代方案均演化 16 个轮次，以匹配 ModularRSI 五个模块各三轮演化加一个跨模块集成轮次的总演化预算。

如表 3 所示，更大的自我修改空间不一定有利于 RSI。在相同的轨迹和演化预算下，联合全模块演化和无限制整体脚手架演化都比初始脚手架表现更差，而独立局部化演化将准确率从 47.57 提升至 52.43。这表明，在基准不相交的脚手架 RSI 中，修改系统更多部分的能力可能增加信用分配模糊性，而不是改善适应。

表 4 进一步显示，所有独立演化的模块都提高了准确率，但具有不同的行为效果。智能体循环提供最大的单模块准确率增益，而观测管理将执行步骤从 34.70 大幅减少至 22.50。跨模块集成进一步将准确率提升至 52.43，表明独立演化的模块捕获了互补的改进，可以有效地组合。

表 3：TerminalBench 2.0 上不同脚手架演化策略的比较。

表 4：TB 2.0 上单模块演化和跨模块集成的性能。单模块演化下的每一行报告从模块化 Terminus-2 独立演化一个模块所获得的脚手架。

6.4 消融研究

我们进行消融研究，以检查 ModularRSI 中三个关键组件的贡献：对比轨迹分析（CTA）、函数库管理（FLM）和验证门（VG）。我们单独移除每个组件，同时保持其余演化设置不变，并在 TerminalBench 2.0 上评估所得脚手架。

表 5：TB 2.0 上 ModularRSI 中 CTA、FLM 和 VG 的消融研究。

如表 5 所示，所有三个消融都导致明显的性能下降，表明这些组件解决了脚手架演化的互补方面。移除 CTA 将准确率从 52.43 降至 50.56，表明对比成功和失败轨迹为识别反复出现的行为缺陷提供了更可靠的信号。没有 VG，准确率降至 48.31，表明显式验证对于防止无效或有害修改在演化过程中被保留很重要。FLM 有实质性影响：移除它使准确率降至 49.81，在 Pass@3 和 Pass3 上观察到进一步退化。这一结果表明，简单地累积演化函数是不够的；合并冗余函数和选择任务相关函数对于减少独立演化改进之间的干扰很重要。

附录 K 中的案例研究进一步说明了对比轨迹分析如何识别跨轨迹反复出现的行为缺陷，并将其转化为可复用的脚手架改进，而非任务特定的修复。

6.5 与现有 RSI 方法的比较

我们在第 5.3 节描述的统一下基准不相交演化协议下，将 ModularRSI 与 AHE 和 Meta-Harness 进行比较。所有方法从相同的 Terminus-2 脚手架开始，使用相同的演化数据、骨干模型（DeepSeek-V4-Flash-preview）和匹配的演化预算进行演化。实现细节见附录 F。

如表 6 所示，AHE 和 Meta-Harness 相比初始脚手架仅提供适度改进，准确率分别从 47.57 提升至 49.81 和 49.44。相比之下，ModularRSI 达到 52.43 的准确率，在 Pass@3 和 Pass3 上也观察到一致的改进。由于所有比较方法共享相同的初始脚手架、演化数据、基础模型和演化预算，更大的改进不能简单归因于更多的轨迹暴露或额外的演化轮次。相反，结果表明，具有更精确信用分配的模块化演化能够更有效地发现可泛化的脚手架改进。

表 6：TerminalBench 2.0 上与现有脚手架演化方法的比较。

这一结果与我们的核心设计假设一致：在基准不相交演化下，有效的脚手架 RSI 需要将执行经验转化为可复用的机制级改进，而不是从任务级反馈中广泛修改脚手架。ModularRSI 通过对比轨迹归因和模块受限演化来约束这一过程，从而缩小信用分配空间并减少无关脚手架机制之间的干扰。因此，结果表明，当演化经验与下游评估任务不相交时，这些约束尤其有益。

6.6 演化数据的扩展

基准不相交的演化数据和统一实验协议下的公平比较对于评估 RSI 方法的泛化能力很重要。为评估我们整理的演化数据集的质量和效用，我们检查增加演化实例数量是否能为 ModularRSI 带来进一步的性能增益，同时将演化轮次固定为一个。我们使用 DeepSeek-V4-Flash-Preview 作为骨干模型，并在 TerminalBench 2.0 上评估演化后的脚手架。

如图 2 所示，我们使用 120、240、360 和 600 个演化实例运行 ModularRSI。随着演化数据量的增加，性能持续提升，呈现持续上升趋势。这些结果表明，ModularRSI 可以从扩展高质量演化数据中受益，并进一步证明了我们整理数据集的质量和效用，表明其更广泛的子集可以有效地支持脚手架演化。

图 2：ModularRSI 在 TerminalBench 2.0 上的准确率随演化数据集大小的变化。

7 结论

我们提出 ModularRSI，一个用于可泛化脚手架自我改进的基准不相交模块化框架。通过对比执行轨迹并独立演化脚手架模块，ModularRSI 识别可复用的机制级改进，同时减少任务特定适应。在 TerminalBench 2.0 和 SWE-Bench Verified 上的实验表明，该方法在未见任务、领域和基础模型上具有一致的增益。总体而言，我们的结果证明了基准不相交、对比式和模块化演化在构建更可泛化的自我改进智能体脚手架方面的潜力。