ChromaFlow：工具增强型智能体评估中编排开销的负向消融研究

# ChromaFlow：工具增强型智能体评估中编排开销的负向消融研究

**作者：吉祥法师**

## 摘要

自主语言模型智能体日益将规划、工具调用、文档处理、浏览、代码执行和验证循环相结合。这些能力使智能体系统更加实用，但也引入了仅从最终准确率无法察觉的运维故障模式。本报告提出ChromaFlow——一种围绕规划器导向执行、专用工具调用和遥测驱动评估构建的工具增强型自主推理框架。我们在GAIA 2023 Level-1验证任务上，于干净评估约束下对该框架进行分析。冻结的完整Level-1基线达到29/53正确率（54.72%）。后续扩展编排的恢复配置达到27/53正确率（50.94%），同时增加了回溯、超时事件、工具故障提及、令牌行调用和活动日志成本估算。两次随机20任务冒烟评估分别产生12/20和11/20的正确结果，表明小型诊断增益在不同样本间可能不稳定。核心结论因此是负向消融：更激进的编排并未提升完整数据集性能，反而增加了运维噪声。后续在明确完整性控制下的严格提供商完整Level-1诊断达到30/53（56.60%），但令牌日志成本显著更高。本报告主张，有界规划器升级、确定性提取、证据协调、提供商健康门控和显式运行门控应被视为可靠自主智能体评估的一等要求。

**关键词**：自主智能体、工具增强推理、多智能体系统、GAIA、基准评估、可靠性、负向消融、提供商控制

## 1 引言

大规模语言模型系统已从单轮文本生成转向自主执行循环——规划、调用工具、检查中间证据并修正答案。ReAct等系统展示了推理与行动交错的价值，而Toolformer等工具使用研究则证明语言模型能从外部API和结构化工具调用中获益。GAIA等基准套件用于衡量需要搜索、文件处理、多模态推理和细致答案合成的长时程助手行为。自GAIA以来，智能体评估已扩展到多环境智能体基准、真实网页和软件工程任务、操作系统交互、企业工作流、工具-智能体-用户交互以及明确的编排基准。

这些系统通常以最终任务准确率进行评估。准确率是必要的，但不够充分——一种配置可以在保持甚至提升准确率的同时，变得更昂贵、更缓慢、更难以复现，或更依赖脆弱的重试循环。相反，负向结果若暴露了哪些架构选择加剧了执行不稳定性，仍然具有价值。本文将运维遥测视为评估对象的一部分，而非附带日志。

ChromaFlow是为规划器导向工具使用和基准执行而设计的自主推理框架，支持文档分析、网页搜索、代码执行、结构化提取、浏览器交互和最终答案验证。该系统旨在研究自适应编排和可靠性加固能否在干净评估约束下提升基准性能。主要发现刻意保持保守：较小的20任务诊断信号曾暗示针对性可靠性修复可能有帮助，但后续完整Level-1恢复运行未能保持该改进——恢复配置得分低于冻结基线并产生更多运维噪声。随后的随机冒烟运行也未能通过新完整运行的闸门。

## 2 贡献

本报告提出四项核心贡献。第一，记录自主智能体编排的负向消融——更激进的恢复配置在增加运维噪声和成本估算的同时降低了完整GAIA Level-1准确率。第二，提供干净评估报告协议，通过发布聚合指标同时保留任务文本、任务标识符、金标答案、预测、附件、原始URL和原始轨迹来维护基准完整性。第三，提出智能体基准的可靠性闸门——冒烟运行增益仅在随机抽样下同时通过准确率和运维噪声阈值时，才能证明完整运行的合理性。第四，增加后续严格提供商诊断，显示在记录控制下完整Level-1有一个任务的改进，同时强调该幅度太小，不足以支持广泛能力声明，成本效率仍未解决。

## 3 相关工作

### 3.1 推理、行动与工具使用

ReAct确立了推理轨迹与任务特定行动交错的基本模式，允许模型在与外部信息源交互时更新计划。Toolformer证明语言模型可以学习决定何时以及如何调用外部API，将工具使用框定为学习的语言模型行为而非围绕生成的固定包装器。这些系统推动了工具增强智能体的发展，但并未解决本文研究的运维问题：额外工具使用或规划何时提升可靠性，何时仅放大噪声？

### 3.2 智能体基准与真实环境

GAIA评估跨搜索、文件处理、多模态证据和简洁答案合成的通用助手行为。AgentBench将语言模型作为智能体的评估扩展到多个交互环境。WebArena和WorkArena将评估推向真实浏览器和企业软件任务，SWE-bench评估软件工程智能体解决真实GitHub问题的能力，OSWorld强调与真实计算机环境的开放式交互，Tau-bench增加了带领域特定API和策略的动态工具-智能体-用户交互。相较于这些基准，ChromaFlow的贡献并非新的公共任务套件，而是对GAIA配置变更的运维分析——该变更在冒烟测试中看似有前景，但在完整Level-1比较中失败。

### 3.3 编排与评估可靠性

2025-2026年智能体文献日益将编排视为可测量的干预而非无条件的好处。OrchestrationBench明确针对跨多领域场景的LLM驱动规划和工具使用。近期的系统化和评估工作主张智能体行为超越孤立的工具调用，引发可靠性、污染、演化、治理和安全问题。本文为该观点提供了具体案例研究：恢复配置增加了规划和执行表面积，但完整运行结果降低了准确率，同时增加了运维噪声。

## 4 系统概述

ChromaFlow围绕监督执行控制器组织，该控制器选择执行策略、路由工具调用、监控故障信号并综合最终答案。控制器可对简单任务直接进行答案综合，或将工作分配给检索、文档分析、浏览器交互、Python执行、Shell执行和验证等专门执行路径。系统拓扑采用分离的控制平面、执行平面、证据层和综合层，强调ChromaFlow的可靠性策略不是单一组件，而是应用于路由、工具执行和最终答案组装全程的约束。

### 4.1 规划器导向执行

传入任务映射到任务签名，估算模态、附件需求、可能答案形状和工具需求。规划器随后选择执行路径和工具预算，目标是避免将每个问题视为广泛的网页研究问题。包含文档、电子表格、图像或代码制品的任务应首先提取本地证据，再升级到搜索密集型工作流。

### 4.2 工具层

工具层包括网页搜索、文档解析、Python执行、Shell执行、浏览器自动化、媒体处理和最终答案规范化。工具输出作为证据对象处理，可由回答策略检查。系统跟踪工具异常、超时、回退激活和重试行为，因为这些事件通常预示答案质量和成本。

### 4.3 可靠性层

可靠性层负责约束工具调用、检测重试风暴、处理超时、防止不可用的可选提供商生成重复回溯。它还记录缺失最终答案、直接求解器完整性命中、耗时、尝试次数和聚合成本估算。这些信号用作运行闸门——配置不应从冒烟测试毕业到完整运行，除非在不实质增加运维噪声的情况下提升准确率。

## 5 评估协议

评估使用GAIA 2023 Level-1验证任务。为维护基准完整性，公开报告排除任务文本、任务标识符、金标答案、模型预测、附件名称、原始URL和原始执行轨迹，仅报告聚合准确率、聚合运维指标和非识别性转换计数。

干净评估约束包括：禁用直接求解器路径；无任务特定答案补丁或任务ID路由；不发布基准任务文本或金标答案；完整运行中零容忍缺失最终答案；运行目录冻结以供审计；完整运行启动由随机化冒烟运行性能和噪声把关。

主要比较在冻结的完整Level-1基线和后续完整Level-1恢复配置之间进行。两次运行均覆盖53个Level-1验证任务。额外的20任务随机冒烟运行用作诊断闸门，而非完整数据集性能的证明。

## 6 结果

### 6.1 完整Level-1比较

冻结基线达到29/53正确（54.72%），恢复配置达到27/53正确（50.94%），两次运行均零缺失最终答案。恢复配置的完整运行时间为7230.93秒（平均每任务124.89秒），基线为6653.89秒（平均每任务115.86秒）。总尝试次数从57增至58。

恢复配置因此产生净损失两个任务。这不是改进声明，而是扩展编排配置未能从小型诊断信号泛化到完整Level-1任务集的证据。

### 6.2 运维噪声与成本

恢复配置在运维遥测上全面恶化：回溯从62增至141，超时提及从769增至939，工具故障提及从170增至282，优先级成本估算从197.32美元增至231.55美元，标准等效估算从98.66美元增至115.78美元。

关键点不仅是恢复运行花费更多——准确率下降的同时成本和噪声增加。这一模式表明恢复变更增加了执行熵，但未增加足够的推理或验证质量来补偿。

### 6.3 任务级移动

任务级比较覆盖53个共同任务。为维护基准保密性，仅报告聚合转换计数。恢复配置产生6个正确转错误转换和4个错误转正确转换，23个任务保持正确，20个任务保持错误。净移动为负。错误分析显示代码与文档任务、文档与图像任务、数值/日期答案和无附件语义研究任务周围的回归信号较强，这些类别指向提取、规范化和证据协调问题，而非重试不足。

### 6.4 冒烟运行复制检查

第一个补丁后随机冒烟达到12/20（60.00%），零缺失最终答案和零直接求解器命中，被冻结为正向冒烟但非完整集改进证据。下一个随机冒烟达到11/20（55.00%），具有更高回溯和超时噪声。这一序列支持完整运行闸门。正向冒烟令人鼓舞，但后续冒烟未清除阈值，因此冒烟结果本身不足以证明改进声明。

## 7 后续严格提供商诊断

在负向消融和不稳定冒烟检查后，ChromaFlow在更严格的提供商和策略控制下进行了后续完整GAIA 2023 Level-1验证诊断。目的不是验证广泛的新能力声明，而是测试更干净的执行基底能否在维护基准完整性约束的同时恢复一些完整集准确率。

后续协议禁用了直接求解器、策略自动加载、评估期间元学习、演化提升、最新修复策略加载、任务特定重跑和运行中调优。使用干净评估模式、评估锁定和评分前搜索提供商健康门控。预评分冒烟尝试显示回退提供商速率限制后，完整诊断使用严格的Bing主搜索。该提供商路线在完整运行前冻结并全局应用，而非任务特定干预。

诊断在记录控制下产生了可观察的一个任务完整集改进：30/53而非先前基线的29/53。幅度太小，不足以支持广泛能力声明。但作为完整集诊断结果，它覆盖所有53个Level-1验证任务，采用冻结协议而非精选冒烟样本。诊断遥测显示：零缺失最终答案、59次总尝试、5438.06秒耗时（平均每任务88.0秒）、平均编排熵分数0.1687、928次令牌日志调用、输入令牌11,619,201、输出令牌95,921、优先级成本估算185.80美元、标准成本估算92.90美元。

后续因此改变了经验故事但未改变论文的纪律。初始结论仍然有效：默认添加编排降低了完整运行性能。后续诊断表明更严格的提供商和策略控制可以恢复小的完整集增益，但该增益伴随大量令牌日志成本增加。适当结论是：在更严格控制下可靠性有所提升，而成本效率仍未解决。

## 8 故障分析

负向消融暴露了几个通用故障模式。

### 8.1 重试放大

重试在故障为暂时性时有用，在底层错误为确定性时有害——例如提供商不可用、文件路径缺失、执行超时或命令反复以非零状态退出。在这些情况下，重试消耗预算并增加延迟，但不改变模型可用的证据。

### 8.2 超时累积

两次完整运行中超时提及均高，且恢复配置中增加。超时累积在基准设置中尤其有害，因为它减少了每单位成本的有效工具观察次数，还可能促使智能体在时间压力下综合最终答案，增加验证不足答案的风险。

### 8.3 附件与证据路由

附件密集任务需要在广泛搜索升级前进行本地提取。错误聚类表明路由应区分不完整的本地证据和真正开放的研究需求。如果确定性解析可以回答问题，附件不应自动触发昂贵的规划器升级。

### 8.4 最终答案规范化

多个回归偏向数值/日期答案形状。这表明答案规范化应作为独立可靠性组件处理。数值、日期、单位和列表答案应在最终提交前进行规范化并与提取证据交叉检查。

## 9 恢复v2设计启示

负向消融促使采用门控编排策略，将规划器升级视为成本承载干预而非默认行为。恢复v2应减少编排熵而非默认添加更多推理深度。设计应限制每任务和每工具重试次数、停止递归规划器扩展、通过更便宜的干净评估路径路由简单任务、在最终答案前要求确定性提取、在答案综合前协调证据、在噪声工具上失败关闭，并将编排深度和熵记录为遥测而非优化目标。

下一比较应预先注册为基线对恢复v1对恢复v2，使用相同种子、提示、路由策略、工具和评分代码。恢复v2仅当准确率高于基线、准确率相对恢复v1保持或提升，且回溯、超时、工具故障、尝试次数、令牌量和估算成本低于恢复v1（不增加缺失最终答案或基线相对正确转错误移动）时才算成功。更高的准确率数字伴随加倍成本、爆炸性尝试、更多超时或隐藏失败，应视为另一次不稳定恢复而非进步。

## 10 讨论

结果支持三个实践结论。第一，小的冒烟运行增益不足以证明完整集改进。20任务冒烟可以发现有前景的可靠性变更，但也可能过度代表更简单或更兼容的基准切片。完整集运行应同时要求准确率提升和运维噪声降低。第二，自主性不等于无界编排。生成更多规划、重试更多工具、搜索更广泛的智能体可能变得更不可靠。自主性应包括停止、选择更简单路径、在进一步调用不太可能帮助时声明工具故障不可重试的能力。第三，应保留负向消融。它们防止误导性进展声明，并揭示哪些变更增加成本而不改善最终答案。对ChromaFlow而言，负向消融表明下一改进应针对确定性提取、答案规范化、超时策略、浏览器提供商回退和证据支持的规划器升级，然后再进行额外完整基准运行。

## 11 可复现性与制品政策

评估制品组织为运行目录，包含消毒摘要、状态文件、聚合指标和审计清单。公开报告有意避免任务文本、金标答案、原始预测、原始附件和详细轨迹。这保护基准完整性，同时允许审计聚合声明。

推荐公共发布制品政策包括：发布聚合指标和非识别性转换计数；发布通用且非任务特定的代码变更；私有化任何可能揭示任务的基准任务文本、金标答案、预测和原始日志；将成本估算报告为运维估算而非账单声明；除非完整集运行确认趋势，否则将冒烟运行标记为诊断性。

## 12 局限性与有效性威胁

本报告存在若干局限性。主要完整运行分析限于GAIA Level-1验证任务，不确立跨Level-2或Level-3的优越性，也不声称顶尖排行榜位置。ChromaFlow实现包含专有编排组件，以高层描述而非完整发布。

最强的有效性威胁是外部泛化。结果是一个框架、一个基准级别、一个53任务验证切分。不应解读为编排普遍有害，或不同智能体、模型、提供商、基准级别或工具栈会产生相同移动的证据。声明更窄：在本次受控ChromaFlow比较中，扩展编排降低了完整Level-1准确率并增加了运维噪声。

成本值来自活动日志，不应解释为提供商计费记录。它们排除潜在的VM、搜索/API和提供商侧调整。运维噪声计数器也来自日志，应作为比较性遥测而非精确因果标签。基准结果对模型行为、工具提供商可用性、网络条件和运行时策略敏感。这是论文强调冻结协议、审计清单、冒烟运行闸门和负向消融报告的原因。

## 13 建议

基于负向消融和后续严格提供商诊断，ChromaFlow不应仅因后续运行获得一个Level-1任务就启动Level-2或Level-3评估。下一工程工作应通用而非任务特定：减少浏览器提供商回退噪声；使确定性工具故障不可重试；在Python和Shell超时后强制执行进程清理；改进文档、电子表格、图像和附件证据路由；添加数值/日期/列表答案规范化；要求随机冒烟运行和完整集诊断同时报告准确率和成本/噪声权衡。

任何新完整运行前，基准协议应冻结在清单中，记录git提交、脏差异哈希、策略和提示哈希、评分器哈希、任务清单哈希、种子、模型标签、运行时环境、中止规则和比较指标。单个失败任务不应重跑，任何对提示、重试、路由、工具、提取逻辑或评分的中途变更应使比较无效。此路径维护评估完整性，同时使智能体在实践中更有用。目标不是为固定任务列表调优，而是减少可能影响许多工具增强推理任务的通用执行故障模式。

## 14 结论

本文呈现ChromaFlow作为自主推理可靠性的运维案例研究。冻结完整Level-1基线达到54.72%，扩展恢复配置达到50.94%并产生更多运维噪声和更高成本估算。结果是负向消融而非改进声明。后续严格提供商诊断达到30/53（56.60%），在干净控制下禁用直接求解器，但令牌日志成本显著更高。该后续最好解释为记录协议下可观察的一个任务恢复，而非广泛能力声明。

更广泛的教训是，智能体能力必须与运维行为一起评估。规划器深度、重试、工具多样性和多智能体协调可以有所帮助，但也可能放大不稳定性。可靠智能体系统需要有界升级、确定性提取、显式不可重试故障处理、证据协调和诚实的运行闸门。对ChromaFlow而言，未来进展应以干净的完整集增益衡量——在保持或改进56.60%严格提供商结果的同时，降低成本、超时、回溯和工具故障，且不损害基准完整性。