从答题到做实验：SciAgentGym让大模型进入科学工作流

DeepMind 联合创始人、从答2024 年诺贝尔化学奖得主 Demis Hassabis 曾指出，做实AI 应被视为推动知识前沿的模型核心引擎。它不仅能够协助科学家处理海量复杂数据、进入挖掘隐藏模式，科学更有望在未来介入更深层次的工作科学探索。

然而，从答要实现这一愿景，做实科学智能体（Scientific Agents）不能仅停留在“回答科学问题”的模型层面，必须具备处理完整科学工作流的进入能力。在真实的科学科研场景中，研究者需要检索数据库、工作调用专业软件、从答执行计算、做实分析结果，模型并根据反馈动态修正研究方向。科学推理不仅发生在语言空间，更深度嵌入在工具调用、环境交互及错误恢复的过程中。

这对智能体评测提出了全新挑战：评估标准需从单一的答案正确性，转向考察模型在复杂工具环境中稳定、高效地完成多步任务的能力。基于此背景，复旦大学 NLP 实验室发布了 SciAgentGym——一个专为多步科学工具使用设计的智能体环境，旨在全面评估模型在复杂科学工作流中的执行效能、反馈处理能力以及任务完成度。

论文标题：SciAgentGym: Benchmarking Multi-Step Scientific Tool-use in LLM Agents
论文地址：https://arxiv.org/pdf/2602.12984
项目网站：https://sciagentgym.github.io/

SciAgentGym：为科学智能体搭建工作流环境

SciAgentGym 构建了一个可交互、可执行且具备实时反馈的科学实验环境。

该环境由四大基础设施构成：专业工具库、文件系统、科学数据库和 Python 解释器。在此环境中，模型不仅能调用科学工具、执行代码、查询数据库，还能读取环境返回的结果、报错信息及中间文件。每个任务均拥有独立的工具注册表、文件系统和执行历史，从而为模型构建了一个真实的“科学工作空间”。

为了支撑复杂的科学任务，SciAgentGym 在设计上遵循三大核心原则：

1. Type Safety（类型安全）：科学工具并非随意拼接，而是存在严格的输入输出依赖。例如，某工具输出分子式，另一工具需接收蛋白结构；某工具返回矩阵，另一工具仅接受三维向量。SciAgentGym 为工具定义了明确的类型契约，确保环境能校验每次调用的合法性及工具间的衔接性。
2. Reproducibility（可复现性）：模型的所有工具调用、中间结果及环境反馈均被记录为结构化轨迹。评测结果不仅包含最终答案，更完整呈现了模型完成任务的全过程，确保实验可追溯、可复现。
3. Extensibility（可扩展性）：工具按学科和标准协议组织，便于接入新领域工具。研究团队封装了 RDKit、ASE、SciPy、BioPython、PyMatGen 等成熟科学计算包，并按计算、分析、可视化和查询等功能分类，通过自动化单元测试筛选高质量工具。

SciAgentGym 的设计初衷，是为科学智能体提供一个能承载真实科学工作流的执行平台。在此环境中，模型需理解工具依赖、管理中间状态、利用环境反馈，并将多步操作整合为连贯的科学任务流程。

图：SciAgentGym 总体框架。左侧展示科学环境与工具系统，右侧呈现 SciAgentBench 评测、Agent Interface 交互及 SciForge 训练流程。

SciAgentBench：评测模型能否完成长程科学任务

在构建基础环境后，核心问题转向：当前大模型在复杂科学工作流中的能力边界究竟在哪里？

SciAgentBench正是为此设计的评测基准。该基准集包含 259 个任务和 1,134 个子问题，覆盖物理、化学、材料科学和生命科学四大领域。所有任务均经过严格筛选与验证，确保其无法仅靠模型记忆或常识直接回答，必须依赖在 SciAgentGym 环境中持续调用工具、读取反馈并逐步推进。

为量化任务复杂度，SciAgentBench 将任务划分为三个层级：

• L1（基础任务）：不超过 3 步，考察模型完成短流程工具调用的基本能力。
• L2（中等复杂度）：需 4 到 7 步，要求模型组合多个工具，并管理更多中间状态。
• L3（长程任务）：需 8 步以上，高度贴近真实科学工作流。模型需规划多步骤流程，在执行中处理反馈、修正错误，并始终紧扣整体目标。

在 SciAgentBench 中，L2 和 L3 任务占比高达 79%，重点考察模型在长任务链条中的稳定性。此外，约 65% 的任务包含多模态输入（如分子结构图、光谱数据、相图、实验图像），这更贴近真实科研场景——研究者需同时解读文本、图像、表格及工具返回的中间结果。

评测指标

论文采用两个关键指标进行评估：

1. Success Rate（成功率）：衡量模型是否成功完成整个任务。
2. Success Weighted by Path Length（路径加权成功率）：进一步考量任务效率。若模型通过反复尝试无效路径或调用冗余工具最终答对，其效率得分将降低。科学智能体不仅需得出答案，更需以高效、直接的方式达成目标。

图：在 SciAgentBench 下的测试结果。

实验结果与分析

数据显示，工具接入显著提升了模型表现。总体而言，模型在接入工具后，平均成功率从 23.3%提升至 28.3%。这表明，在真实科学任务中，外部工具（科学计算、数据库查询、专业软件）提供的精确能力，是仅靠模型内部知识无法替代的。

然而，长流程任务中的性能衰减更为显著。以 GPT-5 为例，在带工具设置下整体成功率为 41.3%，但拆解难度后：
* L1 成功率：58.8%
* L3 成功率：34.6%

这一趋势在所有模型中普遍存在：L1 平均成功率为 47.4%，而 L3 仅为 16.4%。

这说明，当前模型虽具备初步的工具使用能力，但在稳定完成长程科学工作流方面仍面临巨大挑战。短流程任务仅需少数几次正确决策，而长流程任务要求模型连续完成“理解问题-选择工具-设置参数-读取反馈-格式转换-继续执行”等多个环节。任何一环出错，都可能导致后续步骤连锁失败。

图：SciAgentBench 下的模型行为分析。从工具调用效率、反馈利用能力及长程错误恢复三个维度分析发现，当前模型的瓶颈并非“会不会调用工具”，而是能否在多步执行中有效理解环境反馈、调整行动路线并持续推进任务。

论文还揭示了一个有趣现象：工具调用次数多，并不等同于使用能力强。部分模型频繁调用工具但成功率低，原因在于未能真正理解反馈，仅在报错后机械重复或微调参数。相反，更强模型调用次数较少，却能高效利用中间结果，快速判断下一步行动。这凸显了科学智能体的关键能力：有效利用环境反馈。

在真实科研中，工具反馈（如报错提示格式错误、参数缺失或工具选择不当；中间结果提示路线有效性）至关重要。若模型无法解读这些信号，便容易陷入反复试错甚至无效循环。这一结果强调，尽管大模型已具备一定科学工具使用能力，但距离稳定、可靠地完成真实科学工作流仍有明显差距。

SciForge：让模型从可执行轨迹中学习

在评估模型表现后，论文进一步提出 SciForge，用于构建面向科学工具使用的训练数据。

SciForge 的核心理念是：科学智能体需学习的不仅是最终答案，更是完成任务的过程。在真实科研中，工作流包含选择工具、调用、读取中间结果、理解反馈及错误修正等环节。

SciForge 从科学工具的输入输出关系出发，构造潜在工作流，并将其放入 SciAgentGym 中实际运行。能够执行并产生有效结果的轨迹将被保留为训练数据。这些轨迹不仅包含成功路径，还涵盖错误与修正过程（如工具调用失败、参数不当、格式不匹配等）。模型可从这些数据中学习如何根据反馈调整后续操作，而非仅学习理想化的执行路径。

训练效果

实验显示，基于 SciForge 数据训练后：
* SciAgent-8B在 SciAgentBench 上达到 30.1%的成功率，超越了更大规模的 Qwen3-VL-235B-Instruct。
* SciAgent-4B达到 25.2%，相比基座模型显著提升。

图：SciForge 训练效果。随着训练轨迹数量增加，模型在工具增强任务中的表现持续提升；若缺少错误恢复过程或使用非科学工具数据，训练效果将受损。

这一结果证明，对于科学智能体而言，工具调用的过程数据至关重要。可执行轨迹为模型提供了关于工具依赖、数据精度、反馈利用等宝贵经验，使其在训练中接触更接近真实科学工作的任务结构。

展望：下一步，AI 科学家

斯坦福研究者 Surya Ganguli 在探讨 AI 与科学发现时指出，AI 将推动新的科学发现，而科学应用对严谨性的要求，也将反向推动 AI 技术的进步。在科学智能体的语境下，这一点尤为关键。

真正进入科学研究场景后，模型面对的是海量资料与无限开放的探索过程。面向开放式科学发现，让模型先在具体科学工作流中学会可靠执行，再逐步提升其参与复杂科学研究的能力，可能是一条极具潜力的路径。我们期许，未来的 AI 科学家将在这种深度交互中逐渐成形，成为人类探索未知的重要伙伴。

(责任编辑：探索)