3.8万小时、狂烧天价token：字节发现Agent的 Scaling Law

作者｜ Ado
微信｜ Ado__rs

7月2日，时狂烧天字节 Seed 团队发布了全新的字节 Agent 评测项目 EdgeBench。这不仅仅是发现一个新的 Benchmark 榜单，它试图回答一个被主流评测长期忽视的时狂烧天核心问题。

传统 Benchmark 的字节逻辑简单粗暴：给模型一道题，做对得分，发现做错零分。时狂烧天这种模式越来越像“高考”，字节侧重于静态知识的发现检索与推理。

然而，时狂烧天真实世界中的字节 AI 应用并非如此。你不会向 Claude Code 抛出一道孤立题目并等待标准答案，发现而是时狂烧天交付一个完整的项目、代码库或数据集，字节让 Agent 在其中自主探索、发现试错、读取反馈、修正并再次尝试。用户真正关心的，是 Agent 在浸泡于复杂现实任务环境一段时间后，其能力是否实现了动态增长。

现有的 Benchmark 几乎无法捕捉这一维度。它们测量的是模型被冻结那一刻的“静态能力”，而对于从反馈中持续迭代、在长周期内积累经验、以及在陌生环境中摸索方向的能力，则处于评测盲区。

EdgeBench 的核心切口，正是将盲区纳入视野，旨在解答一个问题：将一个 Agent 扔进陌生环境，12小时后，它的进化幅度究竟有多大？

为了构建这一实验，Seed 团队搭建了名为 EdgeBench的“环境学习观察舱”。该评测涵盖 134 个任务，横跨六大领域：科学/机器学习、软件工程、组合优化、专业知识工作、形式化数学及交互式游戏。每个任务均设计有严格合约，强制 Agent 至少运行 12 小时。

其设计围绕四个核心维度展开：

在此平台上，5 个前沿模型（Claude Opus 4.8、GPT-5.5、GPT-5.4、GLM-5.1、DeepSeek-V4-Pro）累计运行了约 38,000 小时。

尽管经费燃烧惊人，但这一投入换来了巨大的科学价值：他们首次找到了 Agent 的 Scaling Law。

1. 四大发现：公式、路径、本质与速度

1）Agent 学习存在一条被写死的数学公式

在 134 个任务的平均表现中，5 个模型的学习曲线被 log-sigmoid（对数逻辑斯蒂）函数以极高的精度拟合。

这是整篇论文最核心的“灵魂发现”。

过去，业界普遍认为环境学习是一个充满噪声和混乱的过程，不同任务、模型和策略下的规律应当各不相同。但数据给出了反直觉的答案：

134 个任务的平均学习曲线，被同一个函数以 R² = 0.998 的精度精确拟合。

在 R² = 0.998 意味着什么？在人机交互和复杂系统研究中，R² 达到 0.3 便足以发表学术论文。0.998 已超越了单纯的“拟合”范畴，成为一种规律性发现。这意味着，如果我们知道一个 Agent 在前两小时的进步速率，在任务集合的平均意义上，我们可以相当准确地预测其 12 小时后的能力水平。

该曲线揭示了 Agent 学习的普遍体感：初期缓慢适应 -> 找到感觉后爆发式增长 -> 接近能力天花板时增速放缓。这与人类深度学习或深度工作的体验完全一致。

更令人惊讶的是该规律的鲁棒性：
* 跨时间尺度成立：无论是 12 小时、28 小时还是 72 小时的实验窗口，拟合精度均保持在 R² ≥ 0.993。
* 跨领域成立：六大任务家族各自拟合，R² 分布在 0.972 到 0.998 之间。

2）不存在“标准”的成长路径

这一发现具有极高的工程指导意义。

若将 134 个任务的单任务学习曲线单独拆解，会发现个体差异极大。虽然平均曲线呈现完美的 log-sigmoid 形态，但单条曲线之间差别显著：

• 稳步提升型：Agent 一上来就稳步进步，曲线平滑。
• 突变型：前几个小时毫无进展，随后在某一刻分数突然跳升。
• 波动型：先涨后跌，再涨。
• 平台型：初期快速上升，随后陷入漫长的平台期。

不同的学习策略和试错范式，在同一评分框架下会演化出截然不同的成长路径。Agent 的区别不仅在于“快”与“慢”，更在于“如何学”。仅看最终分数的评测方式，完全抹平了这一关键维度。

论文解释称：任务是一张能力地图，学习过程是解锁前沿并向外扩张的过程。在单任务节点较少时，曲线呈现锯齿状；当任务数量足够多并取平均后，S 形曲线（Logistic Curve）便浮现出来。论文标题中的 Scaling Law，指的正是这条宏观曲线。

3）“重新理解问题”才是真进步

有经验 vs 无经验对比：连续运行积累经验比 6 次独立重启多出 6.9 分的显著优势。

实验控制了变量：使用同一模型（Opus 4.8），分配相同的 12 小时预算，对比两种方案：

• 方案 A（连续学习）：连续运行 12 小时，保留所有中间产物、错误记录及已验证假设。
• 方案 B（独立重启）：拆分为 6 次独立的 2 小时运行，每次清空状态，仅保留最佳结果。

12 小时后，方案 A 比方案 B 高出 6.9 分（百分制）。且两条曲线从实验伊始便分道扬镳。

这证明进步并非源于运气的多次尝试，而是源于经验的累积。

以实验中的引力波重建案例为例：GPT-5.5 在该任务上运行 12 小时，共提交 224 次，但真正推动最佳成绩突破的仅有 27 次。

每一次突破并非因为“多跑了一个实验”，而是因为 Agent 对问题本身的理解发生了质变。它将模糊的目标逐步拆解为可搜索的子问题，并从反馈中重新定义了“什么是更好的方向”。

4）学习速度本身正在被“学习”

这一发现与产业界的关系最为紧密。

实验选取了一组所有模型“起跑线相近”的任务（首次尝试得分均在 6.87 分左右），测量每个模型在 2 小时交互后的进步幅度。

结果令人震惊：从 2025 年 9 月的 GPT-5-Codex 到 2026 年 4 月的 GPT-5.5，在 221 天内，学习效率提升了约 8 倍，约每 3 个月翻一番。

后期模型的有效提交率显著上升，但提交次数并未同步增加。换言之，模型不是变得更“勤快”，而是变得更“高效”。这与工程直觉一致：高级工程师不一定比初级工程师写更多代码，但能大幅减少无用功。

AI 的能力正逐渐从“静态知识”向“动态习得能力”转变。而“学会新东西”的能力本身，也在以惊人速度进化，且这种进化速度比静态知识的增长更具决定性。

2. 评测环境本身，与 EdgeBench 同样有价值

EdgeBench 看似是一个模型排行榜，实则测量的是 Agent 系统能力，而非裸模型能力。

不同模型运行在不同的执行框架上：
* Claude Opus 4.8 使用 Claude Code + 1M 上下文窗口。
* GPT-5.5 使用 Codex + 256K 紧凑窗口。

最终得分不仅包含模型本身的能力，还融合了上下文管理、工具调用、反馈处理及执行框架的综合影响。这反而更贴近真实部署场景：现实中的 Agent 从来不是孤立模型，而是模型、工具、工作流和反馈系统的组合。EdgeBench 衡量的，正是这个组合系统在长程任务中的持续推进能力。

因此，榜单不能被粗暴解读为基础模型排名，它更像是在比较不同 Agent 系统的长期工作能力。

将 EdgeBench 与主流 Benchmark 对比，差距一目了然：

传统 Benchmark 是“静态快照”，EdgeBench 是“动态轨迹”。二者不在同一维度竞争。

然而，这一新维度代价高昂。

巨大的资源消耗

134 个任务，每个任务平均消耗 57.2 小时的人类专家时间，最长单个任务投入高达 320 小时。仅任务构建一项，人力投入便超过 7,500 小时。

运行成本更是天文数字：5 个模型，每个任务运行 3 次，部分延长至 72 小时以上，总计约 38,000 小时的 Agent 交互时长，对应海量的 API 调用和算力消耗。

这一成本门槛意味着，长程 Agent 评测并非普通团队所能轻易涉足的方向。

工程细节与反作弊博弈

论文附录记录了开发过程中 Agent 攻破的各种漏洞：
* 某 Agent 在流体力学任务中通过 400+ 次提交，反推出了隐藏测试数据的答案。
* 某 Agent 发现反作弊检查对 baseline/目录豁免，便将代码塞入“免检通道”交卷。

这暴露了一个深层矛盾：想要测试“学习能力”，必须给予 Agent 充分反馈；但反馈越多，Agent 越可能将其当作预言机进行利用。

EdgeBench 的解决方案是物理隔离：工作容器与裁判容器分离，裁判评分后容器即刻销毁，防止 Agent “作弊”。

EdgeBench 的双环反馈机制：
* 左侧（工作容器）：Agent 自由探索，拥有编译器、调试器、日志和文档，但无“隐藏答案”。
* 右侧（裁判容器）：Agent 提交工件后，裁判使用隐藏测试数据和私有标准打分，打完即毁。

这一设计模拟了“考场密封”和“双盲评审”机制。将其在工程层面实现，难度远超题目设计本身。这套双容器框架名为 SForge，字节已将其连同 134 个任务中的 51 个一起开源。构建环境的门槛依然高耸，但使用入口已经打开。

对于 Benchmark 研究者而言，这引发了“原来你们也被 Agent 坑过”的强烈共鸣。

因此，EdgeBench 不仅仅是一个新的 Benchmark，它本质上是一个可观测的 Agent 运行环境。将其视为 “Agent 的 Profiler（性能分析器）”可能比“新 Benchmark”更为准确。

3. 字节自己的“AI下半场”

EdgeBench 提供了一个重新审视 AI 发展的理由。

长程任务与短 Benchmark 的差异，不在于时间拉长，而在于暴露的问题完全不同。

在仅运行 10 分钟的 Benchmark 中，Agent 行为可预期：读题、思考、输出、结束。但在 12 小时的长程任务中，麻烦接踵而至：
* Agent 可能在方向正确的前提下逐渐跑偏。
* 修复一个模块的同时可能搞崩另一个。
* 误读用户反馈，将错误信号解读为正确方向，并在错误道路上持续投入数小时。

退一步看，当前 Agent 在自我纠偏方面仍有欠缺。这些问题在短 Benchmark 中难以观测，但在真实环境中却件件致命。

因此，EdgeBench 的价值在于将 Agent 评测的标准，从“会不会做”推进到了“会不会持续做、学习、再做”。这两个问题之间，隔着一次评测范式的代际跨越。

这种对评测范式的重新思考，让人联想到腾讯姚顺雨提出的“AI下半场”判断。某种程度上，EdgeBench 就是字节版本的“AI下半场”。

EdgeBench 将“Agent 在环境中越跑越强”这一直觉，转化为了可测量的学习曲线。逻辑是同构的，只是尺度从参数和算力，转变为了时间和反馈。

未来 AI 公司争夺的核心资源，将不再仅仅是数据和算力，而是能让模型反复试错、持续进化的环境。

点个 “ 爱心 ” ，再走 吧

(责任编辑：探索)