Gemini 4 Argon 基准测试全解读:19 项成绩、Google 的测试方法,以及它落后的 5 项

汇总 Gemini 4 Argon 的全部 19 项基准测试成绩、每项数据的来源、它落后于对手的 5 项,以及 Google 测试方法上的说明,并附 AA、Vals 与 Arena 的分数。

用 Apifox,节省研发团队的每一分钟

Gemini 4 Argon 基准测试全解读:19 项成绩、Google 的测试方法,以及它落后的 5 项

免费使用 Apifox

相关推荐

最新文章

API

一体化协作平台

API 设计

API 文档

API 调试

自动化测试

API Mock

API Hub

立即体验 Apifox
目录

在 Google 的发布表格中,Gemini 4 Argon 在 19 行里直接领先 13 行,与 GPT-6 Astra 在 CWE-bench v1 上并列 1 行,在 5 行上落后:FrontierSWE v2、Terminal-bench 4.0、PostTrainBench、Terminal-Bench Science 0.1 和 OSWorld-2.0。问题在于访问权限。Argon 目前只对 Fairwind Program 的防御者开放,因此在 Google 的合作伙伴名单和少数基准测试机构之外,还没有人能复现这些数字。

下面依次是:完整表格及每行的测量方、五处落后、细节说明、网络安全评分、第三方榜单,以及在开放访问之前如何在 Apifox 中搭建自己的评测。想了解模型概览,请先看什么是 Gemini 4 Argon。要做出采购决策,请看 Argon vs GPT-6 Astra vs Claude Opus 5.5。

完整表格,以及每行的测量方

这些是 Google 报告的结果,来自发布帖和评测方法论 PDF,后者的标题是“results as of October, 2026”。19 个 Argon 分数中有 10 个由 Google 自己计算,另外 9 个来自公开榜单。竞品数字来自这些榜单、Google 自己的运行结果,或厂商的系统卡与博客文章,各行的测试框架并不相同。加粗表示该行领先者。

基准测试 Gemini 4 Argon GPT-6 Astra Claude Fable 5.1 Claude Opus 5.5 测量方
Vals Index 68.9% 63.1% 65.8% 67.0% Vals AI
AutomationBench 51.3% 41.4% 31.4% 42.5% Zapier 排行榜(非公开数据集)
Vals Finance Agent v2 65.4% 53.5% 58.9% 58.6% Vals AI
Harvey Legal Agent 19.6% 5.4% 6.7% 3.8% Vals AI
DeepSWE v1.1 77.9% 74.1% 67.4% 74.2% Argon 自行计算;Astra 排行榜;Anthropic 系统卡
FrontierSWE v2 55.0% 65.5% 56.3% 62.3% Proximal 排行榜
Vibe Code Bench 91.9% 89.6% 90.3% 90.3% Vals AI
Terminal-bench 4.0 57.4% 58.2% 57.9% 66.4% Argon 自行计算;竞品排行榜
PostTrainBench 45.3% 44.3% 40.2% 49.3% 所有模型均自行计算
Terminal-Bench Science 0.1 57.6% 68.1% 52.6% 63.3% Argon 自行计算;竞品排行榜
LABBench 2 88.8% 85.4% 68.6% 73.1% 所有模型均自行计算
RiemannBench 76.0% 72.0% 65.6% 69.6% Surge 排行榜
GraphWalks up to 128K 99.7% 98.7% 91.4% 90.6% 所有模型均自行计算
GraphWalks 256K to 1M 84.2% 71.8% 65.0% 66.8% 所有模型均自行计算
Agent’s Last Exam 39.5% 34.2% n/r 38.2% Argon 自行计算;竞品排行榜
OSWorld-2.0 (offline) 69.2% 72.6% n/r n/r Argon 自行计算;Astra 来自 OpenAI 的博客文章
Chartography 71.6% 71.0% 46.2% 66.3% Surge 排行榜
LVBench 91.7% 87.5% 79.7% 83.7% 所有模型均自行计算
CWE-bench v1 68.0% 68.0% 58.0% 67.0% 公开榜单

n/r = 未报告。Grok 4.7 不在 Google 的表格中,但它在 CWE-bench 榜单上也得到 68%,所以这个并列实际上是三方并列。

按来源划分,有 9 行对所有模型都来自公开榜单(Vals AI、Zapier、Proximal、Surge 和 CWE-bench)。Argon 在其中 7 行领先、1 行并列。Google 自己跑了 5 行,覆盖全部四个模型,Argon 在其中 4 行领先。另外 5 行把 Google 自己跑的 Argon 分数与其他来源的竞品数字放在一起,Argon 的落后大多出现在这里:5 处落后中有 3 处在这类混合行中。如果自行计算对 Argon 有所美化,结果应该正好相反。

Argon 在哪里落后,以及这对 agentic coding 意味着什么

  • FrontierSWE v2:55.0%,落后于 Astra 的 65.5%。Argon 在四者中垫底,排在 Fable 5.1(56.3%)和 Opus 5.5(62.3%)之后,而这是给每个模型都打分的榜单。
  • Terminal-bench 4.0:57.4%,落后于 Opus 5.5 的 66.4%。再次垫底,不过 Astra 和 Fable 5.1 与它相差不到一个百分点。
  • PostTrainBench:45.3%,落后于 Opus 5.5 的 49.3%。位列第二,而这一行是 Google 为所有模型运行的。
  • Terminal-Bench Science 0.1:57.6%,落后于 Astra 的 68.1%。排名第三,只领先 Fable 5.1。Google 在运行 Argon 的这次尝试时使用了 6 倍的验证器超时。
  • OSWorld-2.0(离线子集):69.2%,落后于 Astra 的 72.6%。Anthropic 只报告在线与离线的合并分数,所以两个 Claude 模型都没有出现。

Agentic coding 上是 2 比 2。Argon 在 DeepSWE v1.1 和 Vibe Code Bench 上胜出,却在 FrontierSWE v2 和 Terminal-bench 4.0 上垫底。DeepSWE 这次胜出混用了不同测试框架:Argon 跑在 mini-swe agent 框架上,Astra 的数字来自公开榜单,Claude 的数字来自系统卡。Vibe Code Bench 更干净,因为 Vals AI 给四者都打了分,但差距只有 1.6 个百分点。

如果你的工作负载是重度依赖终端的 agent 或长仓库任务,那么这两处垫底的分量要重于整体领先数。FrontierSWE 的领先属于 Astra;我们的 GPT-6 Astra 上手体验展示了今天使用这个模型的实际感受。Anthropic 这边,Claude Fable 5.1 基准测试解读覆盖了 Fable 自己的发布数据。

彭博社报道称,一些有访问权限的匿名 Google 员工表示,就某些编码和前端设计工作而言,Argon 的表现与其基准测试分数相比令人失望。Google 称这一描述不准确。

会改变你解读这张表方式的方法论注意事项

  • 双方都开到最大强度。Argon 运行时“使用 Gemini API 并开启最高思考设置”。对 Astra、Fable 5.1 和 Opus 5.5,Google 默认采用“可用的最高思考/推理设置”。这是在上限层面做对比,而不是默认行为或成本。
  • LVBench 帧数。LVBench 由 Google 自己为四个模型运行,不使用工具。Gemini 以 1 FPS 采样视频。Astra 得到 800 帧,Fable 5.1 得到 300 帧,Opus 5.5 得到 600 帧,原因是“API 限制”。这些模型看到的输入并不相同。
  • OSWorld 取三次最佳。Argon 的分数是“在 3 次运行中取最大值,每次运行只尝试一次”,是最佳单次成绩而非平均值。
  • Agent’s Last Exam 时间窗口。Argon 跑在 ALE-Claw 框架上,窗口为 5 小时。
  • 安全过滤开启。Agent’s Last Exam 和 OSWorld 运行时启用了安全过滤,被标记的响应返回空字符串。如果有影响,那也是对 Argon 不利。

DeepMind 网络安全页面上的网络安全行

DeepMind 网络安全页面在发布表格之外又补充了四项分数:

网络安全评测 Gemini 4 Argon 对比
真实世界漏洞发现 85.8% Gemini 3.8 Flash Cyber 71.0%
Wiz Penetration Test Benchmark 70.9% Gemini 3.8 Flash Cyber 58.2%
Gray Swan IPI 攻击成功率(k=15,越低越好) 0.7% 图中最低;Kimi K3 最高,为 52.7%
CWE-bench v1 68% 与 Grok 4.7 和 GPT-6 Astra 三方并列;Opus 5.5 为 67%

漏洞评测使用了内部的 Antigravity 框架,该框架“并非专为网络安全设计”,并带有源代码访问权限。Wiz 测试只让模型“访问运行中的网站及其公开行为,不提供应用源代码”。两处主要对比都是与 Google 上一代网络安全模型比较,而不是与竞品。我们的 Argon 网络防御解读介绍了这些对你在用的 API 意味着什么。

第三方榜单

这些机构在发布后几分钟内就公布了分数,说明它们拥有发布前访问权限。

  • Artificial Analysis 将 Gemini 4 Argon(High)的 Intelligence Index 列为 53,在 223 个中排第 8。该排名把每种推理设置单独计算。按不同模型统计,Argon 与 Fable 5.1 和 GPT-6 Astra 持平,排在 Opus 5.5(最高档 58)和 Sonnet 5.5(最高档 56)之后。AA 报告 AA-Omniscience 上的幻觉率为 15%(Astra 最高档为 51%),准确率为 50% 对 63%。运行该索引每个任务花费 $1.99,每个任务约 62K 输出 token,而 Astra 最高档约为 27K。Artificial Analysis 未显示速度或延迟数据。
  • Vals AI 将 Argon 在 Vals Index 上列为 68.90%,在 41 个中排第 1,也是首个登顶的 Gemini 模型,每次测试 $15.68。Vals AI 列出其测试配置的最大输出为 262K,低于 Google 声称的 1M。
  • Arena 将 Argon 在 Text 榜单上列为第 1,得分 1525,基于 4,942 票标注为 Preliminary,在 WebDev 上排第 8。

为什么媒体会给出 12、13 和 14 个胜场

各家媒体给出了三种不同的胜场数。以下按 Google 的 19 行重新统计:

对比对象 Argon 胜 并列 Argon 负 未报告
三家竞品中的最好成绩 13 1 5 0
仅对比 GPT-6 Astra 14 1 4 0
仅对比 Claude Opus 5.5 14 0 4 1
仅对比 Claude Fable 5.1 15 0 2 2

13 是相对整个对比集合而言的。14 是相对与 Astra 或 Opus 5.5 的一对一比较而言的。12 与以上任何一种对全部 19 行的口径都不吻合,所以要检查那个来源统计了哪些行。差距也各不相同:Harvey Legal Agent(19.6% 对 6.7%)差距很大;Chartography 只有 0.6 个百分点。

访问开放当天如何运行你自己的评测

基准测试描述的是 Google 的框架;你的 prompt 描述的是你的产品。今天就用一个你能调用的模型把评测搭好,然后只需改一处就能指向 Argon。

  1. 挑选与你关心的行相匹配的真实 prompt:一次仓库修复、一个终端任务、一个长文档问题。
  2. 在 Apifox 中创建一个环境,将 GEMINI_API_KEY 和 GEMINI_MODEL 设为 gemini-3.8-flash。Google 尚未公布 Argon 的模型 ID,所以这个变量就是你要改的唯一值。
  3. 把每个 prompt 保存为一个请求,从 {{GEMINI_MODEL}} 读取模型,并归入一个测试场景。
  4. 对输出添加断言(状态、必填字段、预期内容),并对 usageMetadata 添加断言,包括按你的成本上限为 thoughtsTokenCount 设定上限。
  5. 现在就用 3.8 Flash 运行该场景,并保留报告作为基线。

Argon 的 ID 发布当天,替换该变量并重新运行。Google 表示“所有新模型”都会在 Interactions API 上发布,所以也请为每个请求保存一个 Interactions 版本。我们的 Argon vs Gemini 3.8 Flash 对比介绍了在价格和限制上可以预期什么。

常见问题

Gemini 4 Argon 的基准测试经过独立验证吗?部分经过。19 行中有 9 行对所有模型都来自公开榜单,Artificial Analysis、Vals AI 和 Arena 也公布了自己的结果。其余为 Google 自己为 Argon 运行的结果。

Gemini 4 Argon 的 DeepSWE 分数是多少?在 DeepSWE v1.1 上为 77.9%,领先 Opus 5.5(74.2%)和 Astra(74.1%)。Argon 的运行使用了 mini-swe agent 框架,而竞品数字来自一个榜单和系统卡。

Argon 在基准测试上胜过 GPT-6 Astra 吗?在 Google 表格的一对一比较中,Argon 胜 14 行、并列 1 行、负 4 行。在 Artificial Analysis 上两者同为 53。

我能自己复现这些基准测试吗?还不能。Argon 仅限 Fairwind 合作伙伴使用,Google 也没有给出公开发布日期;我们的 Argon 发布日期追踪会跟进这一推进过程。

下一步

现在就搭好这个场景,在 3.8 Flash 上运行,并保留报告。等 Argon 开放后,完成替换几分钟内你就能得到自己的数据,把环境准备好即可开始跑。


HiFox:将 Agent 变成真正的队友

另外,我们也在思考,AI 如何从个人提效走进团队协作。

HiFox 是一个让人和 AI Agent 在同一个工作现场协作的平台:你可以像给同事分派任务一样指派 Agent,在任务看板中跟踪进度、查看结果,让 Agent 成为团队里的队友。

👉 立即体验 HiFox:https://hifox.com

AI Coding 交流群

如果你也在用 AI 写代码,或者正在研究 Cursor、Claude Code 这些工具,
欢迎加入以下交流群。群里平时会聊一些 AI 编程的实际用法、开发工作流,还有各种新工具和新玩法。

AI Coding 交流群