Muse Wonder 基准测试成绩全解析

汇总 Muse Wonder 的全部基准测试成绩:Meta 官方表格与 Claude Opus 5.5、GPT-6 Astra 的逐行对比,Artificial Analysis 指数,MemoryBench 与 FocusBench,以及哪些结果可以复现、哪些不能。

用 Apifox,节省研发团队的每一分钟

Muse Wonder 基准测试成绩全解析

免费使用 Apifox

相关推荐

最新文章

API

一体化协作平台

API 设计

API 文档

API 调试

自动化测试

API Mock

API Hub

立即体验 Apifox
目录

Muse Wonder Full 在 Artificial Analysis Intelligence Index 上得 56 分,Muse Wonder 得 52 分;作为对比,Claude Opus 5.5 为 58 分,Claude Sonnet 5.5 为 56 分,GPT-6 Astra、Gemini 4 Argon 和 Claude Fable 5.1 各自为 53 分。Meta 自家的模型卡讲述了一个更强的故事:在长时间运行的编程、法律工作、业务自动化和记忆方面领先。两者都是事实,因为它们衡量的是不同的东西,而它们之间的差距正是本文最有价值的一点。

本文汇总了所有已公布的数字,既有 Meta 自家的也有独立第三方的,并说明每一项测试的是什么、Wonder 在哪里领先、在哪里落后,以及哪些数据是 Meta 之外无人能够复现的。关于模型本身,请参见 Muse Wonder 详解。

AI Coding 交流群

如果你也在用 AI 写代码,或者正在研究 Cursor、Claude Code 这些工具,欢迎加入以下交流群。群里平时会聊一些 AI 编程的实际用法、开发工作流,还有各种新工具和新玩法。

Meta 的模型卡表格

Meta 在最大推理强度下对比了 Muse Wonder Full、Muse Wonder、GPT-6 Astra 和 Claude Opus 5.5。以下各行来自 VentureBeat 对该模型卡的报道:

基准测试 衡量内容 Wonder Full Wonder GPT-6 Astra Claude Opus 5.5
Artificial Analysis Intelligence Index 十项评测综合分 56 52 53 58
Harvey LAB-AA 法律 Agent 任务 13.1 10.0 8.6 4.2
AutomationBench-AA 业务流程自动化 45.4 39.1 41.6 41.2
JobBench 专业工作 75.3 70.5 66.1 75.4
DeepSWE 1.1 软件工程 79.0 78.8 74.1 74.2
SWE-Marathon 长时间运行的编程任务 57.5 53.1 42.5 46.3
Terminal-Bench 4.0-AA 终端 Agent 任务 57.1 52.0 59.1 59.6
HealthBench Pro 健康问题 62.3 60.5 65.3 65.6

横向扫一遍,格局就很清楚。凡是任务耗时且具有 Agent 属性的场景,Wonder Full 都胜出:SWE-Marathon 领先 Opus 5.5 十一分,DeepSWE 领先五分,法律领域领先三倍。它在终端任务、健康任务和综合指数上落败。即便在 Meta 自己的表格里,Opus 5.5 在总体上也是更聪明的模型;Wonder Full 则是更持久的那个。

Meta 自己也给出了两点说明。竞争对手的运行是尽力而为的,所用设置未必对这些模型最优。另外,部分编程对比使用了不同的工具,因此这几行数据相比其余部分受控程度更低。

Meta 的内部基准测试:记忆与专注

Meta 发布材料中有三个数字来自只有 Meta 才能运行的测试。

基准测试 Wonder Full Wonder GPT-6 Astra Claude Opus 5.5 Claude Fable 5.1
MemoryBench 85.5 85.6 81.4 81.5 79.0
FocusBench 54.2 44.9 47.7 45.8 36.6

MemoryBench 把事实隐藏在 64K 到 100K token 的对话里,加入干扰项,并在中途修改部分事实,模型必须回忆起当前版本。它是 Active Memory 功能的证据。FocusBench 衡量模型能否在遇到阻碍时依然持续追求目标,对应 Active Focus 功能。注意,较小的 Wonder 在 FocusBench 上得分低于 Astra 和 Opus,只有 Full 领先。第三项内部数据 Personal Superintelligence Index 则没有公布任何竞争对手的对比。

这些测试针对的是真实行为,看上去合理,但它们也恰恰是 Meta 专门训练过的行为。在 Meta 之外的人能够运行这些测试之前,不妨把它们看作对训练目标的描述。

独立得分:Artificial Analysis

Artificial Analysis 在最大推理强度下让两个模型都跑了一遍它的 Intelligence Index v4.3。以下是综合分及各项分解:

评测项 Wonder Full Wonder Muse Spark 1.3 值得注意的对比
Intelligence Index 56 52 48 Opus 5.5 58、Sonnet 5.5 56、Astra / Argon / Fable 5.1 53、Grok 4.6 44
Terminal-Bench 4.0 57% 52% 33% Gemini 4 Argon 57%
GDPval-AA (Elo) 1857, #2 n/a 1681 Opus 5.5 1866、Sonnet 5.5 1838
AA-Briefcase (Elo) 1729, #3 n/a 1581
CritPt 33%, #1 n/a n/a 最接近的对手为 31% 至 32%
GDP.pdf 33%, #1 n/a n/a 最接近的对手为 31% 至 32%
SciCode 63%, #3 n/a n/a
AA-Omniscience(知识) 30 25 25 Opus 5.5 46、Astra 43、Argon 42、Sonnet 5.5 32
幻觉率 23% 27% 33% Gemini 4 Argon 15%
Coding Agents Index 68 63 54 Claude Code 搭配 Sonnet 5.5 为 68、搭配 Opus 5.5 为 66

有三点值得注意。

相较 Spark 的跃升是实打实的。 六周内综合分提高八分,Terminal-Bench 几乎翻倍。Artificial Analysis 称其为相较 Meta 此前模型的一次实质性智能跃升。

知识是短板。 Omniscience 得分 30,而 Opus 5.5 为 46,说明 Wonder 掌握的事实更少;不过它较低的幻觉率意味着它更不容易凭空编造事实。对于检索密集型产品而言,这意味着应当用搜索或自有文档来做接地,而不是依赖模型的记忆。

有几处领先幅度很窄。 CritPt 和 GDP.pdf 只领先其他模型一到两分,GDPval 相对 Sonnet 5.5 的领先也在置信区间之内。对于任何在选择 Agent 运行时的人来说,Coding Agents Index 上与 Sonnet 5.5 版 Claude Code 打平是最相关的数字,而且它属于 Full,而非 API 所服务的模型。

Meta 与 Artificial Analysis 数据不一致的一行

Meta 的模型卡在 Artificial Analysis Intelligence Index 一行上给 Wonder Full 记为 59.0,而 Artificial Analysis 公布的是 56。差异可能来自指数版本、运行日期,或 Meta 自己的评测框架,双方都没有公开解释过。当你看到有人引用 59 时,那是 Meta 的数字;看到 56 时,那是独立第三方的数字。AutomationBench 上也存在同样的差异:Meta 的表格给出 45.4 和 39.1,Artificial Analysis 报告的则是 71% 和 68%,看起来是测试的不同版本。引用数字时请一并注明来源。

得分背后的 token 与成本

最大推理强度下的得分是有 token 代价的。Artificial Analysis 测得两个 Wonder 模型每项任务约消耗 54,000 个输出 token,而 Argon 为 62,000、Fable 5.1 为 78,000、GPT-6 Astra 为 27,000。在输入方面,Wonder 在整个指数上使用了 769 万 token,Full 为 644 万,是 OpenAI 和 Google 模型的两到七倍。正因如此,Wonder 每项任务成本落在 $4.52,低于 Opus 5.5 的 $5.98,但高于 Astra 的 $3.26,尽管 Astra 的标价高出 2.5 倍。定价那篇文章详细分析了这对真实工作负载意味着什么。

你该自己测什么

基准测试告诉你该往哪里看,而不是该交付什么。对于 Meta 声称的那些 Agent 优势,正确的测试是你自己的长任务:一次 30 步的重构、一次多文档评审、一个故意注入故障的工具循环。在 Apifox 里,用相同的 prompt 和工具定义分别对接 Muse Wonder、Opus 5.5 以及你当前使用的模型,对结构化输出做断言,并逐一比较 usage。工具调用测试框架和非确定性 Agent 测试指南里介绍了具体的搭建方法。下载 Apifox,把这三者放在一起跑一跑。

请记住,API 提供的是 Wonder,而不是 Full。你读到的关于 Meta 前沿模型的任何基准测试标题,描述的很可能都是你无法调用的那个。

常见问题

Muse Wonder 是当前可用的最佳模型吗? 在独立综合分上不是。Opus 5.5 得 58,而 Full 为 56、Wonder 为 52。Wonder Full 在特定的 Agent 基准测试上领先:SWE-Marathon、DeepSWE、Harvey LAB、FocusBench。

哪些基准测试可以信任? Artificial Analysis 的运行结果可复现,且来自第三方。Meta 的跨模型对比表由 Meta 自己运行,竞品用的是尽力而为的设置。MemoryBench、FocusBench 和 Personal Superintelligence Index 则是 Meta 独有的。

它和 Gemini 4 Argon 相比如何? 在指数上 Argon 得 53,Wonder 得 52,而 Argon 价格只有一半;在 Terminal-Bench 上 Argon 以 57% 与 Full 打平,且幻觉更少(15% 对 27%)。我们那篇 Argon 基准测试文章里有它的完整表格。

最大推理强度会改变模型吗? 不会。推理强度改变的是 Wonder 推理多久,它永远不会把 muse-wonder-1.0 变成 Muse Wonder Full。

下一步

挑一个最贴近你工作负载的基准测试——长时间编程任务选 SWE-Marathon,事实回忆选 Omniscience——让它来决定 Wonder 是否值得一试。综合分做不到这一点。

HiFox :将 Agent 变成真正的队友

另外,我们也在思考,AI 如何从个人提效走进团队协作。

HiFox 是一个让人和 AI Agent 在同一个工作现场协作的平台:你可以像给同事分派任务一样指派 Agent,在任务看板中跟踪进度、查看结果,让 Agent 成为团队里的队友。

👉 立即体验 Hifox:https://hifox.com

AI Coding 交流群

如果你也在用 AI 写代码,或者正在研究 Cursor、Claude Code 这些工具,欢迎加入以下交流群。群里平时会聊一些 AI 编程的实际用法、开发工作流,还有各种新工具和新玩法。