🤖Artificial Analysis
📅 09-04 03:54 📰 zsxq
本文为外部来源摘要,仅显示前 300 字。点击"查看原文"获取完整内容。
🤖Artificial Analysis
📝GPT‑6 Astra 在 Artificial Analysis 代码智能体指数中取得显著进步,得分与 Fable 5 相当,但成本更低。在智能指数当中,它实现相近性能所需令牌少于 GPT‑5.6 Sol,但该优势被更高的价格所抵消。
💰定价为 GPT‑5.6 Sol 现行价格的 2.5 倍,价格全面上调,每百万输入 / 输出令牌由 4 美元 / 20 美元上涨至 10 美元 / 50 美元;缓存读取依旧享有 90% 折扣,缓存写入则存在 25% 溢价。
🔍我们在两大旗舰指数当中看到截然不同的表现。在 Artificial Analysis 代码智能体指数当中,GPT‑6 Astra 以不足一半的成本比肩 Fable 5,得益于令牌效率大幅提升。而在 Artificial Analysis 智能指数当中,GPT‑6 Astra 对比前代模型,实现同等性能下令牌效率有所改善,但这一点被价格上涨完全抵消。
📋Artificial Analysis 代码智能体指数‑关键要点:
✅🏆对标头部模型:在 Codex 测试集下,GPT‑6 Astra 指数得分为 67 分,大致等同于 Claude Opus 5、Fable 5 在 Claude Code 测试集,以及 Muse Spark 1.3 在 Muse Code 测试集的得分。Fable 5.1 在 Claude Code 测试集以 70 分位居该指数首位。
⚡📊令牌效率较 GPT‑5.6 Sol 高出 70%:GPT‑6 Astra 在令牌效率方面实现实质性提升,Codex 框架下令牌消耗量仅为 GPT‑5.6 Sol(最大模式)的一半,仅为 Claude Opus 5(xhigh 模式)的五分之一。该模型不同算力档位全部处于令牌效率的帕累托最优前沿。
💸🚀领跑代码智能体指数成本效率前沿:开启最大算力档位时,GPT‑6 Astra 成本水平与 GPT‑5.6 Sol(最大模式)接近,但指数得分高出 2 分。完成单任务的成本不到 Claude Fable 5 的一半,却拿到同等分数。
📋Artificial Analysis 智能指数‑关键要点:
🤝📈与 GPT‑5.6 Sol 性能持平:GPT‑6 Astra 在该指数拿到 61 分,与 GPT‑5.6 Sol 得分相同;较 Claude Fable 5.1(最大带回退模式)低 5 分,同样落后 Meta 新发布的 Muse Spark 1.3(最大模式)。
✂️💲输出令牌减少约 10%,但被涨价抵消:GPT‑6 Astra 在智能指数评测中,单任务输出令牌量刷新帕累托最优;最大算力档位下令牌使用量相比 GPT‑5.6 Sol 下降约 10%。不过因为价格上涨 2.5 倍,该模型单任务成本较前代模型高出 75%。
👻📉幻觉率仅为 GPT‑5.6 Sol 的一半:GPT‑6 Astra 在 AA‑Omniscience(知识与幻觉基准测试)中实现大幅跃升。最大算力档位下幻觉率从 92% 显著下降至 51%。和部分其他模型不一样,该优化没有牺牲准确率,Astra 同时将准确率提升 4 分。
🧠📈AA‑Briefcase Elo 分数提升约 80 分:GPT‑6 Astra 在 AA‑Briefcase(前沿长时序知识工作评估)分数抬升约 80 分。该模型经过多周项目测试,覆盖大量关联任务以及数千份源文件。对比前代,Astra 在 AA‑Briefcase 的得分以及分析质量 Elo 均明显改善。与之相对,展示质量 Elo 出现下滑,该细分领域 GPT‑5.6 Sol(最大模式)依旧领先全部模型。
⚖️📑其余评测结果喜忧参半:模型在 Humanity’s Last Exam(侧重数学、科学、人文的长周期评测)上涨 6 分。但 GDPval‑AA v2 基准下 Elo 分数回落约 80 分;该基准改编自 OpenAI 数据集,用来衡量 44 类职业相关经济价值任务。其余多项评测出现 2‑3 分的小幅退步,涵盖 τ³‑Banking(客户支持)、SciCode(科学领域 Python 题目)、AA‑LCR(超大文档长上下文推理)等能力项。
🎉恭喜 @OpenAI 以及 @sama 完成本次发布!
内容由 AI 从网络自动采集(可能存在排版混乱),仅供参考,不作为任何决策依据,因使用产生的后果不承担任何责任。
内容版权归原作者所有,本平台仅作学习研究之引用,如涉及侵权请联系删除。