🌀 AIBB-Flywheel

新闻数据飞轮
← 返回文章列表
ithome 科技 采集 2026-10-28T22:08:55+00:00

Artificial Analysis发布智能指数v5基准

原始标题:Artificial Analysis Intelligence Index v5 基准上线,DeepSeek V4.1 Flash 1017 为 FrontierCode 2.0 开源模型最高成绩

来源
ithome
发布时间
2026-10-28T17:06:21
采集批次
2026-10-28-22
字数
1420
URL 指纹
2f8d7cae88a8e843

📌 AI 总结(215 字)

Artificial Analysis发布Intelligence Index v5,将六成评测转向私有测试集和隐藏答案,并大幅提升编码及智能体任务权重。新基准更强调真实代码仓库中的可合并性,DeepSeek V4.1 Flash以28%拿下FrontierCode 2.0开源模型最高分,但综合得分仍落后Claude Opus 5.5。新版评测还显示,开源与闭源前沿模型差距扩大,不同思考档位带来的能力提升与成本差异也更加显著。
📄 正文(1420 字)
Artificial Analysis近日发布Intelligence Index v5,这是该机构自2026年1月v4上线以来幅度最大的一次基准重构。60%的评测权重首次建立在私有测试集或隐藏答案之上,以减少公开题库被模型训练数据污染的问题,压缩厂商针对跑分进行针对性优化的空间。

新版指数仍由九项评测构成,知识工作、编码、科学和通用能力各占25%。编码项目中,Cognition同日发布的FrontierCode 2.0占15%,Terminal-Bench 4.0占10%。其中FrontierCode 2.0的132项任务全部取自真实开源仓库,模型提交的代码改动由仓库维护者依据是否愿意合并相关请求来评分,任何阻塞性检查失败均记零分。

这一机制把编码评价重点从代码能否运行,转向改动范围是否克制、风格是否符合代码库以及回归风险是否可控。DeepSeek V4.1-Flash 1017在max档位下取得28%的成绩,成为已发布权重模型中的最高分;Kimi K3.1 Pro以25.5%紧随其后,但完整权重尚未发布。谷歌Gemini 4 Argon和GPT-6 Luna分别获得25.7%和25.2%。

在Intelligence Index v5综合得分方面,DeepSeek V4.1 Flash与GLM-5.3同为32分,落后榜首Claude Opus 5.5的58分,也低于Claude Haiku 5.5的36分。最强开源权重模型Kimi K3.1 Pro得到46分,但由于权重尚未发布,已发布权重模型的最高分为32分。Artificial Analysis指出,v4.3时期最强开源模型与榜首仅差3分,v5将差距扩大至12分。

新版指数并未显示开源模型能力突然下降,而是改变了测量口径。题目不再公开、评分也不再只看通过率后,依靠公开题库优化获得的分数被削弱。HLE-Diamond和Terminal-Bench-Science进一步拉开了模型差距:Kimi K3.1 Pro分别取得37%和34%,而Claude Opus 5.5在HLE-Diamond上为68%,GPT-6 Astra在Terminal-Bench-Science上为63%。

评测还放大了思考等级带来的性能与成本差异。Claude Opus 5.5从低努力档提升至max档,跨越23分,单任务成本由0.98美元升至10.04美元,相差约十倍。Claude Sonnet 5.5在不同档位间的分差从20分扩大至29分,GPT-6.1 Sol的跨度也翻倍至20分。得分最高的十款模型中,GPT-6.1 Terra每任务成本最低,为0.96美元;Claude Fable 5.1最高,为13.04美元,两者相差超过13倍。

与v5同步推出的Progress Index v1将2022年11月以来发布的主要语言模型映射到统一能力尺度,用于观察模型能力随时间的演进;Intelligence Index则继续衡量当下的前沿水平。单项评测中,Claude Opus 5.5拿下FrontierCode 2.0、HLE-Diamond和AA-Omniscience,GPT-6 Astra在Terminal-Bench-Science及CritPt v2困难子集领先,Kimi K3.1 Pro则在Terminal-Bench 4.0上以67%居首。