ithome
国际
科技
汽车
采集 2026-09-26T16:11:09+00:00
AI学会挑刺GPT-6 Astra家具组装准确率达八成
原始标题:让 AI 学会“挑刺”:根据说明书 + 照片指出家具是否装错,OpenAI GPT-6 Astra 准确率已达 80%
来源
ithome
发布时间
2026-09-26T10:18:15
采集批次
2026-09-26-16
字数
1221
URL 指纹
e60e862f55aba299
📌 AI 总结(299 字)
Epoch AI发布家具组装基准测试(FAB),用60张宜家家具组装照片评估AI识别装配错误的能力。OpenAI最新GPT-6 Astra以80%准确率位居榜首,较2025年底领先水平提升近三倍;Anthropic Claude系列紧随其后达70%和61%。测试中AI需结合照片、PDF说明书、放大工具和Python解释器,判断零件是否装反、顺序错误或遗漏部件。研究发现推理效率也大幅改善,GPT-6 Astra单张照片分析仅需约3分钟。中国开源模型中Kimi K3表现最好,但与国际前沿差距约7个月,视觉推理仍为薄弱环节,DeepSeek V4 Pro和GLM 5.3等热门模型尚未支持图像输入。
📄 正文(1221 字)
IT之家9月26日消息,Epoch AI于当地时间9月23日进行了一组家具组装基准测试(Furniture Assembly Benchmark,FAB)。结果显示,多模态AI在识别宜家家具组装错误方面取得明显进展。 其中,OpenAI最新的GPT-6 Astra在该基准测试中达到80%的准确率,相比2025年底提升近三倍。 FAB是一项专门评估AI理解现实世界装配过程能力的测试。该测试用60张宜家家具组装过程照片评估AI模型的视觉与空间推理能力。测试人员选取三款宜家家具故意错误组装,并拍摄不同阶段的照片,要求AI将照片与官方安装说明书进行比对,找出错误位置并说明具体问题。 研究团队认为,这类能力与汽车维修、家电检修等需要结合图像和技术说明进行判断的任务具有较高相关性,因此具有一定实际应用价值。 在测试时,AI不仅会获得组装时的照片,还会同时获得官方PDF说明书、图片放大工具以及Python解释器,需要判断是否存在错误,并指出具体出错步骤和问题描述。评分采用多阶段验证,只要模型能够正确定位错误步骤并大致说明问题,即可获得相应分数。 这项测试并非考察AI是否会背诵说明书,而是更接近真实使用场景:用户只需拍摄组装中的家具,AI便需要判断零件是否装反、安装顺序是否错误,或是否遗漏了关键部件。 Epoch AI认为,这类任务结合了图像理解、空间推理以及多步骤指令匹配能力,因此能够较好反映多模态模型处理现实问题的水平。随着相关能力提升,未来AI有望在家具组装、设备安装、维修指导等场景中提供更具针对性的实时辅助。 结果显示,OpenAI GPT-6 Astra以80%的准确率位居榜首,Anthropic Claude Fable 5.1和Claude Opus 5分别达到70%和61%。 相比之下,2025年11月时的领先模型Claude Opus 4.5准确率仅为28%,意味着前沿模型在约10个月内实现了显著提升。 除了准确率提升,GPT-6 Astra的推理效率也明显改善。其完成单张照片分析的中位耗时约为3分钟,是研究中速度最快的模型,比此前领先模型快约2至10倍。不过,研究团队认为,这一速度距离真正意义上的实时识别仍有一定差距。 研究还分析了不同模型的错误。例如,谷歌Gemini和阿里Qwen系列模型几乎总是先假设存在错误再去找错误;而早期Anthropic和OpenAI模型则相反,经常完全找不到错误。 研究者认为,不同家具对模型难度的影响与宜家复杂度指数无明显关联,错误隐蔽性、视角及错误后继续组装的程度影响更大。 在中国模型中,目前表现最好的开源权重模型Kimi K3相比国际前沿模型约落后7个月,这一差距比其在综合能力评估中的约4.4个月差距更大。研究认为,视觉推理能力仍是当前部分中国模型相对薄弱的方向,而DeepSeek V4 Pro、GLM 5.3等热门模型暂未提供图像支持。