⌘ K
… 读取采集状态 同步中...
雷
原文
量子位 QbitAI· 允中·· 5 天前AI 评分60

PaperBenchX评测揭示GPT-6 Astra论文复现率仅13.98%

ChatGPT踢到铁板了!能破解千禧数学难题,但论文复现率低至13.98%?

AI 导读

UniPat AI发布的PaperBenchX基准在93个真实论文复现任务中,表现最强的GPT-6 Astra完整复现率仅13.98%。该基准覆盖电磁、化学等12个研究方向,要求Agent在隔离环境中从头重跑工作流以验证结果,而非依赖模型自述。分析显示,验证阶段得分显著低于建模与执行阶段,表明模型难以确保科学结论的可靠性,这是迈向通用AI科学家的关键瓶颈。

本文当前提供导读和图片预览,完整图文请查看原文。

来源:量子位 QbitAI · qbitai.com