⌘ K
… 读取采集状态 同步中...
雷
原文
X:Greg Brockman (@gdb)·· 2026-09-09精选AI 评分1

Dwarkesh Patel 研究:预训练进步主要来自数据改进

AI 导读

Dwarkesh Patel 发布实验分析,在最高 1e19 FLOPs 的算力预算下训练 2019 至 2025 年各年度代表性模型配方与数据语料,发现数据改进带来 12.0x 算力效率提升,模型改进为 3.7x,数据贡献约为模型的 3.24 倍。

本文当前提供导读和图片预览,完整图文请查看原文。

来源:X:Greg Brockman (@gdb) · dwarkesh.com