⌘ K
… 读取采集状态 同步中...
雷
原文
Anthropic Research·· 2022-05-21AI 评分41

重复数据学习中的缩放定律与可解释性

Scaling Laws and Interpretability of Learning from Repeated Data

AI 导读

重复数据会导致模型性能出现“双重下降”现象。文中训练的实验模型发现,将 0.1% 的数据重复 100 次可使 800M 参数模型的性能退化至 400M 参数水平,且 90% 的训练 token 仍保持唯一。机制解释显示数据重复不成比例地损害了归纳头等与泛化相关的内部结构,导致模型从泛化向死记硬背转变。

本文当前提供导读和图片预览,完整图文请查看原文。

来源:Anthropic Research · anthropic.com