⌘ K
… 读取采集状态 同步中...
雷
原文
X:Greg Brockman (@gdb)·· 15 天前AI 评分1

Chamath Palihapitiya谈AI计算中Prefill与Decode的区别

AI 导读

投资人Chamath Palihapitiya指出,在AI计算中,Prefill阶段是计算受限的,因此随着上下文增长,大规模并行GPU(如Nvidia)占据优势;而Decode阶段受内存带宽限制,因为生成每个新token都需要扫描已生成的内容。

本文当前提供导读和图片预览,完整图文请查看原文。

来源:X:Greg Brockman (@gdb) · x.com