⌘ K
… 读取采集状态 同步中...
雷
原文
NVIDIA Generative AI Blog· Ashwath Aithal·· 6 天前AI 评分33

NVIDIA Megatron Core 如何实现比特级确定性预训练扩展

Scale Bitwise-Deterministic Pretraining with NVIDIA Megatron Core

AI 导读

NVIDIA Megatron Core 支持比特级确定性,使大规模预训练更易调试、验证和可重现地恢复。该特性在训练拥有数万亿参数、使用数千个 GPU 的模型时尤为有价值,因为多维并行、低精度计算和分布式检查点使故障复现与修复验证更加复杂。

本文当前提供导读和图片预览,完整图文请查看原文。

来源:NVIDIA Generative AI Blog · developer.nvidia.com