⌘ K
… 读取采集状态 同步中...
雷
原文
Hugging Face Blog·· 2026-07-06AI 评分31

PRX Part 4: 数据策略

PRX Part 4: Our Data Strategy

AI 导读

文章阐述 PRX 7B 模型的数据构建策略,采用混合公开与内部数据集,并用 VLM 重新生成图像长描述。预训练阶段优先覆盖广度与多样性,通过 Mosaic Data Shards 进行分布式流式训练,利用 Lance 处理特征工程。将文本编码器切换为 Qwen3-VL 并动态计算嵌入,避免预存储,仅带来约 3–4% 的训练吞吐量损耗。

本文当前提供导读和图片预览,完整图文请查看原文。

来源:Hugging Face Blog · huggingface.co