⌘ K
… 读取采集状态 同步中...
雷
原文
三节课·· 2026-09-03AI 评分0

蚂蚁VLDB最佳论文:用一张“逻辑表”驯服3050亿条训练数据

AI 导读

蚂蚁VLDB最佳论文:用一张“逻辑表”驯服3050亿条训练数据 蚂蚁集团 投稿 量子位 | 公众号 QbitAI 训练一个大模型之前,语料需要经过解析、清洗、去重、质量评分、Token化和样本组装。 规模来到PB级,工程团队每天面对的不止算力账单,还有数百张表、不断增加的特征,以及少数几条就可能让整批任务重跑的异常数据。 以此为背景,论文《OmniTable: A Unified Wide-Table System for Petabyte-Scale LLM Data Curation and Exploration》介绍了一套由**蚂蚁集团**研发的统一宽表系统——**OmniTable。**论文已获今年的**VLDB工业赛道最佳论文**,聚焦的正是大模型训练中非常重要,但也常被忽视的环节——**数据准备。** **△**蚂蚁集团论文获评VLDB 2026工业赛道最佳论文,9月1日在波士顿举行的大会上获颁奖项 论文披露,OmniTable已在生产环境管理**超过35PB、3050亿条以上**的大模型训练数据,覆盖Web、代码、PDF和SFT等数据域。在一项真实SFT数据准备任务中,

本文当前提供导读和图片预览,完整图文请查看原文。

来源:三节课 · mp.weixin.qq.com