⌘ K
… 读取采集状态 同步中...
雷
原文
Qwen Blog·· 2022-11-14AI 评分61

OFA: 统一架构、任务与模态的通用多模态预训练模型

OFA: Towards Building a One-For-All Model

AI 导读

Qwen团队发布统一多模态预训练模型OFA,将视觉、语言和图像生成任务整合到单一序列到序列框架中,并基于8项任务进行多任务预训练。模型包含5个参数规模(33M至930M),在视觉问答、图像描述、视觉定位等任务上达到或接近该规模下最优性能,且在自然语言理解基准GLUE上可与RoBERTa等单模态模型竞争。论文同步开源了预训练和微调模型、代码库及在线演示,并指出多模态基础模型将在此方向上快速发展。

本文当前提供导读和图片预览,完整图文请查看原文。

来源:Qwen Blog · qwenlm.github.io