⌘ K
… 读取采集状态 同步中...
雷

多模态

文本之外的能力:视觉理解、图文混合、音视频输入输出的模型与产品进展。

207条精选相关主题图像生成AI 视频语音与音频

最新精选

第 181–200 条 · 共 207 条
3月25日周三
  1. Google Research71

    Google 发布 Vibe Coding XR:用 Gemini 和 XR Blocks 加速 XR 原型开发

    Google 宣布 Vibe Coding XR,将 Gemini 与基于 WebXR、three.js 和 LiteRT.js 的开源 XR Blocks 框架结合,让用户通过自然语言在 60 秒内生成支持物理交互的 Android XR 应用。

    推荐理由:Google 团队展示了如何用 Gemini 和 XR Blocks 把自然语言在 60 秒内转成可运行的 Android XR 应用,给 XR 原型开发提供了可迁移的 vibe coding 方法。

3月20日周五
  1. The Batch75

    Apple 发布多模态统一分词器 AToken,统一处理图像、视频和 3D 对象

    Apple 团队开发了 AToken,一个能将图像、视频和 3D 对象映射到共享 token 空间的通用视觉分词器,兼顾生成与分类任务。该模型基于 SigLIP2 视觉编码器扩展,通过时空坐标和 4D 旋转位置编码统一处理不同维度的视觉输入。

    推荐理由:文章介绍了Apple提出的统一多模态tokenizer AToken,展示了共享编码器在图像、视频和3D任务上的通用性潜力。

3月17日周二
  1. Mistral AI83

    Mistral 发布开源模型 Mistral Small 4

    Mistral 发布 Mistral Small 4,该模型将推理、多模态和智能体编码功能统一于单一架构中,总参数量 119B,上下文窗口 256k,且支持图像输入。Mistral Small 4 采用 Apache 2.0 许可,通过 reasoning_effort 参数调节推理深度,在保持性能的同时大幅降低输出延迟。

    推荐理由:原文说明这是首个统一推理、多模态与编码能力的模型,并给出参数规模与性能对比,方便评估其部署性价比。

3月12日周四
7月17日周四
6月26日周四
  1. Qwen Blog68

    Qwen VLo 预览版发布:统一多模态理解与生成模型

    Qwen VLo 预览版发布,是一个统一的多模态理解与生成模型,用户可以通过 Qwen Chat 访问,直接输入文本生成图像或上传图片并下达指令编辑。模型采用从左到右、从上到下的渐进式生成机制,支持开放式指令编辑、风格迁移、多语言交互,并能在单条指令中完成多步任务如海报制作和物体合成。

    推荐理由:原文说明了统一模型从理解到生成的能力变化和交互入口,读者可以据此判断它会怎样改变多模态图像工作流。

5月7日周三
  1. Mistral News80

    Mistral 发布 Medium 3 模型并预告后续大尺寸模型

    Mistral AI 正式发布 Mistral Medium 3 模型,并预告未来几周将发布更大的模型。Mistral Medium 3 主打企业场景的性价比与易用性,支持混合、本地或 VPC 部署及自定义微调。

    推荐理由:Mistral 发布中尺寸高效模型,并预告即将推出更大尺寸模型,可帮助判断企业端侧部署的性能与成本拐点。

4月29日周二
3月28日周五
  1. Qwen Blog85

    千问正式推出视觉推理模型 QVQ-Max

    千问官方正式发布视觉推理模型 QVQ-Max,该模型能够对图像和视频进行深度分析并开展多步推理,以解决数学题、代码阅读及日常视觉任务。在 MathVision 评测基准上,随着推理链长度的增加,QVQ-Max 的准确率呈现出持续提升的趋势。千问计划在未来加强基于定位技术的地面验证能力,并探索该模型作为操作计算机的视觉智能体的可能性。

    推荐理由:这是千问官方首次正式发布的视觉推理模型,核心变化在于将视觉感知与链式推理结合,可直接查看 MathVision 基准性能来评估其推理深度。

3月27日周四
  1. Qwen Blog90

    Qwen2.5-Omni 发布

    Qwen2.5-Omni 发布,支持文本、图像、音频和视频输入以及实时文本和语音输出,已开放下载。模型在 OmniBench 上取得 state-of-the-art 表现,在 MMLU、GSM8K、MMMU 等基准上表现与同级别单模态模型相当。架构采用 Thinker-Talker 设计,支持实时音视频交互。

    推荐理由:Qwen2.5-Omni 发布并开源,给出 Thinker-Talker 架构和 OmniBench 等基准表现,读者可以据此判断其多模态能力与可用性。

3月24日周一
3月17日周一
  1. Mistral News82

    Mistral 发布开源模型 Mistral Small 3.1,扩展 128k 上下文并支持多模态理解

    Mistral 宣布发布 Mistral Small 3.1,这是基于 Mistral Small 3 构建的新一代模型。该模型采用 Apache 2.0 许可证,上下文窗口扩展至 128k tokens,推理速度达 150 tokens/s。

    推荐理由:Mistral 发布开源的 Mistral Small 3.1,该模型扩展了 128k 上下文,支持多模态理解,且能在单张 RTX 4090 上运行。

3月6日周四
  1. Mistral News75

    Mistral 发布 Mistral OCR 文档理解模型

    Mistral 正式发布 Mistral OCR,这是一款专为文档理解设计的视觉模型,能够以高准确率提取文本、表格、公式及多媒体内容。在基准测试中,Mistral OCR 在数学、多语言及表格识别上整体得分 94.89,超过 Gemini 1.5 及 GPT-4o 等模型。

    推荐理由:Mistral 发布了 Mistral OCR,在复杂文档理解基准测试中领先竞品,并支持将文档作为提示词以输出结构化数据,为多模态 RAG 系统提供了新方案。

2月6日周四
  1. Mistral News75

    Mistral 发布全新 le Chat 助手,新增代码解释器与企业版预览

    Mistral 发布全新 le Chat,提供 iOS 和 Android 移动端访问。新引入 Code Interpreter 支持沙盒代码执行、科学分析和可视化。图像生成由 Black Forest Labs Flux Ultra 驱动,Pro 层订阅费为每月 $14.99。

    推荐理由:官方更新了全功能入口和新增 Code Interpreter,读者可判断它如何扩展日常与办公工作流。

1月26日周日
11月18日周一
  1. Mistral News67

    Mistral le Chat 新增联网搜索、Canvas 及图像生成等功能

    Mistral 宣布为 le Chat 新增多项 beta 功能,包括带引用的联网搜索、Canvas 画布编辑、Pixtral Large 多模态文档理解、Black Forest Labs Flux Pro 图像生成、自动化 Agent 以及更快推理响应,所有功能当前均免费提供。

    推荐理由:Mistral 官方说明了 le Chat 升级后的具体能力变化,读者可据此判断其在工作流中的定位。

  2. Mistral News89

    Mistral 发布 124B 开源多模态模型 Pixtral Large

    Mistral 发布 124B 开源权重多模态模型 Pixtral Large,基于 Mistral Large 2 构建,具备前沿图像理解能力。该模型在 MathVista 达到 69.4%,并在 DocVQA 等基准上超越 GPT-4o 和 Gemini-1.5 Pro。

    推荐理由:原文明确展示了新模型在MathVista等基准上的领先表现,并给出了开源部署和API调用的具体入口。

11月15日周五
  1. Qwen Blog82

    Qwen2.5-Turbo 发布:上下文窗口扩展至 1M 并实现 4.3 倍推理加速

    千问(Qwen)发布 Qwen2.5-Turbo 新版本,将模型上下文长度从 128k 扩展至 1M,支持处理约 100 万英文单词或 3 万行代码,在 Passkey Retrieval 任务中达到 100% 准确率,在 RULER 长文本基准测试中得分 93.1。

    推荐理由:原文给出了Qwen2.5-Turbo将上下文窗口扩展至1M的技术方案、基准测试成绩和推理加速比例,读者可据此对比现有长上下文模型并判断实际可用性。

10月23日周三
  1. Anthropic Research92

    Anthropic 研究:开发具备计算机使用能力的 Claude 模型

    Anthropic 更新了 Claude 3.5 Sonnet,使其具备初步的计算机使用能力,可以像人类一样操作鼠标、键盘并处理屏幕图像,目前处于公共测试阶段。该功能依赖于视觉理解和像素级定位训练,在 OSWorld 评测中得分 14.9%,领先于同类模型但远低于人类水平。团队同步部署了防提示注入和滥用监控机制,以降低安全风险。

    推荐理由:揭示了让模型模仿人类操作计算机的底层逻辑,包括视觉计数与安全边界。

9月17日周二