⌘ K
… 读取采集状态 同步中...
雷

#多模态

今日 4 条
4月22日周三
4月20日周一
4月18日周六
4月17日周五
  1. 宝玉90

    Anthropic 发布 Claude Design 开启设计圈 Claude Code 时刻

    Anthropic 发布 Claude Design，由 Claude Opus 4.7 驱动，可直接从提示词生成带交互的高保真原型和 React 代码。该工具在 Pro 至 Enterprise 各订阅层级开放，目前为 research preview 且未开放 API。

    推荐理由：Anthropic 发布由 Claude Opus 4.7 驱动的 Claude Design，将 AI 作为主要生成者输出可运行代码而非静态设计稿，重新定义了设计工作流。

4月16日周四
4月14日周二
3月25日周三
  1. Google Research71

    Google 发布 Vibe Coding XR：用 Gemini 和 XR Blocks 加速 XR 原型开发

    Google 宣布 Vibe Coding XR，将 Gemini 与基于 WebXR、three.js 和 LiteRT.js 的开源 XR Blocks 框架结合，让用户通过自然语言在 60 秒内生成支持物理交互的 Android XR 应用。

    推荐理由：Google 团队展示了如何用 Gemini 和 XR Blocks 把自然语言在 60 秒内转成可运行的 Android XR 应用，给 XR 原型开发提供了可迁移的 vibe coding 方法。

  2. Google Research52

    S2Vec：学习城市建成环境通用嵌入的自监督框架

    Google Research 推出了 S2Vec，一个自监督框架，用于学习建成环境的通用嵌入。S2Vec 采用两步光栅化过程，利用 S2 几何分割和特征光栅化，将地理数据转化为类似数字照片的形式，再通过掩码自编码（MAE）实现无标签学习。评估显示，S2Vec 在社会经济预测任务中表现优异，尤其在地理适应方面；但在环境任务中需结合卫星图像嵌入以取得更好效果。

3月20日周五
  1. The Batch75

    Apple 发布多模态统一分词器 AToken，统一处理图像、视频和 3D 对象

    Apple 团队开发了 AToken，一个能将图像、视频和 3D 对象映射到共享 token 空间的通用视觉分词器，兼顾生成与分类任务。该模型基于 SigLIP2 视觉编码器扩展，通过时空坐标和 4D 旋转位置编码统一处理不同维度的视觉输入。

    推荐理由：文章介绍了Apple提出的统一多模态tokenizer AToken，展示了共享编码器在图像、视频和3D任务上的通用性潜力。

3月18日周三
  2. Mistral AI48

    Mistral AI 发布 Forge，助力企业基于专有知识构建前沿 AI 模型

    Mistral AI 推出 Forge 系统，允许企业利用内部文档、代码库和结构化数据训练前沿级 AI 模型。该系统支持预训练、后训练及强化学习，兼容 dense 和 MoE 架构，并支持多模态输入。Mistral Vibe 智能体可自主使用 Forge 进行模型微调、寻找最优超参数及生成合成数据，实现基于内部评估框架的持续改进。

3月17日周二
  1. Mistral AI83

    Mistral 发布开源模型 Mistral Small 4

    Mistral 发布 Mistral Small 4，该模型将推理、多模态和智能体编码功能统一于单一架构中，总参数量 119B，上下文窗口 256k，且支持图像输入。Mistral Small 4 采用 Apache 2.0 许可，通过 reasoning_effort 参数调节推理深度，在保持性能的同时大幅降低输出延迟。

    推荐理由：原文说明这是首个统一推理、多模态与编码能力的模型，并给出参数规模与性能对比，方便评估其部署性价比。

3月12日周四
3月10日周二
1月15日周四
1月10日周六
  1. Berkeley AI Research33

    Berkeley AI Research 提出基于信息量度量直接优化成像系统设计的框架

    Berkeley AI Research 团队开发了基于互信息的成像系统设计评估框架，通过直接测量信息含量来统一分辨率、噪声等传统指标。该框架在 NeurIPS 2025 论文中验证了其有效性，通过优化信息指标生成的系统设计在色彩摄影、射电天文学等四个领域达到最先进端到端方法的效果，同时减少内存和计算开销且无需设计任务特定解码器。

1月8日周四
8月1日周五
7月17日周四
7月3日周四
  1. AISI Blog25

    英国 AI 安全研究所探讨 AI 如何助长未来犯罪

    英国 AI 安全研究所（AISI）针对前沿 AI 被用于犯罪的问题提出应对框架，重点研究多模态生成、高级规划推理及 AI Agent 三大能力带来的风险。研究所通过多模态评估、派生应用分析及红队测试等方法建立证据基础，旨在探索模型与部署层面的干预措施。目前，AISI 正在招聘犯罪滥用工作流负责人及研究人员以推进相关研究。

6月26日周四
  1. Qwen Blog68

    Qwen VLo 预览版发布：统一多模态理解与生成模型

    Qwen VLo 预览版发布，是一个统一的多模态理解与生成模型，用户可以通过 Qwen Chat 访问，直接输入文本生成图像或上传图片并下达指令编辑。模型采用从左到右、从上到下的渐进式生成机制，支持开放式指令编辑、风格迁移、多语言交互，并能在单条指令中完成多步任务如海报制作和物体合成。

    推荐理由：原文说明了统一模型从理解到生成的能力变化和交互入口，读者可以据此判断它会怎样改变多模态图像工作流。

5月7日周三
  1. Mistral News80

    Mistral 发布 Medium 3 模型并预告后续大尺寸模型

    Mistral AI 正式发布 Mistral Medium 3 模型，并预告未来几周将发布更大的模型。Mistral Medium 3 主打企业场景的性价比与易用性，支持混合、本地或 VPC 部署及自定义微调。

    推荐理由：Mistral 发布中尺寸高效模型，并预告即将推出更大尺寸模型，可帮助判断企业端侧部署的性能与成本拐点。

4月29日周二
3月28日周五
  1. Qwen Blog85

    千问正式推出视觉推理模型 QVQ-Max

    千问官方正式发布视觉推理模型 QVQ-Max，该模型能够对图像和视频进行深度分析并开展多步推理，以解决数学题、代码阅读及日常视觉任务。在 MathVision 评测基准上，随着推理链长度的增加，QVQ-Max 的准确率呈现出持续提升的趋势。千问计划在未来加强基于定位技术的地面验证能力，并探索该模型作为操作计算机的视觉智能体的可能性。

    推荐理由：这是千问官方首次正式发布的视觉推理模型，核心变化在于将视觉感知与链式推理结合，可直接查看 MathVision 基准性能来评估其推理深度。

3月27日周四
  1. Qwen Blog90

    Qwen2.5-Omni 发布

    Qwen2.5-Omni 发布，支持文本、图像、音频和视频输入以及实时文本和语音输出，已开放下载。模型在 OmniBench 上取得 state-of-the-art 表现，在 MMLU、GSM8K、MMMU 等基准上表现与同级别单模态模型相当。架构采用 Thinker-Talker 设计，支持实时音视频交互。

    推荐理由：Qwen2.5-Omni 发布并开源，给出 Thinker-Talker 架构和 OmniBench 等基准表现，读者可以据此判断其多模态能力与可用性。

3月24日周一
3月17日周一
  1. Mistral News82

    Mistral 发布开源模型 Mistral Small 3.1，扩展 128k 上下文并支持多模态理解

    Mistral 宣布发布 Mistral Small 3.1，这是基于 Mistral Small 3 构建的新一代模型。该模型采用 Apache 2.0 许可证，上下文窗口扩展至 128k tokens，推理速度达 150 tokens/s。

    推荐理由：Mistral 发布开源的 Mistral Small 3.1，该模型扩展了 128k 上下文，支持多模态理解，且能在单张 RTX 4090 上运行。

3月6日周四
  1. Mistral News75

    Mistral 发布 Mistral OCR 文档理解模型

    Mistral 正式发布 Mistral OCR，这是一款专为文档理解设计的视觉模型，能够以高准确率提取文本、表格、公式及多媒体内容。在基准测试中，Mistral OCR 在数学、多语言及表格识别上整体得分 94.89，超过 Gemini 1.5 及 GPT-4o 等模型。

    推荐理由：Mistral 发布了 Mistral OCR，在复杂文档理解基准测试中领先竞品，并支持将文档作为提示词以输出结构化数据，为多模态 RAG 系统提供了新方案。

2月17日周一
2月6日周四
  1. Mistral News75

    Mistral 发布全新 le Chat 助手，新增代码解释器与企业版预览

    Mistral 发布全新 le Chat，提供 iOS 和 Android 移动端访问。新引入 Code Interpreter 支持沙盒代码执行、科学分析和可视化。图像生成由 Black Forest Labs Flux Ultra 驱动，Pro 层订阅费为每月 $14.99。

    推荐理由：官方更新了全功能入口和新增 Code Interpreter，读者可判断它如何扩展日常与办公工作流。

1月26日周日
12月25日周三
  1. Qwen Blog7

    QVQ：以智慧观看世界

    QVQ在示例中通过逐步推导解决了一道求导数数学题，最终计算结果为-29。该过程应用了乘积法则，利用表格中f(2)=-3、f’(2)=-8、g(2)=1、g’(2)=7的数值，代入公式h’(x)=f’(x)g(x)+f(x)g’(x)完成计算。

11月18日周一
  1. Mistral News67

    Mistral le Chat 新增联网搜索、Canvas 及图像生成等功能

    Mistral 宣布为 le Chat 新增多项 beta 功能，包括带引用的联网搜索、Canvas 画布编辑、Pixtral Large 多模态文档理解、Black Forest Labs Flux Pro 图像生成、自动化 Agent 以及更快推理响应，所有功能当前均免费提供。

    推荐理由：Mistral 官方说明了 le Chat 升级后的具体能力变化，读者可据此判断其在工作流中的定位。

  2. Mistral News89

    Mistral 发布 124B 开源多模态模型 Pixtral Large

    Mistral 发布 124B 开源权重多模态模型 Pixtral Large，基于 Mistral Large 2 构建，具备前沿图像理解能力。该模型在 MathVista 达到 69.4%，并在 DocVQA 等基准上超越 GPT-4o 和 Gemini-1.5 Pro。

    推荐理由：原文明确展示了新模型在MathVista等基准上的领先表现，并给出了开源部署和API调用的具体入口。

11月15日周五
  1. Qwen Blog82

    Qwen2.5-Turbo 发布：上下文窗口扩展至 1M 并实现 4.3 倍推理加速

    千问（Qwen）发布 Qwen2.5-Turbo 新版本，将模型上下文长度从 128k 扩展至 1M，支持处理约 100 万英文单词或 3 万行代码，在 Passkey Retrieval 任务中达到 100% 准确率，在 RULER 长文本基准测试中得分 93.1。

    推荐理由：原文给出了Qwen2.5-Turbo将上下文窗口扩展至1M的技术方案、基准测试成绩和推理加速比例，读者可据此对比现有长上下文模型并判断实际可用性。

10月23日周三
  1. Anthropic Research92

    Anthropic 研究：开发具备计算机使用能力的 Claude 模型

    Anthropic 更新了 Claude 3.5 Sonnet，使其具备初步的计算机使用能力，可以像人类一样操作鼠标、键盘并处理屏幕图像，目前处于公共测试阶段。该功能依赖于视觉理解和像素级定位训练，在 OSWorld 评测中得分 14.9%，领先于同类模型但远低于人类水平。团队同步部署了防提示注入和滥用监控机制，以降低安全风险。

    推荐理由：揭示了让模型模仿人类操作计算机的底层逻辑，包括视觉计数与安全边界。

9月25日周三
9月17日周二
8月29日周四
  1. Qwen Blog86

    Qwen 团队发布多模态模型 Qwen2-VL，开源 2B 与 7B 版本

    Qwen 团队正式发布最新视觉语言模型 Qwen2-VL，该模型支持 20 分钟以上视频理解及多模态智能体功能。团队开源了 Qwen2-VL-2B 和 Qwen2-VL-7B（Apache 2.0 协议），并提供了 72B 模型的 API 服务。模型架构引入了 Naive Dynamic Resolution 和 M-ROPE 位置编码，使其在处理多分辨率图像及三维空间定位时具备 SOTA 性能。

    推荐理由：开源 Qwen2-VL 模型在文档理解与视频问答上表现突出，架构创新支持动态分辨率处理。