⌘ K
… 读取采集状态 同步中...
雷

多模态

文本之外的能力：视觉理解、图文混合、音视频输入输出的模型与产品进展。

207条精选相关主题图像生成AI 视频语音与音频

最新精选

第 21–40 条 · 共 207 条
10月7日周三
  1. AI HOT79

    Google 发布 EmbeddingGemma 2：基于 Gemma 4 的开源多模态嵌入模型

    Google 发布开源多模态嵌入模型 EmbeddingGemma 2，采用 Apache 2.0 许可，基于 Gemma 4 架构，支持将文本、代码、图像、视频和音频映射至统一 768 维向量空间。模型提供 270M 至 740M 的模块化参数配置，支持 Matryoshka 表示学习以动态降低存储需求，并显著提升了代码检索性能，适用于本地 RAG 应用与智能体代码搜索场景。

    推荐理由：原文提供了模块化加载逻辑与维度截断配置，可指导开发者在本地设备端平衡检索质量与内存占用。

  2. CVer77

    何恺明团队发布VISTA：面向交互式视觉推理的无损记忆框架

    MIT 团队提出 VISTA 视觉运行框架，让现有多模态模型按需回看、放大和读取旧帧像素，在 25 个 ARC-AGI-3 公开游戏上实现全通关。Claude Opus 5.0 配合 VISTA 达到 100.00 RHAE 且总动作数比人工参考少 57.4%。GPT-5.6 Sol 配合 VISTA 达到 99.00 RHAE；将图像输入替换文本格点，每游戏 token 用量减少 57.3%。

    推荐理由：为现有多模态模型提供外部视觉记忆与主动检查机制，可帮助读者理解长期交互推理中证据检索的作用。

10月6日周二
  1. AI HOT93

    Mistral 发布 Large 4 公开预览版，1 万亿参数权重将开放

    Mistral 发布 Mistral Large 4（代号 le Chonk）公开预览版，该 1 万亿参数、490 亿激活参数的原生多模态模型现已开放 API 试用，权重将于本月底发布。在网络安全与智能体工作流基准中，该模型表现领先多项开源指标，且使用 3800 块 NVIDIA Grace Blackwell GPU 在欧洲自有数据中心训练。

    推荐理由：官方公布了1万亿参数多模态模型基准及月底开放权重计划，读者可据此评估其在开源模型中的定位。

  2. Mistral AI89

    Mistral 发布 Mistral Large 4 公开预览版

    Mistral 发布 Mistral Large 4（ML4）公开预览版，这是一款 1 万亿参数、原生多模态的大语言模型，可在 Mistral Studio 通过预览 API 体验，模型权重将于本月底开源。

    推荐理由：Mistral Large 4 为万亿参数开源多模态模型，当前开放预览 API，权重月底发布，重点展示其编码、安全及企业级性能。

  3. AI HOT87

    Mistral 发布 Mistral Large 4：1T 参数、49B 激活的原生多模态模型

    Mistral 发布 Mistral Large 4（又名 Le Chonk），这是一款 1T 参数、49B 激活的原生多模态模型。该模型在综合基准测试中被称为来自美国或欧洲的最佳开放权重模型，在网络安全、制造业和金融等关键负载上达到 SOTA，且视觉 grounding 能力超越闭源前沿模型。

    推荐理由：原文给出了1T参数、49B激活及视觉定位超越闭源前沿模型的具体事实，以及开放权重将于十月底发布的时间表，读者可据此评估其在开源阵营中的定位。

  4. AI HOT77

    Mistral Large 4 发布：1T 参数原生多模态，月底开放权重

    Mistral AI 发布名为 Le Chonk 的 Mistral Large 4，总参数 1T、激活参数 49B，原生多模态。官方称其在网络防御、制造和金融等关键工作负载达到 SOTA，视觉定位上超越闭源前沿模型；现已通过 Mistral Cloud API 开放，开放权重版本计划 10 月底发布。

    推荐理由：官方给出了1T参数原生多模态模型的基准表现与月底开放权重时间表，读者可据此评估其在美欧开放阵营中的定位。

  5. MarkTechPost76

    Reka 发布 Rho-1：19B 全模态推理模型，统一理解、生成视频并输出机器人动作

    Reka 发布 Rho-1 研究预览版，这是一个 19B 的全模态推理模型，能统一处理文本、图像、视频和机器人动作。模型采用双流架构，在 320 张 H100 上训练 3 个月，支持视频生成与实时控制，蒸馏版本可将去噪步骤从 99 降至 8。

    推荐理由：Rho-1 展示了单模型处理多模态与机器人动作的架构，以及蒸馏带来的推理速度变化，便于对比现有多模态流水线。

  6. MarkTechPost68

    JEPA-Anything 发布：单一正交预测配方覆盖七大领域的领域无关世界模型

    多机构研究团队发布领域无关世界模型框架 JEPA-Anything，通过正交预测因子分解（OPF）统一处理视觉、生物、临床、控制、分子、物理场及气象等七个领域的预测任务。实验显示该框架在全部10项匹配动力学任务上优于标准 JEPA，其中干预性 Pong 任务的单次干预误差下降 34.83%，核心代码采用 Apache-2.0 协议开源。

    推荐理由：统一范式在7个领域的基准测试展示了正交因子分解对复杂系统建模的有效性，提供了跨学科模型设计的参考。

  8. 深度学习与NLP94

    AMD 收购 World Labs，李飞飞出任首席科学家

    AMD 宣布以约 82 亿美元的全股票交易收购 World Labs，李飞飞将出任执行副总裁兼首席科学家。World Labs 此前发布了全模态模型 Atlas，重点攻关新视角预测与稀疏重建等空间智能难题，并将图像、视频生成能力拓展至机器人仿真等场景。双方计划结合 AMD 硬件生态与 World Labs 的模型和软件能力，提供开放的模型和端到端 AI 平台。

    推荐理由：交易细节与双方对开放模型、硬件协同的规划可帮助读者判断这次收购如何改变空间智能的研发路径。

  9. AI HOT73

    Liquid AI 发布 d1 决策模型并新增图像输入能力

    Liquid AI 发布首个支持文本与图像输入的 d1 决策模型，已在 console.liquid.ai 和 d1 Playground 上线，支持实时文本决策，单次耗时 200 至 300 毫秒。官方对比显示，d1 在六个真实应用中的四个上效果与 GPT-6.1 Sol 持平或更优，成本比二者低 19 至 200 倍；图像按每 32×32 像素块 1.5 个 token 计费。

    推荐理由：原文明确了 d1 在四类真实应用中相对 GPT-6.1 Sol 与 Claude Opus 5.5 的成本优势，给出 200–300 ms 的决策时延与 19–200 倍价格差距。

10月5日周一
  1. 新智元83

    Caltech物理信息神经网络攻克三维无强迫欧拉方程奇点问题

    Caltech的Anima Anandkumar团队利用物理信息神经网络，在无强迫的三维欧拉方程中成功找到奇点候选解。该模型通过行波形式和高效二阶优化器SS-eSOAP，让缩放指数自由收敛至理论预测的0.5。

    推荐理由：报道展示了用物理信息神经网络在无强迫三维欧拉方程中验证奇点解的方法，以及计算结果与理论预测吻合的关键证据。

  2. MarkTechPost73

    Qwen 模型族演变史：从 7B 到 2.4T 参数及开源策略转型

    Alibaba 发布 Qwen3.8 旗舰模型 Qwen3.8-2.4T-A95B，采用 2.4 万亿总参数与 95B 激活参数的架构。该模型开源权重附带商业许可限制，月流水超过 5000 万美元的服务商需购买商业授权。文章回顾了 Qwen 从 2023 年 Qwen-7B 到 2026 年 Qwen3.8 的迭代历程，展示了其从纯开源向“中小模型开源 + 旗舰模型专有”双轨策略的转型。

    推荐理由：梳理了 Qwen 从 7B 到 2.4T 参量的演变路径，并剖析其开源许可证与商业化战略的转折点。

10月4日周日
  2. APPSO82

    Tavus 发布 Griffin 实时视频交互模型

    Tavus 团队发布 Griffin 系列实时视频交互模型及 Griffin-Lite 研究预览版。在一项 54 人参与的 1 分钟视频通话实验中，约 48% 的参与者认为屏幕对面是真人，较上一代 2.4% 的误判率显著提升。

    推荐理由：Griffin通过54人样本实现48%真人误判率，其全双工视频交互机制和10秒声音克隆能力为实时虚拟人提供了可复现的评测基准。

  3. 智东西71

    MiniMax M3.1-Flash前端能力实测：效果对标Claude Opus 5.5

    智东西对MiniMax M3.1-Flash进行了前端生成任务实测，对比Claude Opus 5.5展示了模型在动效视频、交互页面和像素动画等场景下的输出效果。测试表明M3.1-Flash能生成完整可运行的前端作品，步骤和细节处理完整，部分视觉效果有惊喜，但仍处于公测阶段。

    推荐理由：对比了Flash模型与旗舰模型在前端任务上的实际生成效果，呈现了轻量模型在视觉交互创作中的能力边界。

10月1日周四
  1. AI HOT77

    Modal Clusters 正式发布，通过 @modal.clustered 提供多节点 GPU 集群

    Modal 宣布 Modal Clusters 正式可用，通过一个装饰器 @modal.clustered 即可获得多节点集群，节点间经 InfiniBand verbs 通信可达 6.4 Tbps，自动配置 PyTorch 和 NCCL。

    推荐理由：官方宣布多节点集群正式可用，文中解释了 gang scheduler 与 RDMA 的实现细节，并给出 Decagon、1x、Runway 的实际用法。

  2. AI HOT73

    Google DeepMind 发布 Gemini 4 Argon，1M 输出 token 对标 Astra 与 Fable

    Google DeepMind 发布 Gemini 4 Argon，主打编码、企业知识工作与网络防御，称在 19 项基准中 13 项第一。该模型提供 1M token 输出上限，标准定价为 $4/$20 每 1M 输入/输出 token，早期访问通过 Fairwind 计划面向政府及可信网络防御者开放。

    推荐理由：汇总了 Gemini 4 Argon 的基准、定价及第三方评测分歧，方便读者对比各家前沿模型差异。