⌘ K
… 读取采集状态 同步中...
雷

多模态

文本之外的能力：视觉理解、图文混合、音视频输入输出的模型与产品进展。

207条精选相关主题图像生成AI 视频语音与音频

最新精选

第 161–180 条 · 共 207 条
7月30日周四
  1. Google DeepMind79

    Gemini Robotics ER 2 发布，提升视频理解与多机器人协作能力

    Google DeepMind 发布 Gemini Robotics ER 2，作为面向机器人的具身推理模型，通过视频理解、任务编排和多机器人协作提升物理世界交互能力。该模型在任务进度分类上达到 57.4% 准确率，在关键时刻检测上达到 91.3% 准确率，并支持通过 Gemini API、Google AI Studio 开放给开发者使用。

    推荐理由：原文给出了具身推理模型在视频理解、任务编排和安全基准上的具体提升，读者可据此判断机器人在真实物理环境中的落地边界。

  2. Google Gemini API Release Notes67

    Google Gemini 发布 Gemini Robotics ER 2 预览版

    Gemini 发布两个具身推理模型端点：gemini-robotics-er-2-preview 支持空间推理、智能体代码执行、多步工具编排、视频时刻定位、进度分类和多机器人协作；gemini-robotics-er-2-streaming-preview 通过 Live API 支持实时文本流、双向音视频输入和低延迟机器人智能体。

    推荐理由：新模型支持空间推理、代码执行和工具编排等机器人任务，并保留上一版退役时间，方便评估部署与切换。

7月17日周五
  1. 数字生命卡兹克90

    Kimi K3 正式发布：2.8 万亿参数，百万上下文并官宣开源

    Kimi K3 正式发布，参数量达到 2.8 万亿，支持百万上下文，并计划在 7 月 27 日全面开源。在实测中，K3 在多个编程与智能体评测中位居前列，展现出较强的代码执行与前端生成能力。

    推荐理由：结合跑分与实测，展示了 K3 在编程、智能体及前端生成上的综合表现，以及百万上下文特性。

7月15日周三
  1. Hugging Face Blog82

    Thinking Machines 发布 1T 参数开源多模态模型 Inkling 及其 Inkling-Small 版本

    Thinking Machines 在 Hugging Face 发布 1T 参数的开源多模态模型 Inkling，支持图像、文本、音频输入与 1M 上下文窗口，同时推出 276B 参数量的 Inkling-Small 版本。该模型采用 MoE 架构，提供 transformers、SGLang、vLLM 等引擎的 Day-0 部署支持，并附带针对不同场景的推理和性能基准测试数据。

    推荐理由：该模型支持百万上下文和多模态输入，并适配多种主流推理引擎，为大规模多模态应用部署提供了明确参考。

6月30日周二
6月9日周二
  1. Google DeepMind74

    Google DeepMind 发布 Gemini 3.5 Live Translate 语音翻译模型

    Google DeepMind 发布最新音频模型 Gemini 3.5 Live Translate，支持 70+ 语言的近实时语音到语音翻译，自动检测语种并保留说话者的语调、节奏和音高，连续生成译文，仅比说话者落后几秒。

    推荐理由：原文说明了从逐句等待到连续生成的机制差异，读者可据此理解它为何能做到低延迟。

  2. Google DeepMind76

    Google DeepMind 发布 Gemma 4 12B：无编码器多模态模型

    Google DeepMind 发布 Gemma 4 12B，定位为可在笔记本本地运行的多模态模型，介于 E4B 与 26B MoE 之间，是首个支持原生音频输入的中等规模模型，Gemma 4 系列下载量已超 150 million。

    推荐理由：原文说明了无编码器统一架构的具体做法与本地运行门槛，便于评估其对端侧工作流的适配性。

6月5日周五
  1. Google Research62

    Google 发布基于智能手机摄像头被动监测心率的研究

    Google 发布发表于 Nature 的研究“Passive Heart Rate Monitoring During Smartphone Use in Everyday Life”，提出被动心率监测系统（PHRM），通过前置摄像头在人脸解锁后拍摄短视频并结合深度学习算法，实现日常使用中被动测量心率（HR）和静息心率（RHR）。

    推荐理由：该研究展示了手机前置摄像头在日常生活被动监测心率与静息心率的可行性，并开放了包含多样肤色人群的大规模数据集供研究使用。

5月28日周四
5月20日周三
  1. Google Research84

    Google 在 Nature 发表 ERA 论文并推出 Computational Discovery 工具

    Google 在 Nature 发表 ERA 系统论文并开放 Computational Discovery 工具。该系统利用 Gemini 编写和优化科学代码，在基因组、流行病学等基准上达到专家级性能。应用 ERA 的八个研究项目包括流感预测、加州径流预测和大气 CO2 映射。

    推荐理由：原文展示了 ERA 在流行病预测、碳监测等八个科学问题的实证结果，读者可据此判断其计算发现的可靠性。

5月19日周二
  1. Google DeepMind64

    Co-Scientist 加速逆转细胞老化遗传研究

    Google DeepMind 的 Co-Scientist 工具帮助生物学家 Omar Abudayyeh 和 Jonathan Gootenberg 解决老化研究瓶颈。该模型扫描数万篇论文后提出 20 余个潜在抗衰老基因因子，实验验证其可驱动细胞进入年轻状态并改善整体功能。在数据分析阶段，Co-Scientist 将原本需要研究员花费数月的文献关联分析工作缩短至仅几天。

    推荐理由：Co-Scientist 将遗传筛选数据分析周期从数月压缩至几天，验证了 AI 加速老化研究的核心潜力。

5月18日周一
  1. Google DeepMind68

    Project Genie 结合街景影像推出真实世界模拟功能

    Project Genie 推出了基于街景影像的功能，允许用户选择美国境内地点并应用风格生成可交互环境，如让金门大桥变成水下世界，该功能向 Google AI Ultra $200 订阅者全球开放。

    推荐理由：原文说明了如何利用街景影像训练AI智能体在虚拟世界中导航，并展示了全球订阅者可以探索新功能的入口。

  2. Google DeepMind77

    Google DeepMind 发布 Gemini Omni 及首个模型 Gemini Omni Flash

    Google DeepMind 发布 Gemini Omni，首个模型 Gemini Omni Flash 支持结合图像、音频、视频和文本输入生成高质量视频，并可通过对话式自然语言进行多轮编辑。Gemini Omni Flash 现已通过 Gemini app、Google Flow 向全球订阅者推出，并免费开放给 YouTube Shorts 和 YouTube Create App 用户。

    推荐理由：原文展示了从多模态输入到视频生成的具体能力，为理解原生多模态模型的创作边界提供了实例。

5月10日周日
  1. 宝玉78

    英伟达Jim Fan宣告VLA时代结束，WAM登场

    英伟达GEAR Lab负责人Jim Fan在Sequoia AI Ascent 2026演讲中宣布VLA路线过时，提出世界动作模型新范式。其代表作DreamZero有140亿参数，用视频世界模型替代语言模型。EgoScale发现灵巧操作的神经缩放定律（R² = 0.998），预训练用了21,000小时人类第一人称视频。

    推荐理由：英伟达机器人与AI研究组负责人Jim Fan在Sequoia AI Ascent 2026演讲中宣告VLA路线过时，提出世界动作模型新范式。

5月9日周六
  1. The Batch70

    字节跳动将 Seedance 2.0 多模态视频生成模型引入 CapCut

    字节跳动将 Seedance 2.0 多模态视频生成模型引入 CapCut，服务扩展至东南亚、拉美、非洲及美国等市场。该模型支持文本、图像和音频输入，输出 4 至 15 秒的同步音视频，采用稀疏架构并生成隐形水印。模型定价为每秒 0.30 美元，在 Arena AI 等排行榜上位列前二，目前面临好莱坞工作室关于训练数据版权的争议。

    推荐理由：文章提供了字节跳动 Seedance 2.0 的部署范围、定价参数及与竞品的盲测排名数据。

5月2日周六
  1. The Batch65

    GPT-5.5 在基准测试中表现领先但幻觉率高，Kimi K2.6 成为最强开源模型

    OpenAI 发布的 GPT-5.5 在 Artificial Analysis Intelligence Index 和 ARC-AGI-2 等基准测试中刷新纪录，但幻觉率显著高于 Claude Opus 4.7 和 Gemini 3.1 Pro Preview。

    推荐理由：原文对比了 GPT-5.5 与 Kimi K2.6 在基准测试和实际偏好中的表现差异，以及大模型在战略游戏决策中与人类的不同策略。

  2. Google Research60

    Google Research 阐述开源工具与数据在科学领域的应用及生态建设

    Google Research 强调开源软件和开放数据集是科学进步的核心，过去十年已赋能全球 25 万多名研究人员。其在基因组学、神经科学、地球大气模型、生物多样性及医疗领域（如 MedGemma 模型）的开源工具已被用于多项重大发现。

    推荐理由：展示了开源工具在基因组、气候、医疗等领域的具体应用及 2.5 万研究者生态的影响。

4月30日周四
  1. Google DeepMind83

    Google DeepMind 发布 AI co-clinician 研究计划及多模态医疗能力评估

    Google DeepMind 宣布推出 AI co-clinician 研究计划，旨在探索 AI 作为医疗团队的协作成员。系统基于 Gemini 和 Project Astra 实现实时多模态交互，在 98 个初级保健查询盲测中记录到 97 次零关键错误，并优于其他主流 AI 系统。

    推荐理由：原文展示了在 98 个病例和 140 项评估中 AI 与医生表现的具体对比，并明确提出了双智能体架构的安全保障方案。

4月23日周四
  1. Google Research63

    Google Photos 推出 Auto frame 3D 视角重构功能

    Google Photos 新功能 Auto frame 利用 3D 场景估计和生成式 AI 自动重构照片视角。该功能可调整相机位置和焦距，补全原画面外区域，并自动纠正广角镜头透视畸变。

    推荐理由：该方法将照片视为3D场景，通过生成式AI重新调整视角并补全隐藏内容，改变了传统修图局限。

4月17日周五
  1. 宝玉90

    Anthropic 发布 Claude Design 开启设计圈 Claude Code 时刻

    Anthropic 发布 Claude Design，由 Claude Opus 4.7 驱动，可直接从提示词生成带交互的高保真原型和 React 代码。该工具在 Pro 至 Enterprise 各订阅层级开放，目前为 research preview 且未开放 API。

    推荐理由：Anthropic 发布由 Claude Opus 4.7 驱动的 Claude Design，将 AI 作为主要生成者输出可运行代码而非静态设计稿，重新定义了设计工作流。