⌘ K
… 读取采集状态 同步中...
雷

#多模态

今日 4 条
7月17日周五
  1. 数字生命卡兹克90

    Kimi K3 正式发布：2.8 万亿参数，百万上下文并官宣开源

    Kimi K3 正式发布，参数量达到 2.8 万亿，支持百万上下文，并计划在 7 月 27 日全面开源。在实测中，K3 在多个编程与智能体评测中位居前列，展现出较强的代码执行与前端生成能力。

    推荐理由：结合跑分与实测，展示了 K3 在编程、智能体及前端生成上的综合表现，以及百万上下文特性。

7月16日周四
  1. Hugging Face Blog37

    DharmaOCR 在巴西葡萄牙语 OCR 任务上优于 Mistral OCR4 和 Unlimited-OCR

    DharmaOCR 凭借领域专门化训练，在巴西葡萄牙语 OCR 基准中以 0.925 分超越 Mistral OCR4（0.798分）和 Unlimited-OCR（0.7587分）。该模型通过两阶段训练实现优势：第一阶段利用葡萄牙语数据进行监督微调以对齐词汇与语法结构，第二阶段应用直接偏好优化（DPO）学习比较偏好数据，从而降低推理时间、成本及生成退化率，确保生产环境下的稳定性。

7月15日周三
  1. Hugging Face Blog82

    Thinking Machines 发布 1T 参数开源多模态模型 Inkling 及其 Inkling-Small 版本

    Thinking Machines 在 Hugging Face 发布 1T 参数的开源多模态模型 Inkling，支持图像、文本、音频输入与 1M 上下文窗口，同时推出 276B 参数量的 Inkling-Small 版本。该模型采用 MoE 架构，提供 transformers、SGLang、vLLM 等引擎的 Day-0 部署支持，并附带针对不同场景的推理和性能基准测试数据。

    推荐理由：该模型支持百万上下文和多模态输入，并适配多种主流推理引擎，为大规模多模态应用部署提供了明确参考。

7月13日周一
7月10日周五
7月9日周四
  1. Google Research55

    Google Research 发布 SensorFM：面向可穿戴健康数据的通用基础模型

    Google Research 发布 SensorFM，这是一个学习自十亿分钟级未标注多模态传感器数据的通用生理基础模型。模型在 35 项判别性健康任务上表现优于传统基线，并通过引入 LLM Agent 自动构建预测头，以及作为个人健康智能体的生理基础，展现了跨心血管、代谢、睡眠和心理健康领域的泛化能力。

7月6日周一
  1. Hugging Face Blog31

    PRX Part 4: 数据策略

    文章阐述 PRX 7B 模型的数据构建策略，采用混合公开与内部数据集，并用 VLM 重新生成图像长描述。预训练阶段优先覆盖广度与多样性，通过 Mosaic Data Shards 进行分布式流式训练，利用 Lance 处理特征工程。将文本编码器切换为 Qwen3-VL 并动态计算嵌入，避免预存储，仅带来约 3–4% 的训练吞吐量损耗。

7月1日周三
  1. Microsoft AI Blog23

    Microsoft AI 助力西奥多·罗斯福总统图书馆打造沉浸式 AI 体验

    Microsoft 与罗斯福总统图书馆合作，利用 AI 技术 Box 1 整理数十万份历史档案，支持全球用户通过 The Campfire Reading Room 检索罗斯福著作。游客还可与具备罗斯福性格的 AI 数字人进行互动对话。Microsoft 计划开源相关软件，使该图书馆成为可随技术迭代自动更新的“活体”馆藏。

6月30日周二
  2. Google Gemini API Release Notes42

    Gemini Omni Flash 进入公开预览，Gemini 3.1 Flash Lite Image 正式发布

    谷歌发布 gemini-omni-flash-preview 进入公开预览，这是一款针对高速视频生成和对话式视频编辑的高性能多模态模型。通过 Interactions API，它支持从文本或静态图片生成 3-10 秒的 720p 视频。gemini-3.1-flash-lite-image 也已进入通用可用性阶段，主打超低延迟和低成本图像生成。

6月17日周三
6月13日周六
6月9日周二
  1. Google DeepMind74

    Google DeepMind 发布 Gemini 3.5 Live Translate 语音翻译模型

    Google DeepMind 发布最新音频模型 Gemini 3.5 Live Translate，支持 70+ 语言的近实时语音到语音翻译，自动检测语种并保留说话者的语调、节奏和音高，连续生成译文，仅比说话者落后几秒。

    推荐理由：原文说明了从逐句等待到连续生成的机制差异，读者可据此理解它为何能做到低延迟。

  2. Microsoft AI Blog25

    Microsoft 发布 Nature Methods 研究：AI 辅助 Project Ex Vivo 项目解析癌细胞状态以提升癌症精准治疗匹配度

    Microsoft 与 Broad Institute 合作的项目 Ex Vivo 在 Nature Methods 发表研究，利用 AI 解析癌细胞状态（cell state）以预测药物反应。该研究表明，AI 模型通过观察多样化的细胞行为而非单纯扩大数据量，能更准确识别传统方法遗漏的模式，有助于优化患者与疗法的匹配并指导临床试验。

  3. Google DeepMind76

    Google DeepMind 发布 Gemma 4 12B：无编码器多模态模型

    Google DeepMind 发布 Gemma 4 12B，定位为可在笔记本本地运行的多模态模型，介于 E4B 与 26B MoE 之间，是首个支持原生音频输入的中等规模模型，Gemma 4 系列下载量已超 150 million。

    推荐理由：原文说明了无编码器统一架构的具体做法与本地运行门槛，便于评估其对端侧工作流的适配性。

6月8日周一
6月5日周五
  1. Google Research62

    Google 发布基于智能手机摄像头被动监测心率的研究

    Google 发布发表于 Nature 的研究“Passive Heart Rate Monitoring During Smartphone Use in Everyday Life”，提出被动心率监测系统（PHRM），通过前置摄像头在人脸解锁后拍摄短视频并结合深度学习算法，实现日常使用中被动测量心率（HR）和静息心率（RHR）。

    推荐理由：该研究展示了手机前置摄像头在日常生活被动监测心率与静息心率的可行性，并开放了包含多样肤色人群的大规模数据集供研究使用。

6月1日周一
5月29日周五
  1. The Batch56

    Google 发布 Gemini 3.5 Flash：智能体能力与速度提升但价格上涨

    Google 发布 Gemini 3.5 Flash，作为其中端多模态模型更新，在智能体能力和速度上较 Gemini 3 Flash 显著提升，价格升至每百万输入 token 1.50 美元。该模型在 APEX-Agents-AA 智能体基准测试中以 47.1% 准确率排名第一，高于 GPT-5.5 的 37.7%，但在综合智能、知识和编码方面仍落后于领先模型。

5月28日周四
5月22日周五
5月20日周三
  1. Google Research84

    Google 在 Nature 发表 ERA 论文并推出 Computational Discovery 工具

    Google 在 Nature 发表 ERA 系统论文并开放 Computational Discovery 工具。该系统利用 Gemini 编写和优化科学代码，在基因组、流行病学等基准上达到专家级性能。应用 ERA 的八个研究项目包括流感预测、加州径流预测和大气 CO2 映射。

    推荐理由：原文展示了 ERA 在流行病预测、碳监测等八个科学问题的实证结果，读者可据此判断其计算发现的可靠性。

5月19日周二
  1. Google DeepMind64

    Co-Scientist 加速逆转细胞老化遗传研究

    Google DeepMind 的 Co-Scientist 工具帮助生物学家 Omar Abudayyeh 和 Jonathan Gootenberg 解决老化研究瓶颈。该模型扫描数万篇论文后提出 20 余个潜在抗衰老基因因子，实验验证其可驱动细胞进入年轻状态并改善整体功能。在数据分析阶段，Co-Scientist 将原本需要研究员花费数月的文献关联分析工作缩短至仅几天。

    推荐理由：Co-Scientist 将遗传筛选数据分析周期从数月压缩至几天，验证了 AI 加速老化研究的核心潜力。

5月18日周一
  1. Google DeepMind68

    Project Genie 结合街景影像推出真实世界模拟功能

    Project Genie 推出了基于街景影像的功能，允许用户选择美国境内地点并应用风格生成可交互环境，如让金门大桥变成水下世界，该功能向 Google AI Ultra $200 订阅者全球开放。

    推荐理由：原文说明了如何利用街景影像训练AI智能体在虚拟世界中导航，并展示了全球订阅者可以探索新功能的入口。

  2. Google DeepMind77

    Google DeepMind 发布 Gemini Omni 及首个模型 Gemini Omni Flash

    Google DeepMind 发布 Gemini Omni，首个模型 Gemini Omni Flash 支持结合图像、音频、视频和文本输入生成高质量视频，并可通过对话式自然语言进行多轮编辑。Gemini Omni Flash 现已通过 Gemini app、Google Flow 向全球订阅者推出，并免费开放给 YouTube Shorts 和 YouTube Create App 用户。

    推荐理由：原文展示了从多模态输入到视频生成的具体能力，为理解原生多模态模型的创作边界提供了实例。

5月17日周日
5月16日周六
5月10日周日
  1. 宝玉78

    英伟达Jim Fan宣告VLA时代结束，WAM登场

    英伟达GEAR Lab负责人Jim Fan在Sequoia AI Ascent 2026演讲中宣布VLA路线过时，提出世界动作模型新范式。其代表作DreamZero有140亿参数，用视频世界模型替代语言模型。EgoScale发现灵巧操作的神经缩放定律（R² = 0.998），预训练用了21,000小时人类第一人称视频。

    推荐理由：英伟达机器人与AI研究组负责人Jim Fan在Sequoia AI Ascent 2026演讲中宣告VLA路线过时，提出世界动作模型新范式。

5月9日周六
  1. The Batch70

    字节跳动将 Seedance 2.0 多模态视频生成模型引入 CapCut

    字节跳动将 Seedance 2.0 多模态视频生成模型引入 CapCut，服务扩展至东南亚、拉美、非洲及美国等市场。该模型支持文本、图像和音频输入，输出 4 至 15 秒的同步音视频，采用稀疏架构并生成隐形水印。模型定价为每秒 0.30 美元，在 Arena AI 等排行榜上位列前二，目前面临好莱坞工作室关于训练数据版权的争议。

    推荐理由：文章提供了字节跳动 Seedance 2.0 的部署范围、定价参数及与竞品的盲测排名数据。

5月7日周四
5月5日周二
5月2日周六
  1. The Batch65

    GPT-5.5 在基准测试中表现领先但幻觉率高，Kimi K2.6 成为最强开源模型

    OpenAI 发布的 GPT-5.5 在 Artificial Analysis Intelligence Index 和 ARC-AGI-2 等基准测试中刷新纪录，但幻觉率显著高于 Claude Opus 4.7 和 Gemini 3.1 Pro Preview。

    推荐理由：原文对比了 GPT-5.5 与 Kimi K2.6 在基准测试和实际偏好中的表现差异，以及大模型在战略游戏决策中与人类的不同策略。

  2. Google Research60

    Google Research 阐述开源工具与数据在科学领域的应用及生态建设

    Google Research 强调开源软件和开放数据集是科学进步的核心，过去十年已赋能全球 25 万多名研究人员。其在基因组学、神经科学、地球大气模型、生物多样性及医疗领域（如 MedGemma 模型）的开源工具已被用于多项重大发现。

    推荐理由：展示了开源工具在基因组、气候、医疗等领域的具体应用及 2.5 万研究者生态的影响。

4月30日周四
  1. Google DeepMind83

    Google DeepMind 发布 AI co-clinician 研究计划及多模态医疗能力评估

    Google DeepMind 宣布推出 AI co-clinician 研究计划，旨在探索 AI 作为医疗团队的协作成员。系统基于 Gemini 和 Project Astra 实现实时多模态交互，在 98 个初级保健查询盲测中记录到 97 次零关键错误，并优于其他主流 AI 系统。

    推荐理由：原文展示了在 98 个病例和 140 项评估中 AI 与医生表现的具体对比，并明确提出了双智能体架构的安全保障方案。

4月27日周一
4月23日周四
  1. Google Research63

    Google Photos 推出 Auto frame 3D 视角重构功能

    Google Photos 新功能 Auto frame 利用 3D 场景估计和生成式 AI 自动重构照片视角。该功能可调整相机位置和焦距，补全原画面外区域，并自动纠正广角镜头透视畸变。

    推荐理由：该方法将照片视为3D场景，通过生成式AI重新调整视角并补全隐藏内容，改变了传统修图局限。