⌘ K
… 读取采集状态 同步中...
雷

多模态

文本之外的能力：视觉理解、图文混合、音视频输入输出的模型与产品进展。

207条精选相关主题图像生成AI 视频语音与音频

最新精选

第 1–20 条 · 共 207 条
10月12日周一
  1. 极客公园67

    模思智能获超10亿元Pre-A轮融资，专注全模态实时交互与情境智能

    模思智能于10月12日宣布完成超10亿元Pre-A轮融资，由华控基金领投，距天使轮官宣约半年。该公司由复旦大学邱锡鹏团队孵化，核心在于构建能持续理解并实时响应物理世界的全模态交互系统。

    推荐理由：文章披露了模思智能超10亿Pre-A轮融资，并展示其通过自研模型互训解决语音视觉实时交互痛点的方法。

10月11日周日
  1. 量子位 QbitAI68

    何恺明团队发布多模态视觉原生Harness框架 VISTA

    何恺明团队发布 VISTA 视觉原生 Harness 框架，使现有多模态模型无需从头训练即可直接观察、保存并回看环境原始画面参与推理。在 ARC-AGI-3 评测中，搭配 VISTA 的 Claude Opus 5.0 完成了全部 25 个公开游戏，相对人类动作效率得分达到 100，所用游戏动作数比首次游玩的人类基线少 57.4%。

    推荐理由：研究展示了无需微调现有多模态模型，仅通过视觉原生Harness即可显著提升交互式推理性能的方法。

10月9日周五
  1. 人工智能学家77

    何恺明团队新作：视觉 Harness VISTA 让 Claude Opus 5.0 满分通关 25 款 ARC-AGI-3 游戏

    何恺明团队提出视觉 Harness VISTA，通过无损视觉记忆和主动视觉检查机制，使 Claude Opus 5.0 在 ARC-AGI-3 的 25 款公开游戏中取得 100.00 的满分 RHAE。

    推荐理由：文章介绍了 VISTA 视觉 Harness 通过无损保存和主动检查视觉记忆，将 Claude Opus 5.0 在 ARC-AGI-3 上的得分提升至满分。

  2. 人工智能学家84

    Claude Haiku 5.5 发布，引入自适应推理机制与百万 Token 上下文

    Anthropic 发布 Claude Haiku 5.5，OSWorld 2.1 成绩从 15.7% 提升至 72.4%，引入自适应推理机制并支持 100 万 Token 上下文。10 万 Token 内输入单价 0.10 美元，超出部分涨至 0.50 美元；复杂编程任务在 Terminal-Bench 4.0 中得分 39.2%，仍落后于 Sonnet 5.5 的 70.6%。

    推荐理由：通过 OSWorld 和 Terminal-Bench 等基准量化了操作能力的提升幅度，并给出了不同上下文长度下的具体定价策略。

10月8日周四
  1. MarkTechPost72

    Perplexity 发布 pplx-embed-v2-late 多模态嵌入模型：0.6B 端侧版与 9B 高分版

    Perplexity 发布 pplx-embed-v2-late，这是一对 ColBERT 风格的多模态嵌入模型，包含 0.6B 和 9B 两种规格。两款模型均在 Hugging Face 上以 MIT 许可证开源，支持检索文本、图像及渲染 PDF 页面，并共享同一嵌入空间。

    推荐理由：文章拆解了pplx-embed-v2-late的混合规格优势，展示了以低算力查询高质索引的成本优势与局限。

  3. The Verge · AI81

    ChatGPT 推出智能界面更新，支持图片、图表与交互按钮

    OpenAI 在 ChatGPT 中推出智能界面功能，支持在回答中嵌入图表、表单和可点击按钮。该功能随 GPT-6 模型同步向用户推出，同时支持 Sol 和 Luna 版本。GPT-6 还提升了网页搜索能力，并在安全测试中展现出更强的抗规避能力。智能界面功能将于今日面向 Plus、Pro、Business 和 Enterprise 用户开放，周四扩展到 Go 和免费用户。

    推荐理由：OpenAI在ChatGPT中上线智能界面并同步GPT-6双版本，可直观比较交互形式与不同订阅层级的能力差异。

  4. The Decoder88

    OpenAI 发布 GPT-6，引入支持图表与交互式按钮的 Intelligent UI

    OpenAI 向所有 ChatGPT 用户推出 GPT-6，新增 Intelligent UI 功能，使模型能以包含图形、按钮、图表和表单的交互界面回答，并可在对话中构建如储蓄计算器或游戏等小型工具。

    推荐理由：GPT-6带来界面从纯文本到交互式图形与按钮的转变，用户能直接在对话中运行小工具，体验更直观。

  5. MarkTechPost68

    Liquid AI 发布开源权重多模态决策模型 d1-3B 和 d1-omni-600M

    Liquid AI 发布两个开源权重多模态决策模型 d1-3B 和 d1-omni-600M，单次前向推理直接输出类型化概率答案且输出 token 数为 0。d1-3B 支持文本和图像输入，在 NVIDIA RTX 4090 上单问题推理延迟为 8 毫秒；d1-omni-600M 支持文本加图像或文本加音频输入，音频片段上限为 30 秒。

    推荐理由：提供决策模型与传统生成式模型的核心差异对比及NVIDIA硬件上的具体延迟数据。

  6. AI HOT96

    OpenAI 向 ChatGPT 全用户层级推出 GPT-6 与 Intelligent UI

    OpenAI 宣布将 GPT-6 和 Intelligent UI 扩展至 Free、Go、Plus、Pro 及 Business/Enterprise 等全层级用户。GPT-6 Instant 在需要网络搜索的问题上比 GPT-5.6 Instant 快 44% 开始作答，且支持在回答过程中逐步渲染图表、按钮和交互组件。

    推荐理由：智能 UI 通过流式组件库实现界面逐步生成，改变了传统交互模式。

10月7日周三
  1. AI HOT70

    Google 开放 SynthID Detector 门户，支持检测图片、视频和音频的 AI 生成水印

    Google 开放 SynthID Detector 门户，允许用户上传文件检测 AI 生成水印。用户可访问 https://synthid.com 上传图片、视频或音频，系统会扫描文件是否包含来自 Google 或其合作伙伴的 SynthID 水印。

    推荐理由：官方提供 SynthID 检测门户的访问入口和操作步骤，用户可直接上传文件验证是否包含水印。

  2. TechCrunch · AI81

    Google 开放 SynthID 网站以识别 AI 生成媒体

    Google 推出了新的 SynthID 网站，允许任何人验证图像、视频或音频是否由 AI 生成。该平台支持 JPG、MP4、WAV 等多种格式，并集成于 Gemini 应用和 Chrome 中。目前每天约有 100 万次验证请求，OpenAI 和 NVIDIA 也支持该标准。

    推荐理由：该工具向公众开放了跨图像、视频和音频的 SynthID 真伪验证能力，提供了判断多模态内容来源的直接入口。

  3. AI HOT74

    Mistral 发布 Mistral Large 4，Artificial Analysis 评测称其为美中之外最智能模型

    Mistral 以研究公开预览版形式发布 Mistral Large 4，计划在 10 月底开源 1T 参数（49B 激活）权重。该模型在 Artificial Analysis 智能指数上得分 38，与 GPT-6 Luna（max）持平，成为来自美国和中国之外的最智能模型。其标准定价为每 1M 输入/输出 token $1.36/$4.18，前两周享有 50% 折扣。

    推荐理由：原文给出具体基准分数、定价策略和开源时间，读者可据此判断该模型在智能与成本上的实际定位。

  5. Google DeepMind78

    Google DeepMind 发布轻量级多模态嵌入模型 EmbeddingGemma 2

    Google DeepMind 发布 EmbeddingGemma 2，这是一个专为端侧推理优化的轻量级多模态嵌入模型。该模型拥有 7.4 亿参数，基于 Gemma 4 架构构建，采用 Apache 2.0 开源协议，支持原生映射文本、代码、图像、视频和音频到统一嵌入空间。

    推荐理由：EmbeddingGemma 2 将代码、图像、视频和音频统一进单一嵌入空间，并提供 740M 参数端侧推理方案，开发者可据此直接构建离线多模态 RAG 管线。

  6. MarkTechPost79

    Google DeepMind 发布 EmbeddingGemma 2，基于 Gemma 4 的 740M 开源多模态嵌入模型

    Google DeepMind 发布开源模型 EmbeddingGemma 2，它将文本、代码、图像、视频和音频嵌入统一的 768 维空间。该模型包含 740M 参数，拥有 8K token 上下文窗口，采用 Apache 2.0 许可证，权重已在 Hugging Face 上线，并支持 Ollama 和 llama.cpp 部署。

    推荐理由：该模型提供从纯文本到全模态的模块化部署选择，读者可据此评估端侧 RAG 的资源限制与性能边界。

  7. MarkTechPost77

    Mistral AI 发布 Mistral Large 4 模型预览版

    Mistral AI 于 10 月 6 日发布 Mistral Large 4 (Le Chonk) 公开预览版，这是一个包含 1.05 万亿总参数、每 token 激活 49 亿参数的多模态 MoE 模型，拥有 100 万 token 上下文窗口。其 API 现已上线，但权重预计 10 月底才开放；在网络安全任务中表现突出，且在人工盲测中得分仅次于 Claude Opus 5。

    推荐理由：原文明确标注模型为公开预览且权重尚未开放，并指出了API支持功能及权重发布时间，利于判断即时可用性。

  8. AGI Hunt81

    谷歌开源原生多模态 Embedding 模型 EmbeddingGemma 2

    谷歌 DeepMind 发布开源 Embedding 模型 EmbeddingGemma 2，这是首个支持文本、代码、图片、视频和音频的五模态原生嵌入模型。该模型参数总量为 740M，基于 Apache 2.0 协议开放，纯文本版本仅需 270M 参数，量化后在 Pixel 11 Pro 上全模态运行内存占用约 567MB。

    推荐理由：该模型以740M参数支持五种模态嵌入并开源权重，为端侧本地RAG提供了低内存占用的跨模态检索方案。