⌘ K
… 读取采集状态 同步中...
雷

多模态

文本之外的能力：视觉理解、图文混合、音视频输入输出的模型与产品进展。

207条精选相关主题图像生成AI 视频语音与音频

最新精选

第 101–120 条 · 共 207 条
9月3日周四
  2. APPSO67

    谷歌发布 Gemini 主动视频理解功能

    谷歌于 9 月 1 日为其 Flash 系列模型接入「主动视频理解」功能，让模型自主决定视频关注点与分析速度。官方基准显示，该功能最多可降低 88% 的 token 消耗和 66% 的分析成本，同时准确率提升最多 7%，该能力将通过 Gemini API 开放，并计划应用于 YouTube 的问答功能。

    推荐理由：原文详细展示了主动视频理解如何通过降低 token 消耗和成本提升准确率，并给出了多场景应用对比。

9月2日周三
  1. 人工智能学家82

    World Labs 发布新一代世界模型 Atlas

    World Labs 发布新一代世界模型 Atlas，该模型采用多模态自回归扩散 Transformer 架构，支持基于单张图像生成 1440p 视频及三维场景重建。Atlas 能够根据 1 至 25 张图像重建空间，支持点云及 3D 高斯泼溅输出，并利用摄像机几何参数实现精准的长视频控制与“子弹时间”模拟。

    推荐理由：World Labs 发布的 Atlas 模型通过统一架构将图像生成、三维重建与时空模拟融为一体，展示了空间智能在处理复杂场景时的可扩展性。

  2. 机器之心76

    李飞飞World Labs发布全模态世界模型Atlas

    World Labs发布新一代世界模型Atlas，原生预训练处理文本、图像、视频和3D四种数据，支持相机可控生成（最高1440p、1分钟视频）、空间重建、时空模拟和图像生成。

    推荐理由：原文梳理了Atlas的核心设计与评测口径，读者可据此分辨其相机可控优势与画面质量的差别。

  3. 机器之心66

    VAST 发布 Tripo P2.0，原生四边面拓扑支持 3D Vibe Coding

    VAST 发布 AI 3D 生成模型 Tripo P2.0，在扩散生成阶段直接产出原生四边面拓扑，三角面最高 50000 面、四边面最高 25000 面，无需额外重拓扑步骤，便于后续骨骼绑定、动画形变和局部编辑，正式版还将加入局部重新生成功能。

    推荐理由：原文梳理了原生四边面拓扑如何解决生成后返工瓶颈，并给出多个 Agent 接手 3D 的实例。

  5. APPSO85

    World Labs 发布多模态世界模型 Atlas

    World Labs 发布面向空间智能的多模态世界模型 Atlas，支持通过 1 至 6 张照片及相机位姿参数生成最长 1 分钟、1440p 分辨率的视频。在稀疏视角重建评测中，Atlas 的 AbsRel 分数为 25.3，优于 Pi3X、Depth Anything 3 等模型，并具备实时渲染与物理交互模拟能力，用于支持机器人在虚拟孪生空间中训练。

    推荐理由：文章拆解了 Atlas 的相机控制生成与空间重建机制，并给出了对比基准的实测数据，适合评估多模态世界模型在具身智能场景中的实际落地路径。

  6. Google Research60

    Google 发布基于深度学习的全球甲烷点源监测框架 MAPL-EMIT

    Google 在 PNAS 发表论文发布 MAPL-EMIT，这是一个用于利用卫星影像检测、增强预测和估算甲烷羽流的深度学习框架。该模型在专家标注的甲烷羽流数据集上达到了 84% 的召回率。Google 已在全球地球引擎（Earth Engine）、Kaggle 和 Github 上开源了相关羽流数据库、预训练模型和推理库。

    推荐理由：论文展示了基于视觉Transformer的深度学习模型如何用卫星影像识别全球甲烷点源泄漏，给出了84%召回率和相关开源资产入口。

  7. Google DeepMind75

    Google DeepMind 在 Gemini 中推出 Agentic Video Understanding 功能

    Google DeepMind 宣布在 Gemini 3.7 Flash、3.6 Flash 和 3.5 Flash-Lite 模型中推出 Agentic Video Understanding 功能，通过结合代码执行和原生视频工具动态搜索、扫描目标视频片段，将 Token 消耗最多降低 88%，成本降低最多 66%，同时将准确率提升最多 7%。

    推荐理由：该功能通过智能体循环动态检索视频片段，在保持准确率的同时将 Token 消耗最多降低 88%，为长视频分析提供了更经济的工程方案。

9月1日周二
  1. 钛媒体AGI78

    OpenAI 采购万台 Mac 硬件强化训练 Computer-use Agent

    OpenAI 购入数万台 Mac mini 和 Mac Studio 专门用于训练能够自主操作电脑的 Computer-use Agent，因苹果 macOS 的硬性环境约束和统一内存架构优势，此类设备成为大模型本地推理和持续运行的稀缺资源。

    推荐理由：材料指出 OpenAI 大规模采购苹果硬件用于 Computer-use Agent 训练，解释了这一特殊需求为何推高苹果 Mac 营收并暴露出其在企业 AI 基础设施承接能力上的错位。

  2. 机器之心74

    Runway 发布界面世界模型 Solaris：无需代码直接生成可交互界面

    Runway 公布新研究 Solaris，将其定义为首个 Interface World Model（界面世界模型），界面可像视频一样实时生成，用户点击、拖拽或输入后模型根据当前状态继续生成下一帧，无需预先写好代码。

    推荐理由：原文拆解了从视频模型到实时交互界面的三步改造和双模型分工，读者可据此理解世界模型路线的具体做法。

8月30日周日
  1. APPSO66

    苹果9月发布会聚焦折叠iPhone与新CEO首秀，国行AI接入千问与自研模型

    苹果定于9月10日举办秋季发布会，预计推出折叠屏iPhone、iPhone 18 Pro系列及AirPods 5等新品，由新CEO John Ternus首次主持。国行Apple Intelligence已完成备案，将采用阿里千问作为合作方，并基于苹果自研的AFM 3系列端侧与云端模型体系。

    推荐理由：文章拆解了苹果九月发布会的产品结构与国行 AI 备案进展，读者可据此理解折叠屏形态与本土模型架构如何重塑苹果高端产品线。

  2. AI产品阿颖78

    腾讯 Hy4 preview 真实评价：参数规模与能力实测

    腾讯 Hy4 preview 总参数提升至 770B，上下文长度达 1M，内部盲测显示其在部分任务上略优于 GLM 5.3 和 Kimi K3。作者通过日程管理后台、小游戏生成及图片转网页等实测案例，发现模型在编码和多模态交互上表现明显进步，但仍存在过度思考、遗忘约束条件及审美局限等缺点，且凭借高性价比策略正在快速追赶国内第一梯队。

    推荐理由：原文提供了 Hy4 preview 与竞品的实测对比及价格策略，揭示了其在编码与多模态场景下的真实表现与局限性。

8月29日周六
  1. AI科技评论75

    TrAct：李飞飞、吴佳俊提出视觉轨迹接口统一世界模型与机器人控制

    李飞飞和吴佳俊在arXiv发布论文TrAct，提出通过视觉轨迹作为中间接口，解决机器人动作与世界模型预测画面之间的表征不匹配问题。该方法将机器人动作翻译为图像坐标下的关键点轨迹，使世界模型能进行条件渲染而非盲目因果推测。在自建的LIBERO-INTEGRAL基准上，TrAct比基线模型π0.5的成功率从27%提升至55%，并在真实机器人实验中达到76%的成功率，显著优于动作条件世界模型。

    推荐理由：文章解析了TrAct如何通过视觉轨迹接口统一世界模型与机器人控制，并展示了其在跨本体泛化上的具体性能提升。

8月28日周五
  2. AIGC开放社区88

    阿里发布 Qwen3.8-Flash-Next：1250 亿参数 MoE 多模态模型

    阿里 Qwen 团队于 8 月 26 日发布开放权重模型 Qwen3.8-Flash-Next，该模型采用混合专家架构，主模型参数为 1250 亿，每 Token 激活约 60 亿，整体规模约 1800 亿，原生支持 262,144 Token 上下文。

    推荐理由：新架构通过混合专家与稀疏注意力优化算力成本，其设计方向预示了未来 Qwen4 的技术路线。

  3. 深度学习与NLP88

    神秘模型 Ox Alpha 实力引热议，谷歌暗示被网友调侃

    8月21日，支持1M上下文的多模态模型 Ox Alpha 在 OpenRouter 和 OpenCode 免费开放，其 DeepSWE 准确率达 63%，表现接近 Grok 4.6。尽管谷歌高管暗示可能与 Gemini 有关，但全网多在调侃；技术极客通过分词器和视频测试推测其可能为智谱 GLM 系。实测显示，Ox Alpha 能生成交互式 3D 模型、像素游戏及交通监控系统。

    推荐理由：实测给出了SWE-bench等场景下的具体性能表现与多模态能力细节，便于评估该匿名模型的实际可用性。