⌘ K
… 读取采集状态 同步中...
雷

#多模态

今日 4 条
10月5日周一
10月4日周日
  1. Datawhale70

    Jev-Omni 多模态决策模型本地部署与实测教程

    Datawhale 发布了 Jev-Omni 多模态决策模型的本地部署教程,覆盖环境准备、权重下载、素材配置与最小验证脚本。Jev-Omni 基于 Gemma 4 12B IT 底座微调,统一支持文本、图像、音频与视频四类输入,在 GB10 算力卡(121 GB 统一内存)上实测,文本、图像、音频单次推理耗时均在 1 秒以内,视频单次耗时约 4 秒。

  2. MarkTechPost46

    Datalab 发布 OmniExtractBench 以解决抽取基准中的偏见与不透明问题

    Datalab 发布开源基准 OmniExtractBench,通过整合 4 个现有基准的 620 份文档测试结构化文档抽取准确率。该基准提供确定性评分器,能避免单一行缺失导致整表计零,并生成可审计的六类判定结果。Datalab 准确模式以 93.85 的准确率领先,Reducto 紧随其后,两者几乎持平。

  3. APPSO63

    Andrej Karpathy 分享利用 AI 生成图表、网页和视频等高级输出的实用技巧

    Andrej Karpathy 提出了一种应对 AI 回答难懂的新策略:不要求 AI 重复解释,而是切换输出形式。他分享的具体方法包括:使用 ASD-STE100 受控语言规范进行写作;让 AI 绘制图表以理清逻辑;利用 HTML 生成交互式网页;以及通过提示词制作 3Blue1Brown 风格的讲解视频(使用 ElevenLabs API 配旁白或本地免费替代方案)。

  4. APPSO82

    Tavus 发布 Griffin 实时视频交互模型

    Tavus 团队发布 Griffin 系列实时视频交互模型及 Griffin-Lite 研究预览版。在一项 54 人参与的 1 分钟视频通话实验中,约 48% 的参与者认为屏幕对面是真人,较上一代 2.4% 的误判率显著提升。

    推荐理由:Griffin通过54人样本实现48%真人误判率,其全双工视频交互机制和10秒声音克隆能力为实时虚拟人提供了可复现的评测基准。

  5. AI科技评论48

    吴佳俊 IROS 2026 演讲:结构化表征不是答案,是机器人学会推理的脚手架

    吴佳俊在 IROS 2026 提出利用结构化表征构建物理智能体,解决机器人在无演示数据下对未知物体的推理难题。该方法将任务描述为可学习的领域专用语言,结合扩散策略与后训练,使规划器也能由网络生成。相比传统方法,新范式显著减少了长时程任务中的人工干预,提高了动作序列的可执行概率。

  6. 智东西71

    MiniMax M3.1-Flash前端能力实测:效果对标Claude Opus 5.5

    智东西对MiniMax M3.1-Flash进行了前端生成任务实测,对比Claude Opus 5.5展示了模型在动效视频、交互页面和像素动画等场景下的输出效果。测试表明M3.1-Flash能生成完整可运行的前端作品,步骤和细节处理完整,部分视觉效果有惊喜,但仍处于公测阶段。

    推荐理由:对比了Flash模型与旗舰模型在前端任务上的实际生成效果,呈现了轻量模型在视觉交互创作中的能力边界。

  7. Google AI Developers Blog50

    Google Cloud 将 vLLM 原生 TPU 支持集成至 GKE,实现 Qwen3 Embedding 模型的高精度长上下文推理

    Google Cloud 在 vLLM 中集成原生 TPU 支持并部署于 GKE,通过硬件安全对齐与混合 StepPool 优化,解决了 Qwen3 Embedding 模型在 TPU 上的长上下文推理瓶颈。该方案支持 15K+ 多模态 token 处理,经测试其文本嵌入输出与参考基线的余弦相似度达到 0.999,确保了跨硬件后端的高精度数值一致性。

  8. InfoQ CN15

    Vidu 多模态大模型如何驱动 AIGC 内容生产力变革 | QCon 上海

    生数科技解决方案负责人郑重将在 QCon 上海分享 Vidu 多模态大模型的创新与实践。演讲聚焦视频生成在角色一致性、镜头叙事控制及流式交互等关键技术挑战,展示 Vidu S1 实现秒级响应与多模态输入输出的能力。该内容将探讨视频模型从离线生成工具向可控、实时交互的内容生产基础设施演进的技术路径。

  9. Google AI Developers Blog56

    MaxText 在 TPU 上复现 Olmo 3 7B 预训练的工程案例分析

    Google 团队在 MaxText 框架上复现了 Ai2 开发的 Olmo 3 7B 大模型的 Stage 1 预训练和 Stage 2 中期训练过程。研究通过多维度测试发现并修复了一个导致模型过拟合的数据加载 Bug,同时优化了 TPU 硬件利用率,将模型推理效率提升了 12.4%。报告证明了跨硬件平台复现大模型训练需严格对标模型泛化能力,而非仅依赖训练损失曲线。

  10. Google AI Developers Blog31

    Google TPU 上加速视频扩散时空稀疏注意力

    Google 开发者博客展示了一种在 TPU 上加速视频扩散模型的方法,通过将理论稀疏性转化为端到端的速度提升。该方法利用视频扩散中注意力质量高度集中的特性,动态路由空间头和时间头至相应的稀疏掩码。文中详细对比了基于 JAX 和 Pallas 的自定义 Splash Attention 内核在单个 TPU v6e 设备上的性能优化过程。

10月3日周六
  1. The Decoder39

    GPT-6 Astra 构建 3D 场景准确度不足,且无法自我判断几何误差

    研究团队提出“Image-to-Code”方法,让编码智能体从单张照片生成 Blender 程序以重构 3D 场景。在 LEGO-Bench 基准测试中,表现最好的 GPT-6 Astra 在室内场景重构准确率为 53.4%,室外为 39.6%,且模型在几何判断上接近随机水平。新增的 LEGO-Plugin 通过引入具体测量替代自我评估,使较弱模型的准确率提升最高达 62.7 个百分点。

10月2日周五
  1. Latent Space44

    Pi 1.0 与 Pi Durable 发布

    Earendil 推出 Pi 1.0,新增 Codemode、MCP 支持及虚拟模型扩展;Pi Durable 将核心组件移植至 TypeScript,实现基于检查点的崩溃恢复与多用户状态同步。两者均在 Hacker News 首页引发热议,显著提升了智能体系统的可靠性与可移植性。

10月1日周四
  1. 量子位 QbitAI61

    何恺明团队提出纯视觉ARC推理方案NAT-ARC

    何恺明团队新论文NAT-ARC提出纯视觉方案解ARC抽象推理题,不依赖LLM。该方案用ImageNet上MAE预训练的encoder初始化视觉模型,迁移到抽象格子推理,最佳单模型在ARC-1上达成63.4% pass@2,集成后达70.2%,逼近专用LLM系统水平。论文指出预训练打通了视觉路线的scaling瓶颈。

  2. 机器之心35

    openJiuwen WorkSwarm 全双工多模态交互特性首发

    openJiuwen 首发 WorkSwarm 全双工多模态能力,实现“像聊天一样”与 Agent 交互。该特性基于昇腾算力原生亲和设计,使复杂 agent 任务在后台运行,同时对话在前台继续。实时模型与 Core Agent 按两种节奏配合,支持助手在回应“我查一下”等语句后继续调用工具办事。

  3. 人工智能学家75

    AMD 82亿美元全股票收购李飞飞 World Labs

    AMD宣布以约82亿美元全股票收购李飞飞创立的 World Labs,交易完成后李飞飞将出任 AMD 执行副总裁兼首席科学家,直接向苏姿丰汇报。此次收购使 World Labs 的模型团队得以直接参与芯片路线图的制定,旨在通过更紧密的软硬件结合推动空间智能与物理 AI 的发展。

  4. AI HOT77

    Modal Clusters 正式发布,通过 @modal.clustered 提供多节点 GPU 集群

    Modal 宣布 Modal Clusters 正式可用,通过一个装饰器 @modal.clustered 即可获得多节点集群,节点间经 InfiniBand verbs 通信可达 6.4 Tbps,自动配置 PyTorch 和 NCCL。

    推荐理由:官方宣布多节点集群正式可用,文中解释了 gang scheduler 与 RDMA 的实现细节,并给出 Decagon、1x、Runway 的实际用法。

  5. AI HOT73

    Google DeepMind 发布 Gemini 4 Argon,1M 输出 token 对标 Astra 与 Fable

    Google DeepMind 发布 Gemini 4 Argon,主打编码、企业知识工作与网络防御,称在 19 项基准中 13 项第一。该模型提供 1M token 输出上限,标准定价为 $4/$20 每 1M 输入/输出 token,早期访问通过 Fairwind 计划面向政府及可信网络防御者开放。

    推荐理由:汇总了 Gemini 4 Argon 的基准、定价及第三方评测分歧,方便读者对比各家前沿模型差异。

  6. Zapier Blog45

    Google Gemini 是什么?

    Google Gemini 是 Google 推出的多模态 AI 模型家族,支持理解与生成文本、图像、音频、视频及代码。其模型采用 Transformer 架构和专家混合(MoE)方法,几乎所有现代 Gemini 模型均具备 100 万 token 上下文窗口。Gemini 4 系列已引入推理与工具使用功能,其中 Gemini 4 Argon 定位前沿模型,擅长软件工程与网络安全等复杂任务。

  7. AI科技评论83

    AMD 以 82 亿美元全股票收购 World Labs,李飞飞出任首席科学家

    AMD 以约 82 亿美元全股票收购李飞飞创立的 World Labs,这是 AMD 史上第二大收购,交易完成后李飞飞将出任 AMD 执行副总裁兼首席科学家,直接向 CEO 苏姿丰汇报。

    推荐理由:82 亿美元全股票收购为空间智能赛道提供量化价值锚点,世界模型团队的硬件话语权切入构成行业新变量。

  8. 苍何91

    谷歌发布 Gemini 4 Argon 旗舰模型,多项目前测试超越 GPT 6 Astra

    谷歌发布新旗舰模型 Gemini 4 Argon,多项基准测试位列第一,输出上限提升至 100 万 token,标准价格 4 美元/百万输入、20 美元/百万输出。原文提供了自动化任务、代码迁移、内存优化等内部应用案例,但表示大部分人暂未开放使用,需等待后续测试。

    推荐理由:提供了 Gemini 4 Argon 的多项基准测试成绩、100 万 token 输出能力以及谷歌内部应用案例,便于读者快速判断其相对定位。