⌘ K
… 读取采集状态 同步中...
雷

多模态

文本之外的能力：视觉理解、图文混合、音视频输入输出的模型与产品进展。

207条精选相关主题图像生成AI 视频语音与音频

最新精选

第 141–160 条 · 共 207 条
8月18日周二
  1. 新智元67

    GPT-5.6 视觉能力评测：目标检测性能提升三倍

    第三方机构 Roboflow 的评测显示，GPT-5.6 Sol 在目标检测基准测试中得分 46.2，较上一代 GPT-5.5 的 13.8 分提升超过三倍。GPT-5.6 系列在文档版面识别和密集场景计数方面表现显著，但在复杂定向提取任务上的准确率较 GPT-5.5 有所下降。在 2000×2000 像素以上图片中，Sol 模型会出现检测框漂移不稳定现象，需调高推理档位或预处理图片以解决。

    推荐理由：第三方评测显示 GPT-5.6 系列在视觉检测任务上大幅领先上一代，但成本显著高于竞品，读者可据此判断其在不同业务场景下的适用性。

8月17日周一
  1. AI产品阿颖79

    智象未来发布世界模型 HiDream-O1-World，多项指标比肩 Google Genie 3

    智象未来发布世界模型 HiDream-O1-World，支持漫游和编辑模式，可实时生成动态交互世界。技术层面，模型采用原生全模态 UiT 架构统一视觉、声音和动作学习，通过 3D 先验记忆与测试时训练（TTT）保持空间一致性，并引入物理场景数据提升运动规律准确性。

    推荐理由：原文详述了模型在多模态统一、空间记忆和物理规律上的技术细节，给出了可对比 Genie 3 的性能基准。

  2. 苍何80

    智象未来发布 HiDream-O1-World 原生全模态交互式世界模型

    智象未来发布 HiDream-O1-World，提供漫游、编辑和交互能力，并在美团 LongCat 团队与复旦大学推出的 WBench 基准上取得综合 80.9 分的成绩。该模型通过 3D 先验注入 Memory 上下文与 Test-Time Training 机制实现场景持久性，支持实时生成互动影游内容，并可与诺亦腾机器人合作生成具身智能仿真环境。

    推荐理由：原文将新模型置于可量化评测与具身仿真背景下，指出其记忆机制如何支撑交互场景的连续性。

8月12日周三
  3. Google Research85

    AMIE 视频版实现专家级实时音视频临床咨询

    Google Research 团队基于 Gemini 与 Project Astra 推出 AMIE (Video)，在实时视频临床咨询中实现专家级表现。一项包含 100 个场景、300 次咨询及 30 名执业医师的随机研究显示，AMIE 在病史采集、诊断准确性及管理方面与执业医师相当，且在体格观察方面评分更高。

    推荐理由：原文展示了 AMIE 视频版在模拟场景中与执业医师能力持平的研究结果，为多模态医疗 AI 提供了关键的实证参考。

8月10日周一
  1. AIGC开放社区85

    通义万象开源 Wan-Animate-2 角色动画框架

    通义万象开源 Wan-Animate-2，这是端到端角色动画框架，DiT 直接喂驱动视频无需提取骨架，支持 24 fps 实时流式输出。相比前代它减少手部形变，支持多角色和多机位动画。Lite 版本在 4 张 H100 显卡上实现 400×720 分辨率 3 步去噪，达到实时阈值，模型权重已公开并提供英特尔锐炫 Pro B70 显卡适配。

    推荐理由：开源角色动画框架 Wan-Animate-2 实现端到端生成与 24 fps 实时流式输出，为数字人直播提供低成本方案。

  2. Hugging Face Blog80

    Meta 发布开源多模态本地智能体模型 Muse Glimmer

    Meta 发布 30B 参数多模态模型 Muse Glimmer，支持本地智能体用例并采用 Apache 2.0 许可证。 模型基于 Muse 蒸馏，配备 2B Perception Encoder 与 DFlash 投机解码，提供文本、图像、视频及多模态工具调用能力。

    推荐理由：文章展示了 30B 多模态模型在本地运行、自我量化与部署上的能力，为隐私敏感场景提供了可落地的工程参考。

8月9日周日
  1. 深度学习与NLP89

    Jeff Dean宣布离职创立Discovery Loop，谷歌股价下跌4%

    谷歌DeepMind和谷歌研究院首席科学家Jeff Dean宣布离职，与Sanjay Ghemawat、Quoc Le和Oriol Vinyals共同创立公益性创业公司Discovery Loop，致力于实现机器学习、科学和工程的自动化。

    推荐理由：Jeff Dean等谷歌核心大佬离职创立Discovery Loop并引发股价波动，是解读谷歌内部AI权力架构重组的关键节点。

8月7日周五
  1. 智东西78

    千问新增办公助理功能，Agent 全程陪跑校招求职全流程

    千问 APP 和 PC 端新增办公助理、定时任务及智能体广场等功能，支持最新旗舰模型 Qwen3.8-MAX。实测显示，其办公助理可自主拆解求职任务，调用浏览器和 Excel 完成岗位搜索、筛选及简历匹配，并支持通过定时任务自动追踪招聘动态。千问在分析中对信息来源和判断依据进行标注，在面试准备等个性化环节生成近 2 万字的定制文档，展现了从指令执行到场景理解的任务协作能力。

    推荐理由：文章完整演示了千问处理复杂求职流程的实操细节，提供了从信息搜集到面试准备的全链路方法参考。

  2. 新智元79

    京东开源 16B 参数实时视频编辑模型 JoyAI-Video-Edit

    京东开源 JoyAI-Video-Edit，这是一款 16B 参数的多模态扩散 Transformer 模型，支持 720P 分辨率下每秒 30 帧的实时流式视频编辑。模型采用有界 KV 状态推理机制解决长视频误差累积问题，在 OpenVE-Bench 基准测试中总分 3.60，达到离线商业模型水平，相关代码与权重已同步在 GitHub 和 Hugging Face 开放。

    推荐理由：京东 JoyAI-Video-Edit 以 16B 参数和 720P 实时推理能力，展示了流式视频编辑与离线模型在质量上的差距正在被填平。

  3. 深度学习与NLP91

    Qwen3.8-Max发布，多场景实测表现直逼Claude

    阿里巴巴发布新一代基座大模型 Qwen3.8-Max，总参数量达 2.4 万亿，主打高性价比。国内每百万 tokens 输入 12 元、输出 36 元，隐式缓存命中 1.5 元，输入输出价格仅为 Opus 5 的 40% 与 24%。

    推荐理由：实测覆盖了长程工程、复杂文档交叉分析与小时级视频时间轴定位，展示了低价高性能组合下任务交付的边界。

8月6日周四
  1. Google DeepMind80

    Google DeepMind 开源 WeatherNext 模型，在飓风预测中实现突破

    Google DeepMind 在 Nature 论文中发布并开源 WeatherNext 2 和 WeatherNext Cyclones 模型。该模型通过 AI 实现了飓风路径和强度的最新水平（SOTA）预测，平均为预报员争取到多一天的预警时间，相当于气象学十年间的进步。

    推荐理由：谷歌开源其气象AI模型的核心代码与权重，并披露其预测精度较上一代提前一天，为气象研究机构提供了可直接部署的工具。

8月5日周三
  1. 新智元65

    清华与UC Berkeley发布ODEWorld：连续时间具身世界模型

    清华大学AIR与UC Berkeley BAIR团队提出ODEWorld，一种基于PT-Flow的连续时间具身世界模型。该模型将机器人视频预测从离散帧转向连续潜空间轨迹，利用单token动态表征和轻量MLP速度场，实现任意帧率生成与时间补全。在LIBERO基准上，其64帧预测延迟仅为0.072秒，优于LDP和V-JEPA 2。

    推荐理由：论文提出ODEWorld，将离散帧预测转向连续时间流，通过单token压缩实现64帧预测仅需0.072秒。

8月3日周一
  1. 苍何79

    阿里发布 Qwen 3.8-Max 模型及实测分析

    阿里发布迄今最强模型 Qwen 3.8-Max，参数规模 2.4 万亿，激活参数 95 B，支持 100 万上下文 Tokens。作者实测该模型耗时 48 小时研发了公众号数据监控平台，消耗 1.17 亿 tokens，并展示了其在 Agentic Coding 中的长上下文稳定性与跨模型审查流程。

    推荐理由：作者实测了该模型在长周期代码生成和架构优化中的表现，提供了Agentic Coding落地的具体验收方法。

8月2日周日
  1. 极客公园76

    Seedance 2.5 实测：30 秒原生直出与 50 个参考素材上线即梦

    字节 7 月 31 日发布 Seedance 2.5，同步上线即梦、豆包专业版、扣子和小云雀。单次生成上限从 15 秒提升到 30 秒，通过即梦延长功能可续到 3 分钟，参考素材上限从 9 张图片、3 段视频、3 段音频提升到 50 个全模态参考，并新增局部编辑、白模和绿幕参考、文字渲染改进，即梦支持 Maya 和 Blender 插件唤起。

    推荐理由：实测给出了时长、参考素材和成本的具体数字，便于判断它对创作流程的实际改变。

7月31日周五
  1. 光子星球78

    Seedance 2.5 发布：30 秒视频生成长度与局部编辑能力升级

    Seedance 2.5 正式发布，单次生成视频时长提升至 30 秒并支持最多 50 个多模态参考素材。该模型新增视频局部编辑功能，可精准修改画面局部元素并保持整体节奏，已上线豆包、即梦等字节旗下产品。徐工集团、小鹏汽车、穹彻智能等多家企业确认引入该模型，用于工业培训、自动驾驶数据合成及具身智能训练场景。

    推荐理由：文章通过实测与产业合作案例，展示了该模型在视频时长、编辑控制及物理一致性方面的关键变化。