⌘ K
… 读取采集状态 同步中...
雷

评测基准

模型到底谁强：Benchmark 成绩、评测方法论争议与排行榜变化的持续记录。

42条精选相关主题模型发布论文研究推理能力

最新精选

第 21–40 条 · 共 42 条
9月25日周五
9月23日周三
  1. 夕小瑶科技说92

    实测MiMo-V2.6：编码、审美与多模态能力及成本评测

    小米正式推出 MiMo-V2.6-Flash 和 MiMo-V2.6-Pro，实测表明其具备优秀的复杂编码、高审美设计与多模态能力。MiMo-V2.6-Pro 输入成本为 3 元/百万 Token，平均解决单题成本仅 0.13 美元，性能超过 Kimi K3 和 Qwen3.8 Max。

    推荐理由：作者实测了MiMo在复杂编码与审美上的表现，提供了与GPT和Claude对比的成本与速度数据，可评估其性价比。

  2. AI产品阿颖79

    阶跃 Step 5 Preview 实测：基于帕累托前沿的评测与案例复盘

    AI 产品从业者实测阶跃 Step 5 Preview，指出其以 600B MoE 架构在 Artificial Analysis 开源综合榜单中跻身前列。作者通过复刻多模态网页与视频解谜游戏，展示了该模型在编码、交互与视觉逻辑推理上的真实表现，结合成本分析验证了其处于效率帕累托前沿的定位。

    推荐理由：作者用多模态素材实测了该模型在复杂前端与后端任务中的表现，并展示了其背后的帕累托效率逻辑。

9月17日周四
  1. AI科技评论72

    视频模型如何理解「变化」：HiDream-O1-Video 等三款模型物理因果能力实测

    作者通过三组图生视频任务对比了 HiDream-O1-Video-1.0、Seedance 2.5 和 MiniMax H3 在物理因果、音画同步方面的表现。测试发现 HiDream 在动作与结果的时间因果上表现最好，如料酒入锅到火焰升起间隔约 100 毫秒；Seedance 画面表现强但火焰遮挡事件；MiniMax 存在时序偏差和硬切问题。

    推荐理由：作者设计了三组物理因果测试，量化对比了视频模型在音画时序上的表现，提供了可复用的评测方法。

9月16日周三
9月13日周日
  1. 新智元72

    GPT-6 Astra 在 Vending-Bench 2 中成绩超越 Claude Fable 5.1

    Andon Labs 发布的 Vending-Bench 2 测试结果显示，GPT-6 Astra 在模拟经营一年的自动售货机任务中平均最终余额为 15,515 美元，约为 Claude Fable 5.1 的 3 倍。测试表明 Astra 在价格谈判和供应商状态检查等长期执行环节更具稳定性，未出现类似对手的预付款损失，且在多人竞技环节中坚持独立定价策略并赢下全部 3 轮比赛。

    推荐理由：结果展示了模型在长周期模拟环境中维持决策一致性的能力差异，为理解 Agent 可靠性提供了具体参照。

8月28日周五
  1. 深度学习与NLP88

    神秘模型 Ox Alpha 实力引热议，谷歌暗示被网友调侃

    8月21日，支持1M上下文的多模态模型 Ox Alpha 在 OpenRouter 和 OpenCode 免费开放，其 DeepSWE 准确率达 63%，表现接近 Grok 4.6。尽管谷歌高管暗示可能与 Gemini 有关，但全网多在调侃；技术极客通过分词器和视频测试推测其可能为智谱 GLM 系。实测显示，Ox Alpha 能生成交互式 3D 模型、像素游戏及交通监控系统。

    推荐理由：实测给出了SWE-bench等场景下的具体性能表现与多模态能力细节，便于评估该匿名模型的实际可用性。

8月27日周四
  1. 光子星球80

    GLM-5.3-Flash实测：多模态前端开发提效明显，复杂3D场景仍存瓶颈

    智谱GLM-5.3-Flash正式上线并开源，该模型总参数量为320B，每次推理激活18B，定价为GLM-5.3的1/10，按每百万token计输入0.075美元，输出0.25美元。

    推荐理由：原文用六项真实开发工作流实测验证了GLM-5.3-Flash的边界，前端开发与多模态看图编程表现突出，但复杂3D场景仍存瓶颈。

  2. AI产品黄叔77

    GLM-5.3-Flash 实测：多模态能力与国产算力成本分析

    GLM-5.3-Flash 在 OpenRouter 和 OpenCode 榜单登顶后，作者通过 16 分钟视频转 33 页图文手册和黑洞动效开发两个任务进行实测。模型展现了原生多模态视觉提取与代码修复能力，价格约为 Claude Opus 4.8 的 1/40，且线上流量全部承载在国产芯片上，体现了稀疏激活混合专家架构与软硬协同设计的成本优势。

    推荐理由：作者用真实视频处理与动效开发任务实测 GLM-5.3-Flash，提供了多模态编码场景下的实际产出效果和成本分析。

8月21日周五
  1. AI科技评论68

    GLM 5.3 对比 GLM 5.2 实测：3D 驾驶游戏开发与自动化工具链安全适配测试

    AI科技评论实测 GLM 5.3 与 GLM 5.2 在开发北京 3D 驾驶游戏任务中的表现。GLM 5.3 用时 50 分 47 秒，代码 3104 行，在画面真实感与运行速度上优于 GLM 5.2；但其在 Claude Code 自动化工具链中因安全机制频繁触发拒绝，导致开发流程中断。

    推荐理由：实测展示了 GLM 5.3 在驾驶游戏开发中的细节增强与速度优势，并揭示了其增强安全机制导致自动化工具链流程中断的适配痛点。

8月18日周二
  1. 新智元67

    GPT-5.6 视觉能力评测：目标检测性能提升三倍

    第三方机构 Roboflow 的评测显示，GPT-5.6 Sol 在目标检测基准测试中得分 46.2，较上一代 GPT-5.5 的 13.8 分提升超过三倍。GPT-5.6 系列在文档版面识别和密集场景计数方面表现显著，但在复杂定向提取任务上的准确率较 GPT-5.5 有所下降。在 2000×2000 像素以上图片中，Sol 模型会出现检测框漂移不稳定现象，需调高推理档位或预处理图片以解决。

    推荐理由：第三方评测显示 GPT-5.6 系列在视觉检测任务上大幅领先上一代，但成本显著高于竞品，读者可据此判断其在不同业务场景下的适用性。

  2. 机器之心74

    Erdős 问题成为 AI 公司竞逐的数学竞技场

    机器之心改写自《量子杂志》的报道讲述，Erdős 留下的悬赏数学问题正被 OpenAI、Google DeepMind 等公司用大模型攻克，OpenAI 未公开模型推翻了 1946 年的单位距离猜想，其 Astra 模型拿下 10 项数学进展，DeepMind 用 Gemini 评估了 erdosproblems.com 上 700 个开放猜想并解决其中 4 个。

    推荐理由：梳理了 Erdős 问题为何成为 AI 实验室的天然测试场，以及数学家社区的应对与分歧。

8月17日周一
8月15日周六
  1. Datawhale76

    GLM-5.3 与 GPT-5.6-Sol 生产级抠图应用实测对比

    Datawhale 成员李秀奇将 GLM-5.3 接入 DeepSeek Harness，与 GPT-5.6-Sol 进行了同题生产级抠图 Web 应用实测。核心功能覆盖和算法效果两项打平，但 GLM-5.3 在前端细节、AI 味规避和服务端安全上更完整，例如默认带了登录限流、安全响应头和会话清理功能，还主动补上了历史任务重跑和批量评测两个清单外的功能。

    推荐理由：原文对比了 GLM-5.3 与 GPT-5.6-Sol 在完整生产级任务中的差异，读者可据此理解国产模型在工程细节上的实际表现。

  2. DeepTech深科技71

    Social Gym 评测 7 个 AI 模型的社交推理能力，GPT-5-mini 在欺骗与战略维度领先

    卡内基梅隆大学团队发布 Social Gym 基准，让 GPT-5-mini、GPT-4o、Qwen3 等 7 个模型参与狼人杀、囚徒困境等 21 款自带输赢规则的游戏，以量化其战略、欺骗及心智理论能力。

    推荐理由：研究通过 21 款社交游戏量化 AI 模型在谈判与欺骗中的表现，并提出了无需微调的 SPaRTan 复盘方法。

8月13日周四
  1. 硅星GenAI79

    Kimi、Qwen、DeepSeek、Meta、Nemotron 五模开源大横评：DeepSeek 以极低成本实现全能表现

    评测对比了 Kimi K3、Qwen3.8-Max、DeepSeek V4 Pro、Meta Muse Glimmer 和 Nemotron 3.5 Lightning 在逻辑、代码、Agent、3D 建模及写作五个维度的表现。

    推荐理由：横评展示了 DeepSeek 在成本控制与复杂任务上的平衡优势，以及中国模型在推理与多模态生成上的领先表现。

  2. Hugging Face Blog80

    Hugging Face 复盘：1200 名社区成员智能体复现 2226 篇 ICML 2026 论文的经验

    Hugging Face 社区通过黑客马拉松让 1200 多名成员使用智能体复现了 2226 篇 ICML 2026 论文。结果显示 51% 的论文至少有一项声明被验证，23% 的论文存在被证伪或争议声明，且 49 篇论文的所有声明均被证伪。尽管智能体可以大规模并行执行复现，但最可靠的结果仍来自人类引导智能体纠正偏差，而感知类判断目前仍必须由人类完成。

    推荐理由：该事件展示了大规模社区利用智能体进行论文复现的可行性，其发现的高争议率与人类主导的价值，为理解自动化科研审计的局限提供了具体实证。

  3. APPSO70

    实测 DeepSeek V4 Pro 正式版：Agent 场景下的成本与能力评估

    DeepSeek V4 Pro 正式版上线并开放 API，实测显示其在复杂编程任务完成度上优于 Flash，但多模态并非当前重点。作者强调 V4 系列 1M tokens 上下文适配 Coding Agent，并提出通过模型路由结合 Flash 与 Pro 优化 Agent 成本。

    推荐理由：作者通过实测 V4 Pro 在文案、编程和 Agent 场景的表现，指出其能力梯度与 Harness 架构为低成本智能体系统提供了新的优化路径。

8月10日周一
  1. 特工宇宙77

    Together AI 实测：Agent 场景下 Kimi K3 在 DeepSWE 多轮尝试中反超 GPT-5.6 Sol

    Together AI 发布独立评测报告，指出在允许多次尝试的 Coding Agent 场景下，Kimi K3 在 DeepSWE-pass@2 和 pass@4 上分别以 82.0% 和 89.4% 反超 GPT-5.6 Sol 的 81.0% 和 85.8%。

    推荐理由：文章拆解了Together AI独立评测报告，展示了在允许重试的Agent场景下Kimi K3在成本和成功率上的具体数据，为工程选型提供依据。

8月8日周六
  1. 机器之心70

    Floatboat Harness 五项基准评测：DeepSeek-V4-Flash 超越 Claude Opus 4.8

    机器之心报道 AOE Tech Labs 于 8 月 7 日公布 Floatboat Harness 在五项第三方基准上的完整评测数据，底座统一使用 DeepSeek-V4-Flash 0731，混合价 $0.175/M，对比 Claude Opus 4.8 的 $10/M（贵 57.1 倍），五项成绩全部超越。

    推荐理由：原文拆解了单变量对照方法与按任务程长排列的增益分布，读者可据此理解如何把 Harness 的贡献从模型能力中分离出来。