⌘ K
… 读取采集状态 同步中...
雷

#评测/基准

今日 1 条
8月22日周六
  1. 人工智能学家65

    GLM 5.3 与 5.2 在 3D 驾驶游戏开发中的实测对比及安全策略影响

    GLM 5.3 在与 GLM 5.2 进行的「北京国贸→望京」3D 开放世界驾驶游戏对照测试中完成速度更快（50分47秒对66分1秒），代码结构更集中且画面真实感更强。测试同时发现，GLM 5.3 增强的安全策略在接入 Claude Code 自动化工具链时频繁触发拒绝判断，导致开发流程中断，表明能力更谨慎的模型在 Agent 协作中的适配边界需要重新评估。

  3. AI信息Gap47

    HarnessEval 与企业级 AI 评测工程实践解析

    HarnessEval 评测系统采用 Plan → Route → Decompose → Verify 四步推理链，输出可追溯的证据树以评估模型推理能力。特赞科技 GEA 架构引入 Game Lab 模块，通过真人参与经济学博弈（如最后通牒博弈）获取行为数据，校准 AI Persona 决策分布。该方案结合失败模式驱动与收敛式模式库，构建企业生产环境下的持续校准闭环。

8月21日周五
  1. AI科技评论68

    GLM 5.3 对比 GLM 5.2 实测：3D 驾驶游戏开发与自动化工具链安全适配测试

    AI科技评论实测 GLM 5.3 与 GLM 5.2 在开发北京 3D 驾驶游戏任务中的表现。GLM 5.3 用时 50 分 47 秒，代码 3104 行，在画面真实感与运行速度上优于 GLM 5.2；但其在 Claude Code 自动化工具链中因安全机制频繁触发拒绝，导致开发流程中断。

    推荐理由：实测展示了 GLM 5.3 在驾驶游戏开发中的细节增强与速度优势，并揭示了其增强安全机制导致自动化工具链流程中断的适配痛点。

  2. Hugging Face Blog46

    Hugging Face 研究量化语音识别基准优化现象

    Hugging Face 发布最新研究，引入三项测试量化语音识别模型中的“基准优化”现象。评估 11 个开源 ASR 模型发现，高分模型常在音频内容与基准转录不符时仍复现错误参考文本，甚至依赖声学线索识别基准来源。这表明现有分数可能高估了模型对通用语音的实际转录能力。

8月20日周四
  3. NVIDIA Generative AI Blog33

    NVIDIA SkillEvaluator 如何评估 AI 智能体技能表现

    NVIDIA 推出 SkillEvaluator，用于衡量 Skills 是否能提升智能体从意图到解决方案的效率。尽管模型能力强大且库文档完善，智能体仍可能因寻找工具或陷入死胡同而浪费 token。该系统通过量化测试，验证 Skills 在减少额外步骤、避免无效路径及处理专业任务方面的实际增益。

8月19日周三
8月18日周二
  3. 新智元67

    GPT-5.6 视觉能力评测：目标检测性能提升三倍

    第三方机构 Roboflow 的评测显示，GPT-5.6 Sol 在目标检测基准测试中得分 46.2，较上一代 GPT-5.5 的 13.8 分提升超过三倍。GPT-5.6 系列在文档版面识别和密集场景计数方面表现显著，但在复杂定向提取任务上的准确率较 GPT-5.5 有所下降。在 2000×2000 像素以上图片中，Sol 模型会出现检测框漂移不稳定现象，需调高推理档位或预处理图片以解决。

    推荐理由：第三方评测显示 GPT-5.6 系列在视觉检测任务上大幅领先上一代，但成本显著高于竞品，读者可据此判断其在不同业务场景下的适用性。

  4. 机器之心74

    Erdős 问题成为 AI 公司竞逐的数学竞技场

    机器之心改写自《量子杂志》的报道讲述，Erdős 留下的悬赏数学问题正被 OpenAI、Google DeepMind 等公司用大模型攻克，OpenAI 未公开模型推翻了 1946 年的单位距离猜想，其 Astra 模型拿下 10 项数学进展，DeepMind 用 Gemini 评估了 erdosproblems.com 上 700 个开放猜想并解决其中 4 个。

    推荐理由：梳理了 Erdős 问题为何成为 AI 实验室的天然测试场，以及数学家社区的应对与分歧。

8月17日周一
  2. Import AI33

    Import AI 469: DiG-bench 测试 AI 系统发现未知规则的能力；RSI 模拟器；Zuckerberg 的技术悲观主义

    DiG-bench 新基准通过 70 个隐藏规则的文本游戏测试 AI 系统的探索与发现能力。Claude Opus 5 和 Fable 5 在最高难度等级表现最佳，目前前沿模型在该基准上仍远低于人类水平。Paradigm Research 发布的 RSI Simulator 游戏则帮助用户直观理解递归自我改进过程中计算与研究投入的平衡。

  5. 数字生命卡兹克56

    Agent 在真实工作场景的成功率依然偏低，多家机构评测数据表明差距显著

    数字生命卡兹克指出，Agent 在真实工作场景中的成功率远低于编程领域，以阿里国际站开源的 RealReplicaBench 为例，107 个电商任务中 Claude Opus 5 通过率仅 60.75%，多数模型不及格。腾讯 E-Bench 与小红书 VibeLifeBench 也显示模型在重复稳定性和生活任务上表现不佳，反映出模型能力与真实业务需求之间仍存在明显差距。

8月16日周日
  1. 人工智能学家71

    英伟达与波士顿动力：机器人全身运动控制的两种工程路径对比

    英伟达SONIC与波士顿动力ZEST作为两种机器人运动控制范式，分别代表高算力通用策略与低算力技能生产线。SONIC使用128张GPU训练7天（约2.1万GPU小时），构建覆盖700小时动作数据的通用控制策略，在宇树G1上实现99.2%动作成功率；ZEST则通过单张L4 GPU训练约10小时，实现特定技能从仿真到真机的快速迁移。

8月15日周六
  1. Datawhale76

    GLM-5.3 与 GPT-5.6-Sol 生产级抠图应用实测对比

    Datawhale 成员李秀奇将 GLM-5.3 接入 DeepSeek Harness，与 GPT-5.6-Sol 进行了同题生产级抠图 Web 应用实测。核心功能覆盖和算法效果两项打平，但 GLM-5.3 在前端细节、AI 味规避和服务端安全上更完整，例如默认带了登录限流、安全响应头和会话清理功能，还主动补上了历史任务重跑和批量评测两个清单外的功能。

    推荐理由：原文对比了 GLM-5.3 与 GPT-5.6-Sol 在完整生产级任务中的差异，读者可据此理解国产模型在工程细节上的实际表现。

  3. DeepTech深科技71

    Social Gym 评测 7 个 AI 模型的社交推理能力，GPT-5-mini 在欺骗与战略维度领先

    卡内基梅隆大学团队发布 Social Gym 基准，让 GPT-5-mini、GPT-4o、Qwen3 等 7 个模型参与狼人杀、囚徒困境等 21 款自带输赢规则的游戏，以量化其战略、欺骗及心智理论能力。

    推荐理由：研究通过 21 款社交游戏量化 AI 模型在谈判与欺骗中的表现，并提出了无需微调的 SPaRTan 复盘方法。

  4. 极客公园45

    智谱发布 GLM-5.3，编程能力更强；传苹果训练国内专用 AI 模型；微信：朋友圈现在、过去、未来都不会有二次编辑功能 | 极客早知道

    智谱发布 GLM-5.3，基座模型未变但通过后训练 Scaling 提升智能上界，编程能力在内部自建体感评测中较 GLM-5.2 提升 50%，并在 TerminalBench3.0、Agents'LastExam(CLI) 等公开基准测试中取得开源第一，模型权重将在发布两周后开放。

8月14日周五
8月13日周四
  1. 硅星GenAI79

    Kimi、Qwen、DeepSeek、Meta、Nemotron 五模开源大横评：DeepSeek 以极低成本实现全能表现

    评测对比了 Kimi K3、Qwen3.8-Max、DeepSeek V4 Pro、Meta Muse Glimmer 和 Nemotron 3.5 Lightning 在逻辑、代码、Agent、3D 建模及写作五个维度的表现。

    推荐理由：横评展示了 DeepSeek 在成本控制与复杂任务上的平衡优势，以及中国模型在推理与多模态生成上的领先表现。

  3. Hugging Face Blog80

    Hugging Face 复盘：1200 名社区成员智能体复现 2226 篇 ICML 2026 论文的经验

    Hugging Face 社区通过黑客马拉松让 1200 多名成员使用智能体复现了 2226 篇 ICML 2026 论文。结果显示 51% 的论文至少有一项声明被验证，23% 的论文存在被证伪或争议声明，且 49 篇论文的所有声明均被证伪。尽管智能体可以大规模并行执行复现，但最可靠的结果仍来自人类引导智能体纠正偏差，而感知类判断目前仍必须由人类完成。

    推荐理由：该事件展示了大规模社区利用智能体进行论文复现的可行性，其发现的高争议率与人类主导的价值，为理解自动化科研审计的局限提供了具体实证。

  4. 夕小瑶科技说71

    DeepSeek V4 Pro 实测：在 Codex 中表现低于预期

    作者实测 DeepSeek V4 Pro 在 Codex 中的表现，发现其思考 token 占比达 84.5%，倾向于复用历史 session 上下文而非独立推导，且前端代码生成质量低于预期。基础测试显示 100 并发下成功率 100% 且缓存命中率高，但主负载 p99 延迟达 12.3 秒，综合评估认为其不适合作为 Codex 主力模型。

  5. APPSO70

    实测 DeepSeek V4 Pro 正式版：Agent 场景下的成本与能力评估

    DeepSeek V4 Pro 正式版上线并开放 API，实测显示其在复杂编程任务完成度上优于 Flash，但多模态并非当前重点。作者强调 V4 系列 1M tokens 上下文适配 Coding Agent，并提出通过模型路由结合 Flash 与 Pro 优化 Agent 成本。

    推荐理由：作者通过实测 V4 Pro 在文案、编程和 Agent 场景的表现，指出其能力梯度与 Harness 架构为低成本智能体系统提供了新的优化路径。

8月12日周三
  1. 夕小瑶科技说55

    国内首个 Agent 记忆榜单 AML 发布首期评测结果

    Agent Memory Leaderboard（AML）发布首期结果，该榜单由清华、北大、牛津等数十家国内外高校机构联合主办。评测分为文本记忆和代码记忆两条赛道，商业产品榜文本赛道 MemoraX 以 58.0 分位列第一，开源方法榜文本赛道 InvMem 以 45.1 分位列第一。

8月11日周二
8月10日周一
  3. 特工宇宙77

    Together AI 实测：Agent 场景下 Kimi K3 在 DeepSWE 多轮尝试中反超 GPT-5.6 Sol

    Together AI 发布独立评测报告，指出在允许多次尝试的 Coding Agent 场景下，Kimi K3 在 DeepSWE-pass@2 和 pass@4 上分别以 82.0% 和 89.4% 反超 GPT-5.6 Sol 的 81.0% 和 85.8%。

    推荐理由：文章拆解了Together AI独立评测报告，展示了在允许重试的Agent场景下Kimi K3在成本和成功率上的具体数据，为工程选型提供依据。

8月9日周日