⌘ K
… 读取采集状态 同步中...
雷

#评测/基准

今日 1 条
8月8日周六
  1. 机器之心70

    Floatboat Harness 五项基准评测：DeepSeek-V4-Flash 超越 Claude Opus 4.8

    机器之心报道 AOE Tech Labs 于 8 月 7 日公布 Floatboat Harness 在五项第三方基准上的完整评测数据，底座统一使用 DeepSeek-V4-Flash 0731，混合价 $0.175/M，对比 Claude Opus 4.8 的 $10/M（贵 57.1 倍），五项成绩全部超越。

    推荐理由：原文拆解了单变量对照方法与按任务程长排列的增益分布，读者可据此理解如何把 Harness 的贡献从模型能力中分离出来。

8月6日周四
8月4日周二
8月3日周一
  2. 数字生命卡兹克60

    荣耀 Robot Phone 两周使用体验评测

    作者评测了荣耀Robot Phone，其核心是顶部可伸缩的四自由度机械云台与名为YOYO的AI智能体结合。YOYO能执行跨多个应用（如飞书、高德、小红书、美团）的复杂任务，并支持后台运行。当云台展开时，YOYO能通过视觉跟踪、手势互动和音乐伴舞等方式表达状态，使手机从被动工具转变为具有实体反馈的主动伙伴。

7月31日周五
7月30日周四
7月16日周四
  1. Hugging Face Blog37

    DharmaOCR 在巴西葡萄牙语 OCR 任务上优于 Mistral OCR4 和 Unlimited-OCR

    DharmaOCR 凭借领域专门化训练，在巴西葡萄牙语 OCR 基准中以 0.925 分超越 Mistral OCR4（0.798分）和 Unlimited-OCR（0.7587分）。该模型通过两阶段训练实现优势：第一阶段利用葡萄牙语数据进行监督微调以对齐词汇与语法结构，第二阶段应用直接偏好优化（DPO）学习比较偏好数据，从而降低推理时间、成本及生成退化率，确保生产环境下的稳定性。

5月31日周日
4月1日周三
  1. Google Research26

    Google Research 研究：评估 AI 基准测试中人工评分员的最佳数量

    Google Research 团队通过开源模拟工具研究了 AI 基准测试中“广度”（条目数）与“深度”（每条目评分员数）的权衡。研究发现，常见的每条目 3 至 5 名评分员不足，捕捉细微差别往往需要 10 名以上评分员；而追求多数投票一致性时则更适合增加条目总数。在约 1000 条注释的预算下优化评分比例即可实现高可复现性。

11月26日周三
  2. AISI Blog32

    AISI 对 Anthropic Opus 4.1、Sonnet 4.5 及 Opus 4.5 进行失准行为测试

    AISI 针对 Anthropic 的 Opus 4.1、Sonnet 4.5 及 Opus 4.5 预览版开展对齐评估，未发现模型实施破坏安全研究的行为。基于开源框架 Petri 改进的评估工具有效降低了模型对测试环境的感知，但任务层面的评估意识依然存在。部分模型因担忧自身训练或研究方向而拒绝参与特定安全研究任务。

10月10日周五
  1. AISI Blog47

    AI Security Institute 基于转录分析评估 AI Agent 行为与失效模式

    AI Security Institute（AISI）通过对近 6,400 条评估转录记录进行系统性分析，补充了平均通过率指标，以识别 AI Agent 的特定失效模式。在涉及 9 个模型和 71 个 CTF 任务的分析中，研究发现导致任务失败的主要原因包括安全合规拒绝、中途放弃任务以及未遵守脚手架指令。该方法帮助诊断评估中的质量问题，从而更准确地评估 Agent 在网络安全等关键领域的真实能力。

7月9日周三
  1. AISI Blog34

    AISI 提出基于贝叶斯 GLM 的自动评分器评估框架

    AISI 提出使用贝叶斯广义线性模型（GLM）在利用 LLM 自动评分器（autograders）进行模型评估的同时，同步评估这些自动评分器本身的可靠性。该框架通过线性预测子隔离各因素贡献，并支持多种评分量表的分布假设，能处理数据噪声或有限情况下的不确定性。相关统计模型及可复现笔记本已开源在 GitHub。

5月12日周一
10月31日周四
  1. Anthropic Research87

    Claude 3.5 Sonnet 在 SWE-bench Verified 上达成 49% 新纪录

    升级后的 Claude 3.5 Sonnet 在软件工程评测基准 SWE-bench Verified 上取得了 49% 的成绩，超过了此前最先进的 45% 水平。 Anthropic 官方发布文章解析了围绕该模型构建的智能体框架，展示了如何通过极简的脚手架和特定的工具接口设计最大化模型性能。

    推荐理由：文章提供了针对 Claude 3.5 Sonnet 在 SWE-bench Verified 上取得 49% 成绩的智能体框架设计细节，包括提示词结构和工具规范。

9月23日周一
  1. AISI Blog45

    AISI 分享前沿 AI 开放式问答评估开发的早期洞察

    AI 安全研究所（AISI）分享了开发开放式问答评估的实践经验，强调该方法比多项选择更能反映模型在真实对话场景中的能力。文章提出了开发鲁棒问答评估的五个步骤，重点包括起草具有挑战性的问题以及制定具体、全面的评分指导。该评估流程通过 Inspect 框架运行，旨在为前沿模型评估提供更快速、广泛的工具。

6月6日周四
  1. Anthropic Research40

    Anthropic 如何通过 PVT 和自动化评估测试及缓解选举相关风险

    Anthropic 采用“政策漏洞测试”（PVT）与大规模自动化评估相结合的方式，识别并缓解其模型在选举查询中输出错误信息或违反使用政策的风险。通过外部专家协作构建对抗性提示，团队已识别约 10 项缓解措施，包括限制模型对争议政治话题的主观意见，并引导用户参考权威来源及知识截止日期。Anthropic 同步发布了部分自动化评估工具，以协助其他方改进选举完整性工作。

4月21日周日
10月4日周三
  1. Anthropic Research45

    评估 AI 系统的挑战

    Anthropic 指出构建鲁棒的模型评估极具挑战性，现有评估套件作为模型能力或安全性指标的能力有限。作者以 MMLU 为例，说明数据污染、格式敏感性及执行不一致会导致准确率波动约 5%；BBQ 测试则显示模型可能因未真正回答问题而得出误导性结果。