⌘ K
… 读取采集状态 同步中...
雷

#评测/基准

今日 0 条
10月6日周二
9月30日周三
  1. Hugging Face Blog50

    Hugging Face 发布 Open TTS Leaderboard，基于客观指标评估多语言开源 TTS 与语音克隆

    Hugging Face 推出 Open TTS Leaderboard，使用 Qwen3 ASR 的 WER 及 H200 GPU 上的 RTFx 等客观指标，替代部分人工投票评估开源多语言 TTS 模型。该榜单支持语音克隆相似度（SIM）评测及流式 TTFA 性能对比，旨在解决开源 TTS 模型在现有竞技场中占比低及评估标准碎片化的问题，评测耗时从数周缩短至数小时。

9月23日周三
9月22日周二
9月16日周三
8月28日周五
  1. Hugging Face Blog45

    Open ASR Leaderboard 新增首个全球南方语言：印地语评测集

    Hugging Face 与 Voice Arena 合作在 Open ASR Leaderboard 引入印地语和印度英语评测集 Monsoon en-IN 与 Monsoon hi-IN。这是该榜单首个非欧洲语言，包含 4,888 名说话人，分为公开和私有分割以限制基准优化。评测集覆盖了 9 个变化维度，并记录 12 项说话人属性，旨在解决 ASR 误差率分布不均的问题。

8月21日周五
  1. Hugging Face Blog46

    Hugging Face 研究量化语音识别基准优化现象

    Hugging Face 发布最新研究，引入三项测试量化语音识别模型中的“基准优化”现象。评估 11 个开源 ASR 模型发现，高分模型常在音频内容与基准转录不符时仍复现错误参考文本，甚至依赖声学线索识别基准来源。这表明现有分数可能高估了模型对通用语音的实际转录能力。

8月13日周四
  1. Hugging Face Blog80

    Hugging Face 复盘：1200 名社区成员智能体复现 2226 篇 ICML 2026 论文的经验

    Hugging Face 社区通过黑客马拉松让 1200 多名成员使用智能体复现了 2226 篇 ICML 2026 论文。结果显示 51% 的论文至少有一项声明被验证，23% 的论文存在被证伪或争议声明，且 49 篇论文的所有声明均被证伪。尽管智能体可以大规模并行执行复现，但最可靠的结果仍来自人类引导智能体纠正偏差，而感知类判断目前仍必须由人类完成。

    推荐理由：该事件展示了大规模社区利用智能体进行论文复现的可行性，其发现的高争议率与人类主导的价值，为理解自动化科研审计的局限提供了具体实证。

8月12日周三
7月16日周四
  1. Hugging Face Blog37

    DharmaOCR 在巴西葡萄牙语 OCR 任务上优于 Mistral OCR4 和 Unlimited-OCR

    DharmaOCR 凭借领域专门化训练，在巴西葡萄牙语 OCR 基准中以 0.925 分超越 Mistral OCR4（0.798分）和 Unlimited-OCR（0.7587分）。该模型通过两阶段训练实现优势：第一阶段利用葡萄牙语数据进行监督微调以对齐词汇与语法结构，第二阶段应用直接偏好优化（DPO）学习比较偏好数据，从而降低推理时间、成本及生成退化率，确保生产环境下的稳定性。

4月1日周三
  1. Google Research26

    Google Research 研究：评估 AI 基准测试中人工评分员的最佳数量

    Google Research 团队通过开源模拟工具研究了 AI 基准测试中“广度”（条目数）与“深度”（每条目评分员数）的权衡。研究发现，常见的每条目 3 至 5 名评分员不足，捕捉细微差别往往需要 10 名以上评分员；而追求多数投票一致性时则更适合增加条目总数。在约 1000 条注释的预算下优化评分比例即可实现高可复现性。