⌘ K
… 读取采集状态 同步中...
雷
原文
Hugging Face Blog·· 2026-09-02AI 评分38

Hugging Face 发布 BenchMIRT，揭示 LLM 评测基准实际测量的能力维度

BenchMIRT: What are LLM benchmarks actually measuring?

AI 导读

Hugging Face 推出 BenchMIRT 方法，利用多维 IRT 分析 LLM 基准测试中单题与模型表现，识别驱动分数的潜在能力。该方法基于 100 个 LLM 在 16 个基准、34K 题上的结果训练，独立复现出“安全”与“通用推理”两个主导维度。分析显示 BBQ 和 WMDP 等基准更强烈关联通用推理而非设计初衷，解释了分数构成的复杂信号。

本文当前提供导读和图片预览，完整图文请查看原文。

来源：Hugging Face Blog · huggingface.co

#论文/研究#推理#Hugging Face