⌘ K
… 读取采集状态 同步中...
雷

#评测/基准

今日 0 条
10月12日周一
  1. 机器之心51

    文生图世界一致性评测:现有高分指标掩盖画面物理与空间错误

    文生图评测新聚焦于“世界一致性”维度,指出图像在美学、提示词对齐和人类偏好等现有指标上获得高分时,仍可能包含扭曲肢体、物体互相穿透或不合理物理现象等错误。文章强调现有评分体系未能系统衡量物体、交互与空间关系是否符现实约束,这类缺陷目前难以被常规量化指标捕捉。

10月11日周日
  1. 卡尔的AI沃茨53

    八款AI语音输入法横评:速度与准确率对比及三件套搭配方案

    该文实测了微信、千问、OpenLess、秘塔等四款AI语音输入法,并与上期测得的四款共八款进行了对比。评测发现,千问输入法准确率最高,微信输入法速度最快,而开源项目OpenLess则因可自由配置模型与风格,提供了多样化的平替方案。作者最终推荐采用“千问 + 叭哥说 + Typeless”的三件套搭配,以兼顾准确率、额度与AI润色速度。

  2. AI HOT73

    ARC Prize 2026:TUFA Labs 以 88.06% 登顶 ARC-AGI-2 高分榜

    ARC Prize 公布 2026 赛季 ARC-AGI-2 高分榜,TUFA Labs 以 88.06% 的得分排名第一。除 10 万美元的常规奖金外,额外设立的 15 万美元 Bonus Prize 将由所有得分超过 85% 的团队分享。

    推荐理由:该榜单明确了当前 ARC-AGI-2 的最高通过门槛与奖金分配规则,展示了各团队的推理模型最新表现。

10月9日周五
  1. 新智元41

    墨尔本大学与新南威尔士大学团队提出多会话语音记忆基准VoxMem

    墨尔本大学与新南威尔士大学团队发布多会话语音记忆基准VoxMem,包含3,196个评测实例及34,743个语音会话。评测显示,15个音频大模型在32K历史长度下整体准确率均低于40%,其中追踪语气与背景声变化的准确率仅为3.4%和1.2%。研究指出,模型在“说了什么”的记忆远优于“谁说的、怎么说的”,且长历史导致证据检索难度显著增加。

  2. TechCrunch · AI45

    AI 评测平台 Arena 完成 2 亿美元 B 轮融资,估值升至 31 亿美元

    AI 评测平台 Arena 宣布完成 2 亿美元 B 轮融资,投后估值达到 31 亿美元。该公司 6 月年化收入达 1 亿美元,本轮融资由 Lightspeed Venture Partners 和 Khosla Ventures 领投。Arena 推出 AI Evaluations 服务,并新增对齐评估类别,用于检测模型未授权行动、虚假归因和欺骗性补全行为。

10月8日周四
  1. Datawhale50

    谷歌联合 32 位作者发布 154 页综述:Token 化机制如何影响大模型能力、成本与安全

    谷歌牵头 32 位作者发布 154 页综述,指出大模型“认字”环节的分词机制导致其算术与拼写错误,并引发语言间的成本不平等。Hugging Face 数据显示,94% 的开源模型直接复用现有分词器,而 Claude 4.7 版本通过缩减字块表至约 16,000 来应对安全挑战。

  2. Zapier Blog68

    Claude Haiku、Sonnet、Opus、Fable 四模型实测与选型指南

    Anthropic 四款主流 Claude 模型 Haiku 5.5、Sonnet 5.5、Opus 5.5 与 Fable 5.1 在 Zapier AutomationBench 和作者五项固定提示词中完成对比测试,结果给出每任务成本、通过率与各模型强弱项。

    推荐理由:作者基于Zapier自建基准与五项手工任务给出四款模型的价格与表现对比,帮助读者按任务复杂度、成本和输出稳定性选择默认模型。

10月7日周三
  1. AI HOT89

    Mistral Large 4 在 Code Arena WebDev 排名第 45,得分 1534

    Arena.ai 公布 Mistral Large 4 在 Code Arena WebDev 中排名第 45,得分为 1534。该分数比 Mistral Large 3(第 130 名)高 304 分,比 Mistral Medium 3.5 高 271 分,性能接近 Claude Opus 4.8 (High) 但每百万 token 价格低近 6 倍。

    推荐理由:原文列出了具体分数与价格对比,读者可据此评估 Mistral Large 4 在 WebDev 任务上的性价比位置。

  2. AI信息Gap78

    SemiAnalysis 实测 Claude 与 ChatGPT 订阅额度:同样 200 美元,Claude 多出 5 倍 API 价值

    SemiAnalysis 将 Claude 和 ChatGPT 订阅额度折算为 API 成本,显示 200 美元的 Claude Max 20x 订阅使用 Claude Opus 5.5 时价值 11726 美元,而同价格 ChatGPT Pro 20x 使用 GPT-6.1 Sol 仅价值 2084 美元。

    推荐理由:通过实测折算 API 价值,揭示了 Claude 与 ChatGPT 订阅额度的真实差距及背后算力经济学逻辑。

10月6日周二
  1. Towards AI68

    实测Cloudflare Clef系统:38.8 ms非关键指标,Jev与Laya路由对比及整合指南

    Cloudflare 开源了基于 Qwen 的“系统一”决策模型 Clef 和 Clef-flash,但作者实测发现其 38.8 ms 速度并非关键指标,Clef-flash 在范围外意图检测中存在显著弱点。

    推荐理由:原文通过实测对比揭示了Clef-flash在范围外意图检测上的弱点,提供了基于逃生选项和决策门控的Agent路由集成方法。

  2. AI HOT81

    Microsoft 与 Hugging Face 联合发布 ThinkingBox 智能体沙箱及 ThinkingBox-Bench 基准

    Microsoft 与 Hugging Face 联合发布 ThinkingBox 智能体沙箱及 ThinkingBox-Bench 基准,覆盖 507 个有状态业务工作流,对 12 个模型进行每任务 20 次重复评测。

    推荐理由:文章展示了 507 个有状态工作流的 20 次重复评测结果,给出了 12 个模型在可靠性与成本上的具体差异,为评估智能体记录一致性提供了可复现方法。

10月5日周一
  1. MarkTechPost85

    GPT-6 Astra、GPT-6.1 Sol、Gemini 4 Argon 与 Claude Fable 5.1 横向评测:不同任务场景下的前沿模型选型指南

    Anthropic、OpenAI 和 Google DeepMind 在 30 天内发布四款前沿模型,本文对比其基准得分、定价与访问规则。

    推荐理由:通过对比四款前沿模型在特定任务下的基准得分、缓存成本与访问限制,帮助读者根据实际工作负载而非单一榜单排名选择模型。

10月4日周日
  1. MarkTechPost46

    Datalab 发布 OmniExtractBench 以解决抽取基准中的偏见与不透明问题

    Datalab 发布开源基准 OmniExtractBench,通过整合 4 个现有基准的 620 份文档测试结构化文档抽取准确率。该基准提供确定性评分器,能避免单一行缺失导致整表计零,并生成可审计的六类判定结果。Datalab 准确模式以 93.85 的准确率领先,Reducto 紧随其后,两者几乎持平。

  2. APPSO71

    MiniMax M3.1 Flash Preview 前端创作能力评测:与 Opus 5.5 同题对比

    MiniMax M3.1 Flash Preview 在前端创作实测中交付了可与 Claude Opus 5.5 同台比较的动态作品集、水墨动画及交互游戏原型。评测使用公开提示词生成 M3.1 Flash 成果,显示其在风格统一度与作品完成度上已具备稳定进入开发流程的能力。文章指出,M3.1 Flash 在速度与成本优势下,正改变 Flash 模型与旗舰模型间的能力交换比例。

    推荐理由:原文以公开提示词实测 M3.1 Flash 的前端产出,并对比其与 Opus 5.5 的视觉与交互差异,为判断 Flash 模型开发价值提供直观依据。

  3. 智东西71

    MiniMax M3.1-Flash前端能力实测:效果对标Claude Opus 5.5

    智东西对MiniMax M3.1-Flash进行了前端生成任务实测,对比Claude Opus 5.5展示了模型在动效视频、交互页面和像素动画等场景下的输出效果。测试表明M3.1-Flash能生成完整可运行的前端作品,步骤和细节处理完整,部分视觉效果有惊喜,但仍处于公测阶段。

    推荐理由:对比了Flash模型与旗舰模型在前端任务上的实际生成效果,呈现了轻量模型在视觉交互创作中的能力边界。

  4. AI HOT65

    Arena 评测:Claude Sonnet 5.5 在 Agent Arena 排名第三但未进入帕累托前沿

    Arena 发布 Agent Arena 榜单,Claude Sonnet 5.5 排名第三,净提升 12.5%。该模型单任务中位成本为 2.74 美元,高于排名第二的 Claude Opus 5.5(1.58 美元),因此未进入帕累托前沿。Anthropic 模型包揽榜单前三名,Sonnet 5.5 在 Chat 类别排名第一。

    推荐理由:原文给出了成本与得分的具体对比数据,读者可以据此评估 Sonnet 5.5 的性价比定位。

10月3日周六
  1. AI HOT70

    Arena 评测:Claude Sonnet 5.5 在 Agent Arena 排名第 3 但未进 Pareto 前沿

    Claude Sonnet 5.5 (Max) 在 Agent Arena 排名第 3,净提升 +12.5%,Chat 类目以 +15.6% 居首;但其每任务中位成本 $2.74,比排名 2 的 Claude Opus 5.5 (High) 的 $1.58 高约 73%,因此落在 Pareto 前沿之外。

    推荐理由:原文基于 Arena 榜单数据指出 Claude Sonnet 5.5 得分高但成本更高、未进 Pareto 前沿,读者可以据此比较成本与性能的取舍。

10月2日周五
  1. 机器之心33

    LegoFlow:让智能体自主跑完代码数据构建+训练测评全流程

    LegoFlow 实现了从代码数据构建到训练测评的全流程自动化,将软件工程大语言模型的数据生产流程整合为单一系统。该系统在筛选阶段从 1200 万个候选拉取请求中仅保留 5000 个 SWE 代码任务,留存率不足 0.05%。LegoFlow 旨在解决高质量代码数据生产复杂且耗时的问题,通过自动化流水线提升代码智能体训练效率。