⌘ K
… 读取采集状态 同步中...
雷

推理能力

模型推理能力的进展:思维链、推理模型、数学与逻辑基准的突破与争议。

最新精选

第 241–244 条 · 共 244 条
12月11日周一
  1. Mistral News96

    Mistral AI 发布开源稀疏混合专家模型 Mixtral 8x7B

    Mistral AI 发布开源稀疏混合专家模型 Mixtral 8x7B,其采用 Apache 2.0 许可。该模型总参数量为 46.7B,每个 token 仅激活 12.9B 参数,推理速度比 Llama 2 70B 快 6 倍且性能在多数基准上优于 Llama 2 70B 和 GPT-3.5。

    推荐理由:Mixtral 8x7B 在提供 Apache 2.0 许可的同时实现了比 Llama 2 70B 更快的推理速度,为开发者提供了高效且开放的 MoE 模型选项。

10月5日周四
  1. Anthropic Research67

    Anthropic 论文:通过字典学习将语言模型分解为可理解的特征

    Anthropic 发布论文 Towards Monosemanticity: Decomposing Language Models With Dictionary Learning,提出用字典学习将小 Transformer 模型分解为数千个可解释的特征。结果显示,相比单个神经元,这些特征在人工评估和 LLM 自动解释中都具有更高可解释性,且特征在模型间具有普遍性。

    推荐理由:Anthropic 提出将语言模型分解为可解释特征的方法,展示了在小模型上通过字典学习提升可解释性的路径。

8月9日周三
  1. Anthropic News65

    Anthropic 发布 Claude Instant 1.2 模型

    Anthropic 通过 API 发布更快的 Claude Instant 1.2 模型,在数学和编码基准上取得显著提升,其中 Codex 评测得分从 52.8% 提升至 58.7%,GSM8K 得分从 80.9% 提升至 86.7%。该模型还减少了幻觉并增强了对越狱攻击的抵抗力,在生成更长结构化响应及遵循格式指令方面表现更佳。

    推荐理由:模型在数学和编码基准上提升明显,同时增强了抗越狱能力,适合评估其对现有工作流的影响。

7月11日周二
  1. Anthropic News92

    Anthropic 发布 Claude 2 模型

    Anthropic 正式发布新一代模型 Claude 2,该模型提升了性能并支持更长响应,同时提供 API 接入及面向公众的 beta 网站 claude.ai。Claude 2 的上下文窗口扩展至 100K tokens,可处理数百页技术文档;在 Codex HumanEval 编码测试中得分从 56.0% 提升至 71.2%,GRE 阅读与写作成绩超过 90th percentile。

    推荐理由:发布官方基准数据与上下文窗口扩容细节,展示新一代模型在核心能力上的量化进展。