⌘ K
… 读取采集状态 同步中...
雷
原文
虎嗅APP·· 2026-07-06

深入解析KV Cache,以及怎么让你的 Agent 更省钱?

AI 导读

大模型API的计费机制背后藏着精妙的缓存设计。本文深入解析KV Cache与Prompt Cache两大核心技术逻辑,揭示为何缓存命中价格能低至常规输入的十分之一。从Transformer架构原理到实际API调用策略,手把手教你优化prompt结构,让你的AI应用成本直降90%。 如果你经常调用大模型 API,应该会注意到一个很有意思的现象:很多平台都会把输入 token 分成普通输入、缓存创建、缓存命中等不同类型,并且缓存命中的价格往往明显低于普通输入价格。 有些平台的缓存命中价格,甚至可以低到普通输入价格的十分之一左右。比如 Anthropic 的 Claude Prompt Caching 文档中,cache read tokens 按基础输入 token 价格的 0.1 倍计费;OpenAI 的 Prompt Caching 文档也提到,缓存可以显著降低延迟和输入 token 成本。 这就带来一个问题: 为什么同样是 token,有的按正常价格收费,有的命中缓存后价格却能低这么多? 更进一步,如果我们自己在做 Agent、编程助手、RAG 应用、自动化工作流,能不能主动利用这个

本文当前提供导读和图片预览,完整图文请查看原文。

来源:虎嗅APP · woshipm.com