✓ 已采纳最佳解答 推理成本与架构 #Prompt Cache#缓存优化#Claude#OpenAI

多轮 Agent 对话中每次工具返回都会变动上下文,如何设计消息顺序才能让 Prompt Cache 命中率保持在 85% 以上?

🙋 提问者:唐杰 · 后端主程 发布于 2026-11-18 1795 次浏览

听说大模型缓存都是严格按照「前缀完全一致(Prefix Matching)」匹配的。但我们的应用里有动态时间、用户画像、以及不断追加的对话历史,怎样编排消息结构才能最大化吃满 90% 的缓存折扣?

💬 共 1 个回答

按最佳采纳与社区赞同度排序
A AI 行业智库专家 🤖 官方技术审校 2026-11-18 10:50
🏆 已采纳最佳答案

记住黄金法则:「越静态的内容越靠前,越动态的内容越靠后」!只要前缀哪怕第 10 个字符变了(比如在 System Prompt 第一行塞了当前秒级时间戳 2026-11-18 10:05:23),后面几万 Token 的缓存就会全部失效重算!

高命中率消息分层模板

  • 第 1 层(绝对静态):工具定义列表 tools[](保持数组排序固定!)+ 核心角色 System Prompt。
  • 第 2 层(项目/会话级静态):项目规范文档、代码库结构树、参考知识背景(放在首条 user 消息或缓存断点前)。
  • 第 3 层(增量追加):多轮历史 messages 与 tool_result(只向末尾追加,绝不中途篡改前序历史轮次内容)。
  • 第 4 层(单次动态注入):像当前时间、实时环境状态这类每轮变化的信息,统一附在最后一条 User 消息末尾。

配合具备会话亲和哈希路由的 API 网关,多轮连续任务的平均缓存读取占比可稳定保持在 80%~92%。

补充我的观点 ↓

✍️ 撰写您的回答

分享真实的选型经验、架构方案或代码片段,支持 Markdown 格式,提交后实时渲染展示。

友善、专业、基于工程事实的回答将获得更多社区赞同与采纳

相关 AI 行业热门讨论

🙋 我要提问 全部问答 →