✓ 已采纳最佳解答
推理成本与架构
#Prompt Cache#缓存优化#Claude#OpenAI
多轮 Agent 对话中每次工具返回都会变动上下文,如何设计消息顺序才能让 Prompt Cache 命中率保持在 85% 以上?
🙋 提问者:唐杰 · 后端主程
发布于 2026-11-18
1795 次浏览
听说大模型缓存都是严格按照「前缀完全一致(Prefix Matching)」匹配的。但我们的应用里有动态时间、用户画像、以及不断追加的对话历史,怎样编排消息结构才能最大化吃满 90% 的缓存折扣?