导读:DeepSeek API默认启用磁盘上下文缓存,当后续请求完整复用已持久化前缀时,可以减少重复计算。官方响应提供prompt_cache_hit_tokens与prompt_cache_miss_tokens,并说明缓存属于尽力而为、会在数小时到数天内清理。要获得稳定收益,应用需要主动设计消息前缀,而不是期待任何相似文本都自动命中。
缓存命中的关键是完整前缀
将稳定内容放前面:系统规则、长期不变的文档、固定输出要求;将用户问题、当前时间和随机ID放后面。如果每次请求开头都加入不同时间戳,后续内容即使相同也难以命中。文档内容要做确定性序列化,避免空格、字段顺序变化。
对知识库任务,可以把同一份财务报告作为稳定前缀,连续询问摘要、盈利能力和费用比例。首次请求可能未命中,系统识别公共前缀后,后续问题才逐渐受益。不能把缓存当作立即一致的数据库。
版本和权限怎样设计
为文档生成内容哈希与版本号,更新后使用新前缀,避免用户以为读取了最新版却命中旧内容。缓存命中只表示输入复用,不代表输出固定;温度和推理仍会产生差异。关键结论继续保存证据和模型版本。
不同组织、项目和权限级别使用独立请求上下文。虽然服务端说明缓存逻辑隔离,应用层仍不能把无权文档放进请求后再提示模型忽略。权限过滤必须发生在拼接上下文之前。
如何监控真实收益
每次记录命中与未命中Token、输入总量、模型、任务类型和文档版本,计算命中率与节省费用。命中率低时先检查前缀是否被动态字段破坏,而不是增加重试。官方定价会变化,成本看板应从配置读取而非写死。
分别评估首请求与连续请求的时延。缓存构建需要时间,突发一次性文档不一定受益;高频重复问答、固定代码库规则和批量分析更适合。以单任务总成本和成功率判断,不只比较每百万Token单价。
常见错误与改进
不要为了缓存把所有资料塞入一个超长系统提示,这会增加权限和过期风险。按业务域拆分稳定前缀,检索后只加入相关资料。不要依赖缓存长期保留,原始文档仍由自己的存储管理。
设置上下文上限,清理重复页、导航和无效格式。版本升级后用固定问题检查答案与引用。若命中率提升但准确率下降,说明上下文组织可能把旧信息放在更强位置,应优先修复质量。
落地检查清单
- 将稳定规则与文档放前面,动态问题放最后。
- 使用确定性序列化、内容哈希和文档版本。
- 在拼接上下文前完成租户与权限过滤。
- 记录命中Token、未命中Token、时延和成功率。
- 不依赖缓存持久化,并持续检查引用质量。
总结
DeepSeek上下文缓存能降低重复长输入成本,但收益来自稳定前缀、版本治理和监控。把缓存视为推理优化而不是业务存储,并守住权限与证据边界,才能在1M上下文场景中稳定省钱。