OpenAI开始提供大模型（GPT系列模型）的提示缓存（Prompt Caching）：GPT-4o系列模型输入价格下降一半，访问速度提升80%

在大模型的应用中，处理复杂请求往往伴随着较高的延迟和成本，尤其是当请求内容存在大量重复部分时。这种“慢请求”的问题，特别是在长提示和高频交互的场景中，显得尤为突出。为了应对这一挑战，OpenAI 最近推出了 提示缓存（Prompt Caching） 功能。这项新技术通过缓存模型处理过的相同前缀部分，避免了重复计算，从而大幅减少了请求的响应时间和相关成本。特别是对于包含静态内容的长提示请求，提示缓存能够显著提高效率，降低运行开销。本文将详细介绍这项功能的工作原理、支持的模型，以及如何通过合理的提示结构优化缓存命中率，帮助开发者提升大模型的使用体验。

什么是大模型提示缓存（Prompt Caching）？

提示缓存（Prompt Caching）机制，用于减少在处理重复内容的长提示时的延迟和计算成本。这里的“提示”指的是你向模型发送的输入内容。在请求过程中，系统并不会每次都重新计算提示的前N个输入tokens，而是缓存先前的计算结果。这样，对于后续具有相同提示前缀的请求，系统就能够重用这些缓存数据，从而加速处理，减少延迟，并节省成本。

简单来说，提示缓存的工作原理如下：