AWS 介绍 Bedrock 上 OpenAI 模型提示缓存用法

AWS 专家在 AWS Machine Learning Blog 撰文，介绍在 Amazon Bedrock 上为 OpenAI 模型使用提示词缓存的几种模式：显式标记、隐式缓存，以及两者结合，并给出缓存静态工具与指令、随对话增长滚动设置断点、会话中途追加新工具、预热共享前缀后并行派生子智能体的代码示例。 文章说明，可复用前缀至少需达到 1,024 token 才能命中缓存；缓存前缀的 TTL 至少为 30 分钟，成功复用会刷新，也可能保留更久。复用已有缓存内容要求使用同一模型、同一 AWS 账户和同一区域，并存在匹配的前缀；缓存写入按正常输入费率的 1.25 倍计费。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。