AWS Machine Learning Blog· Claudio Mazzoni·· 4 小时前AI 评分58
AI 智能体的土拨鼠之日：在 Amazon Bedrock 上使用 OpenAI 模型的提示词缓存模式
Groundhog Day for AI agents: Prompt caching patterns for using OpenAI models on Amazon Bedrock
AI 导读
AWS 专家撰文介绍在 Amazon Bedrock 上为 OpenAI 模型使用提示词缓存的几种模式，包括显式标记、隐式缓存以及两者结合。文中给出缓存静态工具与指令、随对话增长滚动设置断点、会话中途追加新工具、预热共享前缀后并行派生子智能体的代码示例，并说明可缓存前缀至少需 1,024 token、TTL 至少 30 分钟。
来源：AWS Machine Learning Blog · aws.amazon.com