跳到正文
OpenAI News·· 12 天前AI 评分49

GPT-6 改进 prompt caching 实现更高命中率并降低延迟

Better prompt caching for GPT-6

AI 导读

GPT-6 改进了 prompt caching,缓存命中率显著提升,并新增诊断工具和显式断点功能。这些改进帮助开发者更好地调试和优化模型行为,有效减少推理延迟和 token 使用成本。

来源:OpenAI News · openai.com