谷歌推隐式缓存功能,大幅降低Gemini API使用成本
2025年05月09日
来源:techcrunch
人工智能
谷歌在其Gemini API中上线“隐式缓存”功能,称可为使用者节省多达75%的重复上下文调用成本。这一功能默认启用,适用于Gemini 2.5 Pro和2.5 Flash模型,无需开发者手动设置常用提示词。此前谷歌的显式缓存机制被批评为操作繁琐、账单异常,如今隐式缓存通过识别请求中重复的前缀自动进行优化,并返还费用差额。Google建议将重复内容置于请求开头,以提高命中率,尽管该机制尚无第三方验证,但对API使用者来说已是重要利好。