月之暗面与 Google 相继推出 Context Caching 功能
在同一周内，月之暗面和 Google 各自宣布了其平台的上下文缓存功能，旨在通过缓存重复出现的输入词元 (Token) 来提高效率并降低成本。
月之暗面 Kimi 开放平台宣布，将启动 Context Caching 功能内测。这项功能能够缓存重复的 Token 内容，从而降低用户在请求相同内容时的成本。
月之暗面称，Context Caching 适用于频繁请求和引用大量初始上下文的场景，例如提供大量预设内容的 QA Bot、固定文档集合查询、静态代码库分析等。官方表示，这项功能可以显著提升 API 的接口响应速度和首字返回速度，并将在未来发布详细的技术文档和计费方案。
Google 方面，Gemini API 也推出了相似的 Context Caching 功能。该功能允许开发者将频繁使用的输入 Token 存储在缓存中，并在后续请求中引用这些缓存的 Token，从而减少重复传递相同 Token 的需求。Context Caching 支持 Gemini 1.5 Pro 和 Gemini 1.5 Flash 模型，并特别适用于大规模文档查询、代码库分析、冗长视频文件的重复分析等场景。Google 表示，这项功能不仅能降低成本，还能提高延迟和性能。
（IT之家、Google 开发者文档）
在同一周内，月之暗面和 Google 各自宣布了其平台的上下文缓存功能，旨在通过缓存重复出现的输入词元 (Token) 来提高效率并降低成本。
月之暗面 Kimi 开放平台宣布，将启动 Context Caching 功能内测。这项功能能够缓存重复的 Token 内容，从而降低用户在请求相同内容时的成本。
月之暗面称，Context Caching 适用于频繁请求和引用大量初始上下文的场景，例如提供大量预设内容的 QA Bot、固定文档集合查询、静态代码库分析等。官方表示，这项功能可以显著提升 API 的接口响应速度和首字返回速度，并将在未来发布详细的技术文档和计费方案。
Google 方面，Gemini API 也推出了相似的 Context Caching 功能。该功能允许开发者将频繁使用的输入 Token 存储在缓存中，并在后续请求中引用这些缓存的 Token，从而减少重复传递相同 Token 的需求。Context Caching 支持 Gemini 1.5 Pro 和 Gemini 1.5 Flash 模型，并特别适用于大规模文档查询、代码库分析、冗长视频文件的重复分析等场景。Google 表示，这项功能不仅能降低成本，还能提高延迟和性能。
（IT之家、Google 开发者文档）
