一个小站的自留地
DeepSeek API 新增多项功能提升模型能力 7月26日,DeepSeek宣布其API进行重大更新,新增多项功能以增强模型能力: 1. 更新 /chat/completions 接口: - 新增 JSON Output 功能,可强制模型输出 JSON 格式字符串,方便后续处理 - 增加 Function Calling 功能,支持调用外部工具,增强模型与现实世界交互能力 - 新增对话前缀续写功能(Beta),允许用户指定 assistant 消息前缀进行补全 - 将最长输出提升至…
DeepSeek 启用上下文硬盘缓存技术,大模型的价格再降低一个数量级

8 月 2 日起, DeepSeek API 将默认启用上下文硬盘缓存技术,把预计未来会重复使用的内容,缓存在分布式的硬盘阵列中。如果输入存在重复,则重复的部分只需要从缓存读取,无需计算。该技术不仅降低服务的延迟,还大幅削减最终的使用成本。

缓存命中的部分,DeepSeek 费用为 0.1元 /百万 tokens。至此,大模型的价格再降低一个数量级。

硬盘缓存服务已经全面上线,用户无需修改代码,无需更换接口,硬盘缓存服务将自动运行,系统自动按照实际命中情况计费。

该服务的限制是,只有当两个请求的前缀内容相同时(从第 0 个 token 开始相同),才算重复。中间开始的重复不能被缓存命中。

(DeepSeek)
 
 
Back to Top