OpenAI 于 2024 年 10 月 1 日在旧金山举行了第二届 DevDay 开发者大会。与去年相比，今年的大会规模虽然相对低调，但仍推出了多项重要创新，包括实时 API、视觉微调、模型蒸馏和提示缓存。
实时 API：实现语音到语音体验
据 Simon Willison 的现场报道，OpenAI 发布了实时 API 的公测版，允许付费开发者在应用中构建低延迟的多模态体验。该 API 支持自然的语音到语音对话，类似于 ChatGPT 的高级语音模式，并提供六种预设语音。
实时 API 简化了创建语音助手和其他会话 AI 工具的过程，消除了将多个模型组合用于转录、推理和文本到语音转换的需要。例如，语言学习应用 Speak 已经使用实时 API 来驱动其角色扮演功能，鼓励用户练习用新语言进行对话。
实时 API 的定价为每百万输入 tokens 5 美元和每百万输出 tokens 20 美元，音频输入为每百万 tokens 100 美元，音频输出为每百万 tokens 200 美元。
视觉微调：定制 GPT-4o 的图像理解能力
OpenAI 现在允许开发者通过图像和文本微调 GPT-4o，提升其视觉理解能力。这一功能为改进视觉搜索、自动驾驶汽车中的物体检测以及医学图像分析等应用提供了新的可能性。
据 Maginative 报道，东南亚的一家食品配送和共享出行公司 Grab 利用这一技术，将车道计数的准确性提高了 20%，限速标志的定位准确性提升了 13%。
提示缓存：降低成本和延迟
OpenAI 引入了提示缓存功能，旨在降低开发者成本和延迟。根据 VentureBeat 的报道，该功能会自动对模型最近处理过的输入 tokens 应用 50% 的折扣，对于频繁重复使用上下文的应用来说，这可能会带来成本的大幅降低。
提示缓存将自动应用于最新版本的 GPT-4o、GPT-4o mini、o1-preview 和 o1-mini，以及这些模型的微调版本。
模型蒸馏：简化 AI 模型开发
OpenAI 推出了新的模型蒸馏工具，使得开发者可以利用大型模型（如 GPT-4o 和 o1-preview）的输出来提升小型模型（如 GPT-4o mini）的性能。据 TechCrunch 报道，这一集成工作流程包括存储完成和评估功能，允许开发者在 OpenAI 平台内捕获输入输出对、微调模型并评估性能。
这种方法使得小型公司能够利用与高级模型相似的能力，而无需承担相同的计算成本。模型蒸馏将有助于缩小 AI 行业中尖端、资源密集型系统与更易访问但能力较弱的系统之间的差距。
(综合媒体报道，图：maginative）
