目前消息称 Grok 4 系列会有 grok-4-0629 和 grok-4-code-0629 两个型号。具有和前代模型相同的 131k 上下文窗口,支持推理,但只能输入文本模态内容。
百度正式宣布开源其最新的旗舰级大模型系列 ERNIE 4.5,这是一个包含 10 个不同变体的大规模多模态模型家族。该系列包含 2 个多模态大模型和 4 个大语言模型,共计 23 个模型版本,其中最大模型拥有 4240 亿参数,47B 活跃参数。
ERNIE 4.5 采用了创新的异构多模态混合专家(MoE)架构,支持跨模态参数共享的同时,也为每个模态保留专用参数。这种设计在提升多模态理解能力的同时,实现了文本处理性能的同步增强。模型支持图像、视频和文本等多种输入模态,并生成文本输出。
在技术创新方面,ERNIE 4.5 在三个关键领域实现了突破:多模态异构 MoE 预训练、高效扩展的基础设施,以及针对特定模态的后训练。该模型在预训练阶段达到了 47% 的模型 FLOPs 利用率(MFU),在 2016 块 NVIDIA H800 GPU 上实现了高效训练。
性能评测显示,ERNIE 4.5 在指令遵循、世界知识记忆、视觉理解和多模态推理等方面表现出色。在传统基准测试如 MMLU、MMLU Pro 等任务上,该模型与当前最强的 DeepSeek-V3、Qwen 等模型不相上下。然而在更具挑战性的新评测任务如 AIME、LiveCodeBench 等方面,表现相对一般。
本次开源遵循 Apache 2.0 协议,意味着开发者可以自由进行商业化使用和二次开发。百度还同时开源了完整的开发工具链,包括 ERNIEKit 训练工具包和 FastDeploy 推理部署工具包,涵盖从训练、微调到部署的全栈能力。模型提供了 PyTorch 和 PaddlePaddle 两个版本,以满足不同开发者的需求。
(技术报告)
据 The Information 报道,DeepSeek 备受期待的下一代大语言模型 R2 可能无法像其前任 R1 那样在中国迅速广泛普及。据中国主要云服务提供商员工透露,国内英伟达服务器芯片短缺是主要原因,而美国最近禁止专为中国市场设计的英伟达 H20 芯片销售进一步加剧了这一问题。
DeepSeek 的模型完全针对英伟达的硬件和软件进行了优化,在英伟达芯片上运行时表现最佳。R1 发布后,包括字节跳动、阿里巴巴和腾讯在内的中国科技巨头在 2025 年第一季度为英伟达 H20 芯片下了 160 亿美元订单,相当于 120 万块芯片。相比之下,2024 年英伟达向中国发运了 100 万颗 H20 芯片。
据知情人士透露,由对冲基金公司幻方量化拥有的 DeepSeek 尚未确定 R2 的发布时间。CEO 梁文锋对新模型的性能并不满意,工程师正在持续优化直到获得批准发布。
英伟达在声明中表示:「中国拥有全球最大的开发者群体之一,他们创建了开源基础模型和非军事应用。虽然安全至关重要,但这些应用都应以美国的人工智能堆栈为最佳运行平台。」
云服务提供商员工表示,如果 R2 发布后能超越现有开源模型,其需求将令正在应对英伟达芯片短缺的中国云提供商应接不暇。目前使用 R1 的云客户大部分都使用英伟达 H20 芯片运行该模型。
(The Information)
Cloudflare 于 6 月 24 日宣布,Cloudflare Containers 现已面向所有付费计划用户提供公开测试版服务。
Cloudflare Containers 与现有的 Workers 平台实现了紧密集成,开发者只需定义几行代码即可创建容器,就像部署 Worker 一样简单。容器无需管理跨多个区域的配置。当请求新的容器实例时,Cloudflare 会从其全球网络中选择已预置就绪容器的最佳位置,初始容器启动仅需几秒钟时间。
该平台的突出特点是其可编程性。容器实例可以按需启动,并由 Workers 代码控制。开发者可以根据需求灵活选择工具:轻量级可扩展任务使用 Worker,需要更多算力和灵活性的任务使用容器。这为开发者提供了运行以前无法在 Workers 中运行的库的能力,例如使用 FFmpeg 将视频转换为 GIF 的应用程序。
在定价方面,Containers 采用按使用量付费的透明模式。目前提供三种实例类型:dev(256 MiB 内存)、basic(1 GiB 内存)和 standard(4 GiB 内存)。费用从向容器发送请求时开始计算,在容器实例进入休眠状态后停止计费。容器按每 10 毫秒的活跃运行时间计费,内存费率为每 GiB- 秒 0.0000025 美元,CPU 费率为每 vCPU- 秒 0.000020 美元。
Cloudflare 已经规划了多项未来增强功能,包括提高并发实例限制、支持基于利用率的全球自动扩展、增强 Containers 和 Workers 之间的通信方式,以及与开发者平台其他服务的更深度集成等。
(Cloudflare 官方博客)