Meta 发布了新一代大语言模型 Llama 3.3 70B,该模型采用优化的 Transformer 架构,支持 128k 的上下文长度,并通过监督式微调 (SFT) 和基于人类反馈的强化学习 (RLHF) 进行训练。
官方宣称,Llama 3.3 70B 的性能与 Llama 3.1 405B 模型相当。
Llama 3.3 的主要特点包括:
- 支持英语、德语、法语、意大利语、葡萄牙语、印地语、西班牙语和泰语等 8 种语言
- 在多个基准测试中展现出色表现,如在 MMLU 测试中达到 86%,HumanEval 代码评估达到 88.4%
- 训练数据量超过 15 万亿词元,训练截止日期为 2023 年 12 月
据 Meta 介绍,Llama 3.3 在合成数据生成和知识蒸馏等应用场景中表现优异。模型已通过 Llama 3.3 社区许可协议开源,可用于商业和研究用途。
(Meta)