零一万物公司正式发布了其新旗舰模型 Yi-Lightning(闪电),这款模型在大模型竞技场(Chatbot Arena)上表现优异,总榜单并列第 6,数学分榜并列第 3,代码等其他分榜也名列前茅。其总成绩几乎与马斯克最新的 xAI 大模型 Grok-2-08-13 持平,超过了 GPT-4-0613 等顶级模型。此外,智谱 AI 的 GLM-4-Plus 也进入了总榜,排名第 9。
在大模型竞技场的各类分榜中,Yi-Lightning 表现突出:
- 中文能力:与 o1-mini 一同名列前位
- 数学能力:与 Gemini-1.5-Pro-002 并列第 3
- 代码能力:排名并列第 4
- Hard Prompts 和 Longer Query 分榜:均排名第 4
Yi-Lightning 采用 MoE 混合专家模型架构,优化了混合注意力机制(Hybrid Attention)和跨层注意力(Cross-Layer Attention, CLA),有效降低推理成本并提升性能。通过动态 Top-P 路由机制,Yi-Lightning 可根据任务难度选择最合适的专家网络组合,从而在不同场景中表现出色。
零一万物创始人李开复博士在发布会上表示,公司绝不放弃预训练,并通过多阶段训练方法提升模型能力。Yi-Lightning 的训练与底层架构高度适配,使得推理时更加经济实惠。Yi-Lightning 的定价为每百万词元 0.99 元人民币,与 OpenAI 的 GPT-3.5-turbo 相比价格更具竞争力。李开复博士强调,即便如此定价也不亏损。
同时,零一万物还推出了 AI2.0 数字人方案,提升了互动效果。李开复博士表示,国产大模型与硅谷最顶尖模型的差距缩短至五个月,而「模基共建」是零一万物的独特路径。
(量子位,图:Chatbot Arena)