一个小站的自留地
通义千问 Qwen2 系列模型开源

中国时间 6 月 7 日 0 点,通义千问宣布 Qwen2 系列模型开源,包括 0.5B、1.5B、7B、57B-A14B (使用 Apache 2.0 协议)和 72B (使用 Qianwen License 协议)等多个版本。

技术参数方面,Qwen2 系列模型在各个尺寸都使用了 GQA (Generalized Query Attention),并且除了中英文外,还使用了其他 27 种语言的训练数据。具体上下文处理能力如下:

· 72B 和 7B 版本可处理 128K 上下文
· 57B-A14B 版本可处理 64K 上下文
· 0.5B 和 1.5B 版本可处理 32K 上下文

Github / Hugging Face 地址

(赛博禅心)
 
 
Back to Top