Bilibili开源轻量版大模型Index-1.9B
BiliBili近日开源了其大模型Index轻量版Index-1.9B系列，相关代码和模型文件已在 GitHub 和 Huggingface 上发布，可供商用。
本次开源的Index-1.9B系列包含四个版本：
• Index-1.9B base：基础版，具备19亿非词嵌入参数量，经过2.8T中英文语料的预训练，具有广泛的语言理解能力，适用于通用的AI任务处理。
• Index-1.9B pure：该版本严格过滤了所有指令相关的数据，旨在验证指令对模型表现的影响，使其在需要纯粹语言处理的应用中表现更佳。
• Index-1.9B chat：基于Index-1.9B base，通过SFT和DPO对齐后的对话模型，预训练引入了大量定向清洗的对话类语料，能够显著提升聊天的趣味性，适用于开发聊天机器人和客服系统。
• Index-1.9B character：在SFT和DPO基础上引入了RAG技术，实现了Few-Shot角色扮演定制。该版本针对角色代理进行了优化，在虚拟角色扮演和互动娱乐中表现更为出色。
据开发团队介绍,在多个评测基准上，Index-1.9B系列模型均处于同级别模型的领先地位。
（彩虹之眼）
BiliBili近日开源了其大模型Index轻量版Index-1.9B系列，相关代码和模型文件已在 GitHub 和 Huggingface 上发布，可供商用。
本次开源的Index-1.9B系列包含四个版本：
• Index-1.9B base：基础版，具备19亿非词嵌入参数量，经过2.8T中英文语料的预训练，具有广泛的语言理解能力，适用于通用的AI任务处理。
• Index-1.9B pure：该版本严格过滤了所有指令相关的数据，旨在验证指令对模型表现的影响，使其在需要纯粹语言处理的应用中表现更佳。
• Index-1.9B chat：基于Index-1.9B base，通过SFT和DPO对齐后的对话模型，预训练引入了大量定向清洗的对话类语料，能够显著提升聊天的趣味性，适用于开发聊天机器人和客服系统。
• Index-1.9B character：在SFT和DPO基础上引入了RAG技术，实现了Few-Shot角色扮演定制。该版本针对角色代理进行了优化，在虚拟角色扮演和互动娱乐中表现更为出色。
据开发团队介绍,在多个评测基准上，Index-1.9B系列模型均处于同级别模型的领先地位。
（彩虹之眼）
