据Google,Gemini 1.5 Pro是一个中等大小的多模态模型,在各项任务评测结果都接近Gemini Ultra,最高支持100万tokens的上下文。
谷歌公布了Gemini 1.5 Pro在各项评测的分数,结果非常接近Gemini Ultra,同时部分评测结果超过原有模型。其中,GSM8K评测得分91.7,全球最高。
Datalearner按照此前发布的信息推测,Gemini Pro的参数量应该是比Gemini Ultra低一个数量级。
Gemini 1.5 Pro是一个全新的MoE模型(Mixture of Experts,混合专家)。这意味着这是一个和Mixtral 7B×8类似架构的模型,也可能是大企业中首个公开宣称自己是MoE架构的模型。
(Datalearner)
src:
https://storage.googleapis.com/deepmind-media/gemini/gemini_v1_5_report.pdf
可信度:A