重磅！谷歌宣布发布Gemini 1.5 Pro，距离Gemini发布仅仅一个半月！最高支持1000万上下文长度，GSM8K评测全球第一

在2023年12月份，Google发布了Gemini系列大模型（参考：谷歌发布号称超过GPT-4V的大模型Gemini：4个版本，最大的Gemini的MMLU得分90.04，首次超过90的大模型），包含3个不同参数规模的版本。其中，Gemini Ultra号称在MMLU评测上超过了GPT-4，并且在月初也将Bard更名为Gemini，开放了Gemini Ultra的付费使用。刚刚，Google的CEO劈柴哥宣布发布了Gemini 1.5 Pro，这意味着仅仅一个半月，Gemini有了重大更新。

Gemini 1.5简介

本次发布的Gemini 1.5是Pro版本的更新，官方宣传Gemini 1.5 Pro的能力已经接近此前的Gemini Ultra 1.0的水平。按照此前发布的信息看，Gemini Pro的参数量应该是比Gemini Ultra低一个数量级。

Gemini 1.5 Pro是MoE架构大模型

Google说，Gemini 1.5 Pro是一个全新的MoE模型（Mixture of Experts，混合专家）。这意味着这是一个和Mixtral 7B×8类似架构的模型，也是大企业中首个公开自己是MoE架构的模型了。这是一个中等大小的多模态模型，在各项任务评测结果都接近Gemini Ultra。

谷歌说，根据输入的类型，模型会决定最相关的专家网络来输出结果，但是除此之外，谷歌没有更多的信息透露，包括专家数量、模型参数等。