ChatGPT 3.5只有200亿规模的参数?最新微软的论文暴漏OpenAI的ChatGPT的参数规模远低于1750亿!
2022年11月底发布的ChatGPT是基于OpenAI的GPT-3优化得到的可以进行对话的一个产品。直到今年更新到3.5和4之后,官方分为两个产品服务,其中ChatGPT 3.5是基于gpt-3.5-turbo打造,免费试用。因此,几乎所有人都自然认为这是一个与GPT-3具有同等规模参数的大模型,也就是说有1750亿参数规模。但是,在10月26日微软公布的CodeFusion论文的对比中,大家发现,微软的表格里面写的ChatGPT 3.5只有200亿参数规模。

在10月26日的这篇论文中,微软主要是描述新推出的CodeFusion代码大模型。在实验对比中,微软对比了他们的CodeFusion模型和不同模型在text-to-code结果的时候给出了下面这张图:

可以看到,微软将基于gpt-3.5-turbo的ChatGPT参数为200亿,而基于text-davinci-003的GPT-3标注着1750亿参数。
然而这个是笔误还是泄露大家都不确定。只是大多数网友认为这应该是真的,非常符合大家的直觉。因为ChatGPT-3.5的确很快,但是比GPT-4差很多。
这基本上证实了长期以来的观点,即gpt-3.5-turbo是gpt-3.5的蒸馏版本,还有关于gpt-3.5-turbo被削弱并且不如旧版gpt-3.5的传闻。
不过也有很多人认为这是一个笔误。目前,还没有相关的人员澄清。
欢迎大家关注DataLearner官方微信,接受最新的AI技术推送
