GPT-4在11月份以来变懒的原因可能已经找到：大模型可能会在节假日期间变得不愿意干活，工作日期间却更加高效

最近一段时间，很多人普遍反映GPT-4变得懒散和愚笨，很多此前可以回答的问题在最近一段时间都无法回答，或者回答比较简单。为此，OpenAI官方也在前几天发布信息说的确收到了这样的信息，但是**模型并没有在最近一个多月更新过**，所以他们也不知道是什么原因。而今天的一些测试表明，GPT-4模型会像人一样在不同的时间段有不同的效率。

<center>![](https://www.datalearner.com/resources/blog_images/04e0a6aa-2e66-42a1-9c89-4466000b2835.png)</center>
<center></center>

[TOC]

#### GPT-4最近效果又开始下降
在最近一段时间，很多人反馈GPT-4模型的**性能有所下降**。不仅仅是懒，而且**创造力下降**，**不太愿意遵从指令**。

例如，有人让ChatGPT计算24/7，并在Python中运行，但是GPT-4取消了计算，说它会自己计算。例如，它甚至会偷懒，不想做重复性任务，所以在做一些SQL查询中直接使用“...”来避免生成完整的SQL语句，因为它懒得把一些短语翻译成18种语言。

而OpenAI的官方回应说，他们收到了用户的反馈，但是从11月份以来，官方没有更换过GPT-4背后的模型，所以**无法解释什么原因导致了GPT-4变懒**。同时，官方解释说因为大语言模型的行为在某种程度上是不可预测的，所以虽然他们也在调查，但是可能不一定会知道。并进一步解释：

> 训练一个对话模型并不是一个清晰的工业流程。相同的数据集不同的训练次数可能会产生完全不一样特质、写作风格、拒绝行为的大模型。这个过程并不像更新一个网站一样简单，所以尽管上线前，模型会做许多测试，还是可能出现很多意外情况，所以需要大家反馈来调整。

但是，目前除了大家不认可官方的说不可预测、没有更新的说法。而今天，有人测试发现，GPT-4模型实际上可能会**在冬天或者节假日的时候变懒**！

#### GPT-4会在冬天和节假日变懒
这个结论和实验来自一位网友。虽然不是严格的测试，但是是一个可以重现的实验！

这个实验使用的是API接口调用。在调用GPT-4的API接口之前，先**设置当前的月份**，然后让GPT-4完成一个**代码补全**的任务。

将GPT-4设置的时间是5月份和12月份，来对比GPT-4生成的代码长度。结果发现，**如果当前时间是五月份，GPT-4生成的代码平均长度为4298，而12月份GPT-4平均生成代码的长度只有4086。二者差异是477，做t检验之后，p值是小于2.28e-07的，这意味着二者有显著的差异**！

<center>![](https://www.datalearner.com/resources/blog_images/ba31b077-e97c-45f4-9fa6-a6f4b64888f0.png)</center>
<center></center>

在统计学中，p值（概率值）是用来确定结果的显著性的一个指标。它代表在零假设（通常是指两组数据之间没有差异）为真的情况下，观察到的数据或更极端数据出现的概率。p值的范围从0到1，较小的p值（通常低于一个预先设定的阈值）表明观察到的数据与零假设不一致，因此认为结果是统计上显著的。p < 0.001通常被认为是两个数据是极其显著差异！

目前，**这个测试可以被复现**。另一个网友测试的结果p值是0.02645。意味着结果也是显著差异的。

而生成的代码长度变短，与此前用户反馈模型懒散的结论是一致的。

#### 其它的讨论

当然，这个结论并没有完整的科学论证，但是也是一个非常有价值的反馈。而也有人让GPT-4自己返回它认为的最有工作效率的时间，结果发现**12月份是GPT-4认为效率最低的月份**。而前面的五月份被GPT-4认为是效率排名第五的月份！

Prompt Engineering Guide的作者elvis也评论说他有发现过**类似的现象**，不过是在GPT-3.5的某个版本。不过，如果需要得出更加严谨的结论还需更多可以泛化的研究支持。

目前这部分的测试很多人也在呼吁和尝试更多的实验，包括**每一个月份、特殊的日期、节假日**等。而输出的字符长度虽然也可以作为一种参考，但是也希望有更多的测试结果。

#### 总结
这并不是一个严格的科学测试，但是它提供的视角是值得讨论的。因为大模型本身是基于网络数据进行**大量无监督微调**得到的。如果网络的人们在**节假日不太讨论工作或者表现出比较懒散的特质**，应该是有可能会影响到模型的行为的。

另外，根据OpenAI官方的说明，**11月份之后模型没有变化，但是大家反馈结果变差。系统prompt如果也没有变化，那么实际影响的只有日期（因为GPT-4系统prompt包含当天时间），这是有可能说得过去的**~

期待更多的结论~

原作者将测试代码公布了：https://github.com/robalynch1122/OpenAISeasonalityTesting

有条件的童鞋可以自己测试。

另外，也有网友说，如果这个结论是真的，那就不要基于欧洲人的数据训练大模型，否则5月到9月大模型会一直停工~

GPT-4在11月份以来变懒的原因可能已经找到：大模型可能会在节假日期间变得不愿意干活，工作日期间却更加高效

欢迎大家关注DataLearner官方微信，接受最新的AI技术推送

相关博客

最热博客