OpenAI CEO详解今明两年GPT发展计划：10万美元部署私有ChatGPT、最高支持100万tokens、建立微调模型应用市场
2,466 views
前段时间，OpenAI的CEO Sam Altman与二十多位开发者一起聊了很多关于OpenAI的API和产品的规划问题。Sam Altman透露了一些非常重要的OpenAI的发展方向，包括GPT产品功能的未来规划等。目前这份原始博客内容已经应OpenAI的要求被删除，这里我们简单总结一下这些内容。
加载中...
加载中...
前段时间，OpenAI的CEO Sam Altman与二十多位开发者一起聊了很多关于OpenAI的API和产品的规划问题。Sam Altman透露了一些非常重要的OpenAI的发展方向，包括GPT产品功能的未来规划等。目前这份原始博客内容已经应OpenAI的要求被删除，这里我们简单总结一下这些内容。
Follow DataLearner WeChat for the latest AI updates
尽管目前的ChatGPT可能是全球最好的大语言模型（LLM）的产品。但是，受制于算力和模型本身的架构原因，依然有很多问题需要解决。以下是Sam Altman描述的OpenAI短期准备解决的问题。
目前，常规的GPT-4模型最多的上下文长度是8k，而最高的一个版本是32k，但是能申请到GPT-4 32k版本的人很少。这大概率还是受到目前GPU算力短缺的影响。
但是，在年内，即2023年接下来的某个时间，GPT-4将开放更长的上下文，最多支持100万个tokens。不过，由于目前OpenAI也无法解决模型上下文长度增长带来的模型规模指数级增长问题（$O(n^2)$）。因此，如果未来模型技术无法突破，100万个tokens是目前OpenAI的极限。这相当于75万个单词。
目前，OpenAI没有使用Adapters或者LoRA技术来降低模型微调的成本。因此，对模型进行微调的话资源消耗极大。但是，Sam Altman说他们会在不久的将来开放fine-tuning接口。而且将会创建一个应用市场社区，让大家贡献自己的模型！
这将是一个比插件更加令人兴奋的信息。如果大家可以用fine-tuning让ChatGPT读取自己的私有数据，并将微调结果发布到市场上，那么这可能是私有数据变现的一个重要途径，也可能是未来中小企业可以利用ChatGPT赚钱的重要方法！
目前，ChatGPT都是一个版本，且与他人共享模型接口。当OpenAI的GPU算力缓解之后，将允许用户部署一个副本，这个ChatGPT副本将有专有的GPU来为其提供计算。因此，其速度上可能会非常快。但是，目前的消息是至少你得承诺充值10万美元以上，OpenAI才会为你单独开辟一个ChatGPT副本。
这一点和马斯克做特斯拉的想法一致。OpenAI希望尽可能降低大模型的使用成本，所以在竭尽全力降低GPT-4的成本。这也是当前OpenAI的第一优先事项。
这是另一个重磅的好消息！目前，GPT-4等模型的接口都是无状态的。你和它进行多轮对话之后，如果需要在此前的基础上继续对话，需要将历史信息重复地发送给GPT的接口。在今年晚些时候，这个接口将会发生变化，到时候API接口将记住历史信息，不再需要你重复发送以前的内容，也不需要额外为这些重复的tokens付费了！
尽管此前GPT-4未发布的时候，大家都认为GPT-4将会是多模态模型。而微软也透露认为GPT-4会支持多模态。但是迄今为止，GPT-4都支持文本数据。本次Sam Altman也透露了，没有开放GPT-4多模态的原因是因为GPU不够！在2024年，GPT-4的多模态能力将开放！
这次的聊天里面Sam Altman也透露了一些其它内容。首先，目前OpenAI最大的问题是GPU算力不够。包括支持更长的上下文、fine-tuning接口、多模态GPT-4等都是因为GPU不足而没有开放。
其次，OpenAI也不会发布插件的API访问接口。目前很多开发者希望能通过API访问插件。但是，Sam Altman认为，插件的API功能没有很好的匹配市场需求，未来将不会发布API访问插件的功能。
最后，模型的扩展规律依然有效（即模型参数规模增长，性能更强）。从OpenAI内部的数据看，模型的参数规模增长依然会提高性能，只是不像前几年那样增长几百倍（GPT-1参数1.17亿，GPT-2参数15亿、GPT-3参数1750亿，GPT-4未公布）。可能会增长几倍这样子。OpenAI将会继续尝试扩大模型规模，可能每年增长1倍或者3倍这样子。从这个讨论点看，GPT-4估计参数规模还是比GPT-3要大的！
以上就是这次讨论的重点内容，可以看到还是非常多信息量的。而且未来一段时间OpenAI将要发布的产品和能力也很清楚：基本上就是围绕GPT-4模型，开放更长的上下文、降低GPT-4的使用成本，并在不久的将来开放模型微调、私有化部署以及多模态的能力。
从这些看，OpenAI在大模型上的应用的确是非常有战略性的。尽管目前Google的Bard、Anthropic的ClaudeAI以及一些开源社区的模型也很强大。但是从市场成熟度和未来规划来说，还是比OpenAI差不少的。但是，OpenAI这个严格的动不动删号退款的限制也是让人头疼的很。还是希望，竞品快速成长，让我们多一点选择。