大模型的发展速度很快,对于需要学习部署使用大模型的人来说,显卡是一个必不可少的资源。使用公有云租用显卡对于初学者和技术验证来说成本很划算。DataLearnerAI在此推荐一个国内的合法的按分钟计费的4090显卡公有云服务提供商仙宫云,可以按分钟租用24GB显存的4090显卡公有云实例,非常具有吸引力~
MistralAI是一家法国的大模型初创企业,其2023年9月份发布的Mistral-7B模型声称是70亿参数规模模型中最强大的模型,并且由于其商用友好的开源协议,吸引了很多的关注。在昨晚,MistralAI突然在推特上公布了一个磁力下载链接,而下载之后大家发现这是一个基于混合专家的大模型这是由8个70亿参数规模专家网络组成的混合模型(Mixture of Experts,MoE,混合专家网络)。
如何基于PyTorch来优化大模型训练的内存(显存)使用:8种方法总结
国产全球最长上下文大语言模型开源:XVERSE-13B-256K,一次支持25万字输入,免费商用授权~
MistralAI发布了Mixtral 8×7B MoE模型的论文,更详细的参数和对比结果~
tf.nn.softmax_cross_entropy_with_logits函数
吴恩达宣布和OpenAI、LangChain、Lamini三家公司一起推出三门全新AI短视频课程:ChatGPT API、LangChain和Diffusion Models
Dirichlet Multinomial Mixture Model做短文本聚类(包括代码)
最新消息显示OpenAI可能还在训练GPT-5,可能在今年年中发布GPT-5