大模型的发展速度很快,对于需要学习部署使用大模型的人来说,显卡是一个必不可少的资源。使用公有云租用显卡对于初学者和技术验证来说成本很划算。DataLearnerAI在此推荐一个国内的合法的按分钟计费的4090显卡公有云服务提供商仙宫云,可以按分钟租用24GB显存的4090显卡公有云实例,非常具有吸引力~
Simple Bench:一个专为“常识”而生的大模型评测基准
OpenAI第二代DALL·E发布,可以使用自然语言创造和编辑图片的模型
微软开源DeepSpeed Chat——一个端到端的RLHF的pipeline,可以用来训练类ChatGPT模型。
Dirichlet Process and Stick-Breaking(DP的Stick-breaking 构造)
Dask分布式任务中包含写文件的方法时候,程序挂起不结束的解决方案
如何解决大模型微调过程中的知识遗忘?香港大学提出有监督微调新范式并开源新模型LLaMA Pro