DeepSpeed

工具描述

DeepSpeed是一个深度学习优化库，它使分布式训练变得简单、高效、有效。

这个库的目标是让你完成如下的任务：

• 10倍大模型
• 模型训练速度提高10倍
• 最小代码更改

DeepSpeed为每个人提供极端规模的模型培训，从在大型超级计算机上培训的数据科学家到在低端群集上甚至在单个GPU上训练的数据科学家：

1. 极端规模：使用具有数百台设备的当前一代GPU集群，DeepSpeed的3D并行性可以有效地训练具有数万亿参数的深度学习模型。
2. 内存效率极高：仅需单个GPU,DeepSpeed的ZeRO-Offload就可以训练具有超过10B参数的模型，比最先进的模型大10倍，使数十亿参数的模型训练民主化，以便许多深度学习科学家可以探索更大、更好的模型。
3. 超长的序列长度：与密集变压器相比，DeepSpeed的稀疏注意力为一个数量级较长的输入序列提供动力，并获得高达6倍的执行速度。
4. 极高效的通信：3D并行性提高了通信效率，允许用户在网络带宽有限的群集上训练数十亿美元参数模型的速度提高2-7倍。1位Adam、0/1 Adam和1位LAMB可将通信量减少26倍，同时实现与Adam/LAMB相似的收敛效率，允许扩展到不同类型的GPU群集和网络。

为什么选择DeepSpeed

训练高级深度学习模型具有挑战性。除了模型设计，模型科学家还需要设置最先进的训练技术，如分布式训练、混合精度、梯度累积和检查点。然而，科学家们可能无法达到预期的系统性能和收敛速度。大模型大小更具挑战性：大模型在纯数据并行性下很容易耗尽内存，而且很难使用模型并行性。DeepSpeed解决了这些挑战，以加快模型开发和培训。

是否开源： 是

许可协议： MIT license

官方地址： https://www.deepspeed.ai/

GitHub地址： https://github.com/microsoft/DeepSpeed

初始贡献者： Microsoft Developers