#ZeRO

DeepSpeed

微软开源的深度学习优化库，ZeRO 分片技术让大模型训练显著省显存。