众所周知训练大模型(LLM)是一件“费时费钱”的事情，该项目通过 ZeRO++ 技术，在训练时将模型状态分割到每个 GPU 上，通过提高吞吐量的方式，降低训练所需的时间和成本。