PatrickStar是一个基于PyTorch的预训练模型并行训练框架，采用动态内存管理和异构训练策略，降低GPU内存使用，支持大模型训练，特别适合硬件受限环境下的预训练和大规模微调。