FusionLLM：一种基于地理分布 GPU 的去中心化 LLM 训练系统，具有自适应压缩功能

Poseidon系统架构用于优化分布式GPU训练，支持CPU和GPU。

提出改进的分布式等待无后向算法和结构感知通信协议，以减少通信开销。

在8个节点的GPU群集上，Poseidon系统在22K数据集上表现出更好的加速比和竞争力的准确性。

研究提出的adaComp算法通过模型数据压缩显著减少了工人发送到服务器的数据量。

软硬协同优化的分布式深度学习系统缩短了深度神经网络的训练时间，并在Resnet-101上取得了33.8%的验证精度。

新网络架构将集群分为互连的GPU集合，减少了75%的网络成本，同时保持LLM训练性能。

异构深度神经网络调度器通过自动分区和设备映射优化计算性能，适用于大型语言模型的调度。

研究提出的分散系统利用消费级GPU进行大型语言模型的预训练、推理和微调，性能与昂贵的H100 GPUs相媲美。

Holmes训练框架在异构NIC环境下实现了可扩展性，接近RDMA网络性能。

提出的分布式训练策略和混合压缩策略显著提高了训练效率和每个GPU的TFLOPS。