阿里云PAI-灵骏大模型训练工具 Pai-Megatron-Patch 正式开源!

💡 原文中文,约12500字,阅读约需30分钟。
📝

内容提要

阿里云机器学习平台PAI算法团队开发了Pai-Megatron-Patch工具,支持大模型训练、有监督微调、离线推理和强化学习等方面的应用。该工具还提供了模型格式转换和DeepSpeed-Chat、trlx等开源框架的使用方法。

🏷️

标签

➡️

继续阅读