高效微调 100 多种大语言模型：先计算法，急速推理！ | 开源日报 No.305
原文中文，约2000字，阅读约需5分钟。
📝
内容提要
LLaMA-Factory 是一个高效的 WebUI，支持对 100 多种大型语言模型进行微调，涵盖增量预训练和奖励模型训练等多种方法。该平台提供多种精度和先进算法，支持快速推理，并集成实验监控工具，适合开发者进行语言模型相关工作。
❓
Q&A
LLaMA-Factory 是什么？
LLaMA-Factory 是一个高效的 WebUI，支持对 100 多种大型语言模型进行微调。
LLaMA-Factory 支持哪些微调方法？
它支持增量预训练、指令监督微调和奖励模型训练等多种方法。
LLaMA-Factory 提供哪些实验监控工具？
它集成了 FlashAttention-2、LlamaBoard 和 TensorBoard 等实验监控工具。
LLaMA-Factory 的推理速度如何？
LLaMA-Factory 提供基于 vLLM 的 OpenAI 风格 API，推理速度非常快。
LLaMA-Factory 支持哪些精度和算法？
它支持 16 比特全参数微调、LoRA 微调等多种精度和 GaLore、BAdam 等先进算法。
LLaMA-Factory 适合哪些用户使用？
该平台适合开发者进行语言模型相关工作。
🏷️
