云原生
·
FAQ
💡
原文中文，约1900字，阅读约需5分钟。
📝
内容提要
本文总结了AI领域的常见问题与解答，涵盖基础概念、技术原理及应用场景，帮助读者理解AI知识。讨论了量化与蒸馏的区别、模型优化技术、轻量模型部署及Hugging Face的使用方法。
🎯
关键要点
- 本文总结了AI领域的常见问题与解答，涵盖基础概念、技术原理及应用场景。
- 量化通过降低模型权重和激活的数值精度来减少内存占用和推理计算量，但可能有精度损失。
- 蒸馏通过让小模型学习大模型的知识，得到结构更小、性能更优的模型，保持较高精度但训练成本较高。
- 混合精度训练结合使用FP16和FP32，适合大规模模型训练。
- 低秩分解将权重矩阵分解为低秩近似，适合模型压缩与加速。
- LoRA在权重矩阵中插入低秩分解，适合下游微调。
- PEFT包括LoRA、Prefix-Tuning、Adapter等，适合资源有限的专用任务微调。
- PagedAttention优化显存分配，适合长文本推理。
- 大模型本地部署的优化包括选择轻量模型、使用量化和轻量推理框架。
- FlashAttention优化注意力计算，PagedAttention减少长文本推理的显存压力。
- Hugging Face Hub类似于模型代码的GitHub，支持git clone/push。
- LLM主要处理文本，而Stable Diffusion主要处理图像，前者是序列预测，后者是扩散采样。
- MoE将模型分成多个专家子网络，能在保持参数规模的同时降低推理成本。
- 在Hugging Face或GitHub上，主要看模型大小、上下文长度、精度/量化格式、支持模态和硬件需求等指标。
❓
延伸问答
量化和蒸馏有什么区别？
量化通过降低模型权重和激活的数值精度来减少内存占用和推理计算量，但可能有精度损失；蒸馏则是让小模型学习大模型的知识，得到更小且性能更优的模型，保持较高精度但训练成本较高。
什么是混合精度训练，它的优势是什么？
混合精度训练结合使用FP16和FP32，提升训练速度和显存利用率，适合大规模模型训练。
如何优化大模型的本地部署？
优化大模型本地部署的方法包括选择轻量模型或蒸馏模型，使用量化技术，利用轻量推理框架，以及调整batch size和上下文长度。
Hugging Face Hub与GitHub有什么相似之处？
Hugging Face Hub类似于模型代码的GitHub，支持git clone和push，方便用户管理和使用模型。
LLM和Stable Diffusion的主要区别是什么？
LLM主要处理文本，进行生成、推理和对话，而Stable Diffusion是扩散模型，主要处理图像，核心区别在于前者是序列预测，后者是扩散采样。
MoE是什么，它如何与LLM相关？
MoE（Mixture of Experts）将模型分成多个专家子网络，推理时只激活部分，减少计算量。它是LLM的一种架构优化，能在保持参数规模的同时降低推理成本。
🏷️
标签
➡️
