近期LLM的部署与应用经历(3)
💡
原文中文，约3500字，阅读约需9分钟。
📝
内容提要
作者探讨了AI模型的进展，分享了使用RTX4090显卡和vLLM框架的体验。通过DeepSeek的新模型，长上下文处理能力显著提升，理解和生成内容的能力增强。尽管硬件更新迅速，AI软件优化同样至关重要，展现出无限潜力。
🎯
关键要点
- 作者使用RTX4090显卡和vLLM框架进行AI模型的探索。
- DeepSeek的新模型显著提升了长上下文处理能力。
- AI软件优化在硬件更新迅速的情况下同样重要。
- 作者尝试在两张RTX4090上运行GPT-OSS模型，发现性能提升明显。
- 使用vLLM框架比Ollama更高效，支持多卡并行。
- DeepSeek支持1M长上下文，能够更好地理解和生成内容。
- 作者通过DeepSeek生成简历和分析文章，效果显著。
- 新模型在8GiB内存的MacBook上运行良好，表现优于早期模型。
- LFM2.5-1.2B-Thinking模型在小参数下表现出色，展示了算法进步。
- AI软件的发展潜力巨大，有限硬件环境下也能期待无限智能。
❓
延伸问答
作者使用了什么显卡进行AI模型的探索？
作者使用了RTX4090显卡进行AI模型的探索。
DeepSeek的新模型有什么显著的提升？
DeepSeek的新模型显著提升了长上下文处理能力，支持1M长上下文。
vLLM框架与Ollama相比有什么优势？
vLLM框架比Ollama更高效，支持多卡并行运行。
作者在使用DeepSeek时遇到了什么问题？
作者发现使用摘要会省略一些细节，因此直接上传完整内容效果更好。
LFM2.5-1.2B-Thinking模型的特点是什么？
LFM2.5-1.2B-Thinking模型参数较小，但表现出色，具备思维链能力。
作者对AI软件的未来发展有什么看法？
作者认为AI软件的发展潜力巨大，有限硬件环境下也能期待无限智能。
➡️
