近期LLM的部署与应用经历(3)
💡
原文中文，约3500字，阅读约需9分钟。
📝
内容提要
作者探讨了AI模型的进展，分享了使用RTX4090显卡和vLLM框架的体验。通过DeepSeek的新模型，长上下文处理能力显著提升，理解和生成内容的能力增强。尽管硬件更新迅速，AI软件优化同样至关重要，展现出无限潜力。
🎯
关键要点
- 作者使用RTX4090显卡和vLLM框架进行AI模型的探索。
- DeepSeek的新模型显著提升了长上下文处理能力。
- AI软件优化在硬件更新迅速的情况下同样重要。
- 作者尝试在两张RTX4090上运行GPT-OSS模型，发现性能提升明显。
- 使用vLLM框架比Ollama更高效，支持多卡并行。
- DeepSeek支持1M长上下文，能够更好地理解和生成内容。
- 作者通过DeepSeek生成简历和分析文章，效果显著。
- 新模型在8GiB内存的MacBook上运行良好，表现优于早期模型。
- LFM2.5-1.2B-Thinking模型在小参数下表现出色，展示了算法进步。
- AI软件的发展潜力巨大，有限硬件环境下也能期待无限智能。
➡️
