DeepSeek v4发布了Pro和Flash两个版本，分别拥有1.6T和284B参数，价格低至3.48美元和0.28美元。Pro版适合复杂任务，Flash版则注重低成本高吞吐。DeepSeek的开源程度和性能接近顶级闭源模型，预计新硬件上市后推理成本将进一步降低，推动开源AI的发展。

本文探讨了大语言模型（LLM）推理中的成本、延迟和吞吐量之间的权衡，强调了硬件选择、模型架构和量化等因素对优化的影响。理解成本的多维特性和优化策略对于有效管理基础设施预算至关重要。通过合理的工程决策和基准测试，可以在吞吐量和延迟之间找到最佳平衡，以满足不同工作负载的需求。

本文介绍了如何将Florence-2模型部署到Inferentia2，采用Stage-wise编译、Bucket策略和BF16优化，实现了252ms的延迟和8.18 QPS的吞吐量，推理成本比GPU降低38%。Florence-2具备零样本能力，适用于电商和仓储等场景，显著降低了物品分类的运维成本和复杂度。

KARL模型通过强化学习显著降低了推理成本和延迟，同时提升了质量，适用于Databricks客户，帮助他们创建定制的RL模型，尤其在处理复杂问题时表现优异。

Baseten、DeepInfra、Fireworks AI和Together AI通过NVIDIA Blackwell平台优化推理堆栈，显著降低各行业的每个token成本。MIT研究表明，基础设施和算法效率每年可将推理成本降低10倍。医疗、游戏和客户服务等领域的公司利用开源模型和NVIDIA Blackwell实现了成本节约和响应时间提升。

构建大型语言模型（LLM）应用时，推理成本和响应时间可能超出预期。低批量推理的瓶颈主要在于内存带宽而非计算能力。文章讨论了推理成本、性能瓶颈及优化策略，强调语义缓存和Redis在降低成本和提升响应速度中的关键作用。

浪潮信息推出元脑HC1000超扩展AI服务器，推理成本首次降至1元/百万token，助力智能体产业化。火山引擎数据显示，字节跳动豆包大模型日均token使用量突破50万亿，谷歌月均达1300万亿。新架构提升推理性能1.75倍，资源利用率最大化。

本文探讨了大模型推理中的KV Cache优化，分析了显存瓶颈及其对推理成本的影响。通过比较DeepSeek MLA和vLLM等技术架构，提出了Prompt Cache的应用，以降低推理成本并提升效率。

DeepSeek-AI 发布了新模型 DeepSeek-V3.2-Exp，采用稀疏注意力机制（DSA），显著提升长文本任务的训练与推理效率。DSA 通过闪电索引器和细粒度令牌选择，降低计算复杂度，保持模型性能。模型训练分为密集预热和稀疏训练阶段，使用大量上下文数据。测试结果显示，V3.2-Exp 在多项任务中表现稳定，推理成本显著降低，未来将进行大规模真实场景测试。

本文探讨了大模型推理的经济学，分析了推理成本的来源及其对盈利能力的影响。以LLaMA 3.3为例，讨论了模型参数、GPU需求及其对推理效率的影响。推理过程分为计算受限和内存受限两个阶段，强调了批处理在降低单位成本中的重要性。随着输入长度和批量规模的增加，推理成本与效率的关系变得复杂，理解这些因素对AI发展的经济影响至关重要。

了解AI在生产中的成本有助于实现高质量和盈利。推理过程的计算挑战与模型训练不同，推理成本随着模型使用增加而上升。企业需优化资源以降低推理成本，同时提高速度和准确性。AI生态系统致力于降低推理成本和提升能效，企业应掌握关键术语，合理配置计算资源，以实现高效经济的AI解决方案。

Deep Infra获得1800万美元A轮融资，专注于提供低价GPU访问，支持多种开源模型。创始团队具备丰富的基础设施经验，强调硬件的重要性以降低推理成本。近两年使用量增长8000倍，日生成令牌数量增长16倍，受益于开源模型的兴起。