推理需求快速增长，预计到2030年将占全球AI计算的主要部分。许多团队未能有效利用计算资源，导致重复计算浪费。DigitalOcean通过前缀感知路由和缓存技术优化推理性能，提高缓存命中率，降低计算成本，并将在Serverless Inference中推广，帮助用户节省计算资源。

微软与OpenAI的早期合作中，微软高层担心OpenAI可能转向亚马逊并批评Azure。OpenAI需要大量计算资源，Altman提议更大规模的合作。最终，微软在2018年投资了10亿美元，但OpenAI最近与微软的协议受到限制，可能会将其AI模型引入AWS。

人工智能已成为现代软件系统的核心能力，但许多组织因旧基础设施不兼容而面临挑战。传统系统无法满足AI对并行计算和实时数据流的需求，导致项目延误和成本上升。构建AI就绪基础设施需要转变思维，关注数据、系统和组织能力。成功的关键在于进行基础设施审计、建立高质量数据基础、现代化计算资源，并创造“安全失败”的实验环境。

研究人员开发了一种新方法，通过训练较小模型预测大型语言模型（LLMs）的输出，显著加速训练速度，节省计算资源。测试结果显示，训练速度提高了70%至210%，同时保持准确性。这项研究有望降低高级LLMs的开发成本和能耗。

当数据库性能下降时，需要决定是扩展现有数据库还是使用多个数据库。选择依据包括工作负载、预算和瓶颈。文章提供了诊断方法和扩展策略：垂直扩展（增加计算资源）适合写入密集型工作负载，而水平扩展（添加只读副本）适合读取密集型工作负载，以有效分担负载。

Amazon SageMaker AI推出无服务器模型定制功能，支持多种热门AI模型。用户可通过简易界面快速定制，缩短流程时间，并支持强化学习等微调技术，自动选择计算资源，简化模型训练与部署。该功能已在多个地区上线。

Flask框架现可在Vercel上即时部署，无需配置更改，支持自动根据流量调整计算资源，用户仅为实际使用的CPU时间付费。

本章探讨智能代理的高级推理方法，强调多步骤逻辑推理和问题解决。通过分解问题和增加计算资源，代理能够更准确地解决复杂问答、数学问题、代码调试和战略规划等实际应用。这些方法提高了代理的准确性和可靠性，推动了自主智能体的发展。

近年来，强化学习在提升大语言模型推理能力方面取得显著进展，但仍面临计算资源和算法设计等挑战。清华大学与多机构合作，分析基础架构和研究方向，识别未来发展机遇。

为优化搜索部署，确保系统与工作负载匹配至关重要。新推出的存储优化搜索节点专为大型索引设计，降低存储成本，避免过度配置计算资源，适用于索引增长但查询和索引速率稳定的场景，提供更高的存储容量和成本效益。

我们提出了一种蒸馏缩放法则，通过计算预算和学生与教师之间的资源分配来估计蒸馏模型的性能。研究表明，合理的计算资源分配可以最大化学生的性能。我们提供了两种关键场景的最佳蒸馏方案：已有教师和需训练教师的情况。在多个学生或已有教师的情况下，蒸馏优于监督学习；而在仅有一个学生且教师需训练时，监督学习更为有效。本研究加深了对蒸馏过程的理解。

《苦涩的教训》指出，随着计算资源的增加，依赖计算能力的方法将超越依赖人类知识的方法。虽然短期内人类知识能取得快速成果，但从长远来看，依赖算力的方法将占优势。深蓝和AlphaGo Zero的历史案例证明，成功的关键在于大规模增加计算资源，而非仅依赖专家系统。

德国正在建设首个工业AI云，由德电运营，提供计算资源以加速企业AI应用。这将提升德国在智能机器人和AI基础设施方面的竞争力，预计AI千兆工厂将在2027年上线，进一步推动发展。