字节跳动、阿里巴巴、腾讯向英伟达订购超300万张RTX PRO 5500，总价超350亿美元，但英伟达最多仅能供货一成。该卡无NVLink、不在美国限制清单内，可合法进口，主要用于推理。同类卡去年5万元被嫌贵，今年涨至9万元仍被抢购，反映国内推理需求爆发、国产芯片受制于先进制程和HBM产能。大厂真正争夺的是台积电产能，芯片涨价潮或持续。

推理需求快速增长，预计到2030年将占全球AI计算的主要部分。许多团队未能有效利用计算资源，导致重复计算浪费。DigitalOcean通过前缀感知路由和缓存技术优化推理性能，提高缓存命中率，降低计算成本，并将在Serverless Inference中推广，帮助用户节省计算资源。

向量数据库适合处理非结构化数据，能快速检索相似信息，但在多步逻辑推理上存在局限。图形RAG通过知识图谱实现精确的关系检索，适合复杂推理和结构化问题。未来，混合架构将结合两者的优势，以满足更高的推理需求。

完成成熟的AI基础设施项目是重要里程碑。尽管大多数项目依赖NVIDIA GPU，但国内GPU品牌市场广阔。LLM应用展现出解决现实问题的强大能力，成功反馈将更直接，推理需求依赖实际应用。我们正处于AI的最佳时代，需珍惜。