AI时代，芯片性能瓶颈从算力转向内存带宽。苹果、小米、英伟达等厂商通过统一内存、3D堆叠、HBM等技术提升数据传输速度，以应对大模型对数据的巨大需求。这源于“内存墙”问题，即算力增速远超内存带宽，导致处理器等待数据。未来芯片设计需让数据少走弯路，硬件物理法则仍不可逃避。

LLM长上下文推理成本高，主因是KV缓存随token数线性增长，解码时需逐token读取全部缓存，受内存带宽限制。优化方法包括：分组查询注意力、潜在注意力减少每token存储；量化降低存储精度；驱逐机制减少token数；分页注意力和前缀缓存提升内存管理效率。各方法在质量、工程复杂度间权衡，适合长上下文和高并发场景。

苹果决定跳过M6 Pro和M6 Max，提前推出M7系列芯片，以应对激烈的AI竞争。M6将作为过渡版，M7专为AI设计，预计在2027年发布，内存带宽和AI性能将大幅提升。尽管面临内存短缺和CEO更换的挑战，苹果认为不冒险才是最大的风险。

华为副总裁陈林透露，昇腾950DT芯片将于8月上线，算力翻倍，内存带宽提升至4TB/s。950PR和950DT两个版本分别针对不同市场需求，前者降低成本，后者专注高带宽场景。DeepSeek将优先部署950DT，预计在8月推出新版本，进一步提升AI模型能力。

NVIDIA的Vera CPU在最新基准测试中表现优异，满足代理AI对快速核心和高内存带宽的需求。Vera采用定制的Olympus核心，提供高达1.2TB/s的内存带宽，性能较前代Grace CPU提升1.6倍，成为与Intel和AMD竞争的强大对手。预计将在下半年向合作伙伴提供。

本文介绍了推测解码的工作原理及其在大型语言模型推理中的应用。推测解码通过小型草稿模型生成多个候选标记，并利用大型目标模型并行验证，从而显著提高推理速度，达到2-3倍的加速效果。该方法有效解决了内存带宽瓶颈问题，适用于翻译、摘要等任务。选择合适的草稿模型是实现最佳效果的关键。

亚马逊推出了新的EC2 C8id、M8id和R8id实例，基于NVMe SSD存储，计算性能提高43%，内存带宽增加3.3倍，适合计算和内存密集型工作负载，支持更大规模配置，现已在多个AWS区域可用。

Amazon EC2 M8a 实例正式发布，基于第五代 AMD EPYC 处理器，性能提升高达 30%，内存带宽提高 45%。适合高性能应用，支持灵活配置，提供高达 75 Gbps 网络带宽，适用于通用型应用、财务和 ERP 系统，现已在多个 AWS 区域上线。

该研究提出了一种新架构，优化RISC-V处理器的向量内存访问，提升内存带宽利用率和访问模式，采用新型移位网络，使向量操作性能提高至2倍，并与现有RISC-V向量扩展兼容。

Rajput强调理解硬件架构对性能优化的重要性，指出尽管LLM（如Llama）可在CPU上运行，但内存带宽和缓存的使用至关重要。通过优化软件与硬件的协同，可以显著提升性能。他还讨论了多线程和批处理的影响，建议在部署时考虑内存需求和实例配置，以避免性能瓶颈。

本文介绍了Intel UHD Graphics 730的性能参数，包括计算单元、时钟频率、内存带宽及其在单精度、半精度和整数计算等方面的能力。

至强6处理器在核数和内存带宽上显著提升，推理性能增强，性价比提高。MRDIMM技术支持更高的内存带宽和容量，适合AI训练和大型数据库应用。CXL内存扩展进一步提升性能，降低推理成本。