#硬件设备 消费级显卡价格继续上涨：产业链消息称英伟达已经通知 AIC/AIB 上调 GDDR 显存价格，随后诸多厂商直接封仓等待调价政策 8 月落地。封仓停止出货导致 7 月末显卡供应继续缩减因此价格持续上涨，而 8 月份调价落地后显卡价格可能还会继续涨。价格方面，8GB 显存涨价 76 美元，12GB 显存涨价 114 美元，16GB 显存涨价 152...

AMD MI455X与NVIDIA Rubin在AI芯片性能上存在显著差异。虽然AMD的显存容量为432GB，NVIDIA为288GB，但生成速度主要取决于内存带宽而非容量。AMD通过增加堆栈数量提升容量，而NVIDIA则提高每个堆栈的速度以增强带宽。最终，带宽对大模型推理速度的影响更为关键，AMD适合处理更大模型，而NVIDIA优化了数据搬运速度。

本文讨论了PyTorch中GPU性能优化的关键概念，特别是内核与显存读写的关系。内核是GPU执行的程序，性能主要受数据在显存中读写次数的影响。通过操作融合可以减少显存流量，提高运行速度。此外，使用torch.compile工具可以自动优化代码，减少内核数量，提升性能。

本文讨论了Kueue与HAMi vGPU的结合，重点在于GPU显存和算力配额的管理。通过环境准备、资源模型和演示，展示了在Kubernetes中有效切分和管理GPU资源的方法，确保多个任务合理使用GPU，避免资源冲突，实现GPU集群的多租户管理能力。

自2023年《3D Gaussian Splatting for Real-Time Rendering of Radiance Fields》发布以来，3DGS技术在三维重建领域迅速崛起。与传统NeRF相比，3DGS在渲染速度和视觉质量上有显著提升，但对显存和计算资源的要求较高。加州大学伯克利分校等机构开发的开源项目gsplat优化了训练框架，显著降低了资源需求，支持多种数据来源，并提供实时Web查看功能，便于快速验证模型。

GLM-5.2是一个7530亿参数的开源大模型，具有百万token的上下文窗口和创新架构。其完整权重为1.51TB，普通硬件无法支持。最佳本地运行选择为256GB内存的Mac Studio，生成速度为每秒3-9个token。大多数用户应选择云GPU租用或API调用，以降低成本和技术门槛。

谷歌发布了Gemma 4 12B多模态模型，支持文本、图片、视频和音频输入，能够在仅16GB内存的消费级设备上运行。该模型采用无编码器架构，降低延迟并简化输入处理，智能化程度接近Gemma 26B版。开发者可在多个平台体验和下载该模型。

本文探讨了大语言模型中KV Cache的产生与管理及其在推理过程中的重要性。KV Cache通过缓存历史K/V向量，优化生成过程并减少计算复杂度。Prefill阶段处理所有输入，而Decode阶段逐步生成输出，二者需分离以提升性能。vLLM采用页式内存管理，解决内存碎片问题，提升存储效率，确保高效的推理系统。

Google Research 发布的 TurboQuant AI 压缩算法能够在不损失性能的情况下，将 AI 的工作记忆压缩至少 6 倍，解决显存瓶颈问题。该技术引发市场反应，导致存储芯片股价下跌。尽管前景广阔，但仍需克服训练阶段的显存消耗问题。

英伟达正在研发9GB显存的RTX 5050显卡，配备3颗GDDR7 3GB内存，显存带宽提升至28Gbps，性能有所提高，预计价格也会更高。同时，英伟达还在开发RTX 5060改进版，使用GB205核心，性能低于RTX 5070。

阿里巴巴通义千问团队发布了Qwen3.5中型系列模型，强调以更小的参数实现更高的智能。新模型在基准测试中超越了旧版，支持在24GB内存设备上运行，适合个人和企业使用。

博板堂消息称，AMD将于2026年1月起涨价，英伟达在2月涨价。涨价由下游AIC制造商决定，因显存价格上涨，成本增加，预计显卡价格将持续上调。

在有限显存下，运行大型语言模型需平衡模型规模、量化精度和上下文长度。显存需求受模型参数、上下文缓存和系统开销影响，增加上下文长度会迅速消耗显存。选择合适的量化格式可提升性能。

在3060笔记本上测试gpt-oss时，生成速度为4.66token/s。更换为5060TI后，速度提升至27.91token/s，效果更佳。显存加载显著影响性能，未来可尝试32B模型。