6GB显存可运行Qwen3.6-35B-A3B-NVFP4，但需32GB以上内存，依赖CPU和PCIe。配置建议：Triton attention、memory-ratio 0.92、Prefill 2048、512专家槽。性能低于8GB的39.3 tok/s，适合短上下文和编码实验。需Ampere架构，逐步调优专家缓存和KV，实测不同后端。

英特尔在广州举办AIGC创作研讨会，推出基于锐炫Pro B70专业显卡的本地化AI视频制作方案。该显卡具备32GB显存和367 TOPS算力，支持“云端+本地”混合模式，降低算力门槛，实现从剧本到成片的全流程生成，助力中小团队高效创作。

文章实测Qwen 3.8 27B模型通过YaRN技术扩展上下文长度，发现实际可从265K扩展至768K，而非宣传的1M，原因是1M时KV Cache需84GB显存，超出128GB机器可用内存约3GB。作者计划进一步测试768K上下文在实际编程中的表现。

FreeToken通过专家缓存与CPU-GPU协同，在8GB显存上运行35B MoE模型。它将完整专家池存于内存，显存作为LRU缓存，按q*策略动态分配未命中专家至GPU或CPU，Prefill用双缓冲隐藏传输，并优化Agent状态缓存。相比llama.cpp静态卸载，FreeToken更高效，但仅适用于MoE模型。

传闻英伟达正开发新技术，利用高速SSD作为额外显存，结合RTX IO和微软DirectStorage，让GPU直接处理SSD数据，缓解显存不足时的卡顿。此举或为应对内存价格高企，但消息尚未证实。

2026年本地部署大模型趋势显示，万亿参数模型如Kimi K3可通过流式加载在8GB内存CPU上运行，但速度极慢。部署关键取决于显存容量和内存带宽，8GB适合小模型，80GB以上可运行120B模型。DeepSeek V4 Flash经量化可在128GB内存设备运行。工具选择上，LM Studio适合新手，Ollama适合开发者，llama.cpp提供精细控制。本地部署需权衡成本、速度与隐私。

英伟达通知显卡厂商上调GDDR显存价格，8月生效，导致AIC厂商封仓停售，显卡供应缩减、价格上涨。8GB显存涨76美元，12GB涨114美元，16GB涨152美元，影响RTX50系及部分中低端显卡，RTX 50 SUPER系列或暂缓发售。

AMD MI455X与NVIDIA Rubin在AI芯片性能上存在显著差异。虽然AMD的显存容量为432GB，NVIDIA为288GB，但生成速度主要取决于内存带宽而非容量。AMD通过增加堆栈数量提升容量，而NVIDIA则提高每个堆栈的速度以增强带宽。最终，带宽对大模型推理速度的影响更为关键，AMD适合处理更大模型，而NVIDIA优化了数据搬运速度。

本文讨论了PyTorch中GPU性能优化的关键概念，特别是内核与显存读写的关系。内核是GPU执行的程序，性能主要受数据在显存中读写次数的影响。通过操作融合可以减少显存流量，提高运行速度。此外，使用torch.compile工具可以自动优化代码，减少内核数量，提升性能。

本文讨论了Kueue与HAMi vGPU的结合，重点在于GPU显存和算力配额的管理。通过环境准备、资源模型和演示，展示了在Kubernetes中有效切分和管理GPU资源的方法，确保多个任务合理使用GPU，避免资源冲突，实现GPU集群的多租户管理能力。

自2023年《3D Gaussian Splatting for Real-Time Rendering of Radiance Fields》发布以来，3DGS技术在三维重建领域迅速崛起。与传统NeRF相比，3DGS在渲染速度和视觉质量上有显著提升，但对显存和计算资源的要求较高。加州大学伯克利分校等机构开发的开源项目gsplat优化了训练框架，显著降低了资源需求，支持多种数据来源，并提供实时Web查看功能，便于快速验证模型。

GLM-5.2是一个7530亿参数的开源大模型，具有百万token的上下文窗口和创新架构。其完整权重为1.51TB，普通硬件无法支持。最佳本地运行选择为256GB内存的Mac Studio，生成速度为每秒3-9个token。大多数用户应选择云GPU租用或API调用，以降低成本和技术门槛。

谷歌发布了Gemma 4 12B多模态模型，支持文本、图片、视频和音频输入，能够在仅16GB内存的消费级设备上运行。该模型采用无编码器架构，降低延迟并简化输入处理，智能化程度接近Gemma 26B版。开发者可在多个平台体验和下载该模型。

文章讨论了在本地运行小型开源模型的可行性，特别是使用llama.cpp项目。作者分享了在Windows上使用3060显卡运行Qwen3.6 9B模型的设置，包括CUDA版本和参数配置。尽管显存有限，这些模型在简单任务中仍能有效使用。

本文探讨了大语言模型中KV Cache的产生与管理及其在推理过程中的重要性。KV Cache通过缓存历史K/V向量，优化生成过程并减少计算复杂度。Prefill阶段处理所有输入，而Decode阶段逐步生成输出，二者需分离以提升性能。vLLM采用页式内存管理，解决内存碎片问题，提升存储效率，确保高效的推理系统。

Google Research 发布的 TurboQuant AI 压缩算法能够在不损失性能的情况下，将 AI 的工作记忆压缩至少 6 倍，解决显存瓶颈问题。该技术引发市场反应，导致存储芯片股价下跌。尽管前景广阔，但仍需克服训练阶段的显存消耗问题。