➡️
继续阅读
-
墨芯成立稀疏计算产学研联盟,以生态协同突破产业化壁垒
墨芯人工智能成立稀疏计算产学研联盟,旨在推动稀疏计算产业化,应对AI算力需求激增。联盟聚焦能效提升、研发转化和生态建设,联合高校与企业,攻克技术门槛高、生...
-
HeteroFlow v2 推理服务发布:统一 API 背后的运维账要算清楚
HeteroFlow v2发布推理服务,通过统一OpenAI兼容API调度9种GPU和5种推理引擎,支持多租户、计费与自动扩缩容。文章肯定其方向,但警示需...
-
除了交叉熵,LM Loss还有什么选择?
一直以来,交叉熵(Cross Entropy)都是LLM预训练和微调的标准损失函数。那这个“标准”可以改吗?如果想改,那又有哪些选择呢?改完之后又会带来什...
-
【Transformer 与注意力机制】59|推理退化:乱码、死循环与无意义文本为何不是同一种 bug
本文探讨了大语言模型在推理阶段的退化现象,如死循环和乱码等问题。退化源于自回归Transformer的注意力机制和数值精度,导致输出失控。文章分析了退化的...
-
【Transformer 与注意力机制】49|KV Cache:推理为什么是 O(n) 不是 O(n²)
KV Cache 是自回归推理中缓存历史 token 的 Key 和 Value,避免重复计算前缀。它利用历史 K/V 不变性,将重复计算转为显存占用,成...
-
都怪WebView框架:Windows 11天气应用打开会占用1GB的内存
Windows 11天气应用因使用WebView2框架,启动时占用约1GB内存,交互或渲染动态画面时可达1.5GB,主要因加载广告和资讯模块所致。在8GB...