💡 原文中文,约2200字,阅读约需6分钟。
📝

内容提要

AMD Zen 5 性能提升,介绍了用纯 Rust 重写的 ffmpReg ffmpeg 库,支持 WAV 转换和部分 MKV 流读取。Haagenti 是一个纯 Rust 压缩库,能在 24GB 显存的 GPU 上运行 700 亿参数模型,采用 HoloTensor 编码技术,目标吞吐量为 25 tk/s。

🎯

关键要点

  • AMD Zen 5 性能提升,介绍了用纯 Rust 重写的 ffmpReg ffmpeg 库。
  • ffmpReg 支持 WAV 转换和部分 MKV 流读取,完整的容器支持即将推出。
  • Haagenti 是一个纯 Rust 压缩库,能在 24GB 显存的 GPU 上运行 700 亿参数模型。
  • Haagenti 采用 HoloTensor 编码技术,目标吞吐量为 25 tk/s。
  • Haagenti 当前测得吞吐量为 1.3 tk/s,瓶颈在于张量库的开销。
  • Haagenti 的目标是将 140GB 的数据装进 24GB 的存储空间,支持 SIMD 加速和可选 CUDA。
  • Haagenti 旨在使前沿人工智能在本地私有地运行,而不需要云基础设施或企业级硬件。
🏷️

标签

➡️

继续阅读