💡
原文中文,约2200字,阅读约需6分钟。
📝
内容提要
AMD Zen 5 性能提升,介绍了用纯 Rust 重写的 ffmpReg ffmpeg 库,支持 WAV 转换和部分 MKV 流读取。Haagenti 是一个纯 Rust 压缩库,能在 24GB 显存的 GPU 上运行 700 亿参数模型,采用 HoloTensor 编码技术,目标吞吐量为 25 tk/s。
🎯
关键要点
- AMD Zen 5 性能提升,介绍了用纯 Rust 重写的 ffmpReg ffmpeg 库。
- ffmpReg 支持 WAV 转换和部分 MKV 流读取,完整的容器支持即将推出。
- Haagenti 是一个纯 Rust 压缩库,能在 24GB 显存的 GPU 上运行 700 亿参数模型。
- Haagenti 采用 HoloTensor 编码技术,目标吞吐量为 25 tk/s。
- Haagenti 当前测得吞吐量为 1.3 tk/s,瓶颈在于张量库的开销。
- Haagenti 的目标是将 140GB 的数据装进 24GB 的存储空间,支持 SIMD 加速和可选 CUDA。
- Haagenti 旨在使前沿人工智能在本地私有地运行,而不需要云基础设施或企业级硬件。
➡️