【Rust日报】2024-02-29 - crabml，使用 Rust 重写 GGML
💡
原文中文，约1000字，阅读约需3分钟。
📝
内容提要
crabml是一个使用Rust重写GGML的实验性项目，已经支持推理Q8_0量化的Llama 3B模型，性能与ggml相差仅1token/s。crabml的设计目标是专注于推理，具有足够快速的推理能力，并采用mmap()和SIMD实现。同时，Yoshua Wuyts为WASI 0.2设计了一个异步运行时的实现。
🎯
关键要点
- crabml是一个使用Rust重写GGML的实验性项目。
- crabml支持推理Q8_0量化的Llama 3B模型，性能与ggml相差仅1token/s。
- crabml的设计目标是专注于推理，限制张量运算至最低限度。
- crabml在廉价硬件上具有快速的推理能力，并从一开始就采用mmap()。
- SIMD实现的优先级高于GPU实现。
- crabml的作者将在3月3日分享关于Rust和AI推理的内容。
- Yoshua Wuyts为WASI 0.2设计了一个异步运行时的实现。
- Yoshua Wuyts是Rust开发者，async-std的合作者之一。
- WASI 0.2的异步运行时实现经验值得Rust异步运行时设计和实现的学习者参考。
- Rust周报第536期发布，提供最新的Rust相关内容。
🏷️
标签
➡️
