【Rust日报】2024-02-29 - crabml，使用 Rust 重写 GGML

crabml是一个使用Rust重写GGML的实验性项目，已经支持推理Q8_0量化的Llama 3B模型，性能与ggml相差仅1token/s。crabml的设计目标是专注于推理，具有足够快速的推理能力，并采用mmap()和SIMD实现。同时，Yoshua Wuyts为WASI 0.2设计了一个异步运行时的实现。