【Rust日报】2024-02-29 - crabml，使用 Rust 重写 GGML

crabml是一个使用Rust重写GGML的实验性项目。

crabml支持推理Q8_0量化的Llama 3B模型，性能与ggml相差仅1token/s。

crabml的设计目标是专注于推理，限制张量运算至最低限度。

crabml在廉价硬件上具有快速的推理能力，并从一开始就采用mmap()。

SIMD实现的优先级高于GPU实现。

crabml的作者将在3月3日分享关于Rust和AI推理的内容。

Yoshua Wuyts为WASI 0.2设计了一个异步运行时的实现。

Yoshua Wuyts是Rust开发者，async-std的合作者之一。

WASI 0.2的异步运行时实现经验值得Rust异步运行时设计和实现的学习者参考。

Rust周报第536期发布，提供最新的Rust相关内容。