【Rust日报】2024-02-29 - crabml，使用 Rust 重写 GGML

项目 - crabml，使用 Rust 重写 GGML crabml 是一个正在进行中的实验性项目，相当于是使用 Rust 重新实现 GGML。目前它已经支持推理 Q8_0 量化的Llama 3B模型，与 ggml 性能差距仅有 1token/s 。 其设计目标是： 专注于推理。 将张量运算限制为 LLM 推理所需的最低限度。 在廉价硬件上具有足够快速的推理能力。 从实现之初就采用 mmap() 。 SIMD 实现的优先级大于 GPU 实现。 crabml 的作者 f 叔 将会在周日（3 月 3 日）晚 7 点分享关于 Rust 和 AI 推理相关的内容，欢迎届时访问 https://meet.google.com/qnc-opkf-aft 参与。 GitHub - crabml/crabml: https://github.com/crabml/crabml 文章 - 为 WASI 0.2 设计异步运行时 来自 Yoshua Wuyts 的文章，著名的 Rust 开发者，async-std 的合作者之一，并且刚刚为 WASI 0.2 完成了一个可以工作的、最小的、正确的异步运行时的实现。 在这篇文章中详细介绍了作者如何为 WASI 0.2 实现这一运行时的。作者是第一个编写这一特定用途的代码的人，这些经验值得来自 Smol、Monoio、Glommio 或 Tokio 社区或者对 Rust 异步运行时设计和实现感兴趣的人学习。 Designing an Async Runtime for WASI 0.2: https://blog.yoshuawuyts.com/building-an-async-runtime-for-wasi/ Week In Rust 536 新一期的 Rust 周报速递发布，快来看看有哪些内容你曾经关注过 :) This Week in Rust 536: https://this-week-in-rust.org/blog/2024/02/28/this-week-in-rust-536/ From 日报小组 PsiACE 社区学习交流平台订阅： Rust.cc 论坛：支持 rss 微信公众号：Rust 语言中文社区