lele: Rust 把 ONNX 模型编译成机器码的 AI 框架
💡
原文中文，约700字，阅读约需2分钟。
📝
内容提要
我正在开发一个纯 Rust、零依赖的音频 AI 推理框架 lele，专注于语音交互，支持高效的模型编译与优化，并提供多种音频特征提取功能。
🎯
关键要点
- 开发一个纯 Rust、零依赖的音频 AI 推理框架 lele。
- 框架专注于语音交互，支持高效的模型编译与优化。
- 选择 AOT（Ahead-Of-Time）编译，直接解析 ONNX 计算图。
- 生成的模型是纯 Rust 代码，无需 libtorch 和 onnxruntime。
- 实现硬核 SIMD 优化，针对 Apple Silicon 和 x86_64 进行手写汇编级优化。
- 采用静态内存分配与零拷贝权重加载，消除运行时的 GC 和内存抖动。
- 内置音频特征提取管线，如 FFT、Mel-Spectrogram 和 CMVN。
- 目前支持的模型包括高精度多语言语音识别、工业级语音活动检测和快速高质量语音合成。
➡️
