💡
原文英文，约600词，阅读约需3分钟。
📝
内容提要
Cactus是一家Y Combinator支持的初创公司，提供本地AI推理解决方案，适用于移动和低功耗设备。其SDK在beta版中提升了低端硬件性能，支持多种模型和量化级别，允许开发者本地部署模型，并提供云回退功能以确保高可用性。该SDK对学生、教育者、非营利组织和小企业免费开放。
🎯
关键要点
- Cactus是一家Y Combinator支持的初创公司，提供本地AI推理解决方案，适用于移动和低功耗设备。
- SDK的beta版提升了低端硬件性能，支持多种模型和量化级别，允许开发者本地部署模型。
- SDK提供云回退功能，以确保高可用性。
- Cactus支持多种开发语言，包括React Native、Flutter和Kotlin Multiplatform，iOS开发者可使用Kotlin Multiplatform绑定。
- Cactus的本地AI推理方法比Apple和Google的解决方案更通用，支持多种模型和量化级别。
- SDK支持内置模型版本控制和空中更新，无需应用更新即可推送新模型版本。
- Cactus v1彻底重构了推理引擎，采用专有格式并优化了ARM-CPU内核。
- 提供详细的AI模型性能、使用模式和优化机会的洞察，帮助开发团队做出明智的决策。
- Cactus v1支持工具调用和语音转录，Flutter SDK提供RAG微调，React Native SDK提供图像嵌入。
- Cactus发布了基准测试，展示不同设备的性能表现，结果显示不同设备的处理速度。
- Cactus的最小模型gemma-3-270m-it压缩后为172 MB，支持完成任务。
- Cactus为学生、教育者、非营利组织和小企业提供免费开源服务，代码可从GitHub克隆。
