💡
原文英文，约600词，阅读约需3分钟。
📝
内容提要
Cactus是一家Y Combinator支持的初创公司，提供本地AI推理解决方案，适用于移动和低功耗设备。其SDK在beta版中提升了低端硬件性能，支持多种模型和量化级别，允许开发者本地部署模型，并提供云回退功能以确保高可用性。该SDK对学生、教育者、非营利组织和小企业免费开放。
🎯
关键要点
- Cactus是一家Y Combinator支持的初创公司，提供本地AI推理解决方案，适用于移动和低功耗设备。
- SDK的beta版提升了低端硬件性能，支持多种模型和量化级别，允许开发者本地部署模型。
- SDK提供云回退功能，以确保高可用性。
- Cactus支持多种开发语言，包括React Native、Flutter和Kotlin Multiplatform，iOS开发者可使用Kotlin Multiplatform绑定。
- Cactus的本地AI推理方法比Apple和Google的解决方案更通用，支持多种模型和量化级别。
- SDK支持内置模型版本控制和空中更新，无需应用更新即可推送新模型版本。
- Cactus v1彻底重构了推理引擎，采用专有格式并优化了ARM-CPU内核。
- 提供详细的AI模型性能、使用模式和优化机会的洞察，帮助开发团队做出明智的决策。
- Cactus v1支持工具调用和语音转录，Flutter SDK提供RAG微调，React Native SDK提供图像嵌入。
- Cactus发布了基准测试，展示不同设备的性能表现，结果显示不同设备的处理速度。
- Cactus的最小模型gemma-3-270m-it压缩后为172 MB，支持完成任务。
- Cactus为学生、教育者、非营利组织和小企业提供免费开源服务，代码可从GitHub克隆。
❓
延伸问答
Cactus的SDK支持哪些开发语言？
Cactus的SDK支持React Native、Flutter和Kotlin Multiplatform，iOS开发者可以使用Kotlin Multiplatform绑定。
Cactus如何确保本地AI推理的隐私性？
Cactus通过在设备上进行推理，消除了网络延迟，并默认提供完全的隐私保护。
Cactus的SDK在低端硬件上的表现如何？
Cactus的SDK在beta版中提升了低端硬件的性能，支持多种模型和量化级别。
Cactus的云回退功能有什么作用？
云回退功能确保在处理复杂或大上下文任务时的可靠性和高可用性。
Cactus的模型版本控制是如何工作的？
Cactus提供内置的模型版本控制和空中更新，允许在不需要应用更新的情况下推送新模型版本。
Cactus的基准测试结果显示了什么？
基准测试显示不同设备的处理速度，例如Mac M4 Pro达到173 tok/s，iPhone 17 Pro为136 tok/s。
➡️
