Cactus v1：跨平台移动设备上的零延迟和完全隐私的LLM推理

InfoQ · 2025-12-24T11:00:00Z

Cactus是一家Y Combinator支持的初创公司，提供本地AI推理解决方案，适用于移动和低功耗设备。其SDK在beta版中提升了低端硬件性能，支持多种模型和量化级别，允许开发者本地部署模型，并提供云回退功能以确保高可用性。该SDK对学生、教育者、非营利组织和小企业免费开放。