口袋中的生成式人工智能的未来
内容提要
本文讨论了生成式人工智能从云端迁移到用户设备的可能性及其对应用开发者的影响。小型模型已经能够在消费级硬件上运行，应用程序可以在本地进行处理，消除了成本限制，提供更好的用户体验，并保证了数据隐私。文章还讨论了机遇和基础设施创新的可能性。生成式人工智能从云端迁移到用户设备将带来更好的产品和更低的成本，需要更新市场策略、组织技能和开发工具。
延伸解读
本地模型如何改变成本结构
文章指出，云端生成式AI因GPU成本高昂，打破了SaaS近乎零边际成本的模式，导致产品定价偏高。本地模型则完全免费，消除了成本下限。这意味着开发者可以重新设计定价策略：对于将AI作为附加功能的产品，可将其融入现有订阅层级；对于以AI为核心且按成本定价的产品，价格可能下降但销量会大增；对于按价值定价的产品，则主要提升利润率。
开发者技能与工具的新要求
转向本地模型后，提示工程和少样本训练不再核心，微调变得至关重要。这要求组织具备ML工程师和数据科学家等能力，而许多团队此前依赖SOTA LLM的API，无需这些角色。短期内产品构建更难，因为需要差异化的小模型；但长期看，差异化模型能提升产品价值。开发者需适应新工具链，如Apple的MLX和GGML，并关注模型交付、适配器市场等基础设施创新。
隐私与个性化优势
本地模型能保证数据隐私，因为用户数据无需上传云端。同时，它支持为每台设备开发个性化模型变体，解决了以往个性化模型分发困难的问题。通过LoRA适配器，模型变体可小于基础模型的1%，便于分发和切换。这不仅增强了隐私，还让应用能提供更贴合用户需求的体验，而无需依赖通用基础模型。
硬件生态的成熟与挑战
硬件方面，Apple的ARM处理器和统一内存架构已支持本地推理，微软Copilot+ PC和高通Snapdragon X Elite等也在跟进。软件上，MLX、GGML等库优化了消费级硬件利用。然而，小模型仍有几GB，不适合作为独立依赖。预计操作系统将捆绑LLM，开发者可发布10s MB的适配器。但设备间模型不一致可能带来挑战，需关注收敛趋势。
Q&A
生成式人工智能从云端迁移到用户设备的主要原因是什么？
主要原因包括降低成本、改善用户体验和确保数据隐私。
本地模型如何改变应用程序的定价策略？
本地模型消除了对云端模型的依赖，使得应用程序的定价不再受限于高昂的推理成本。
开发者需要哪些新技能来适应本地生成式人工智能的普及？
开发者需要掌握微调和定制模型的技能，而不仅仅是依赖现有的基础模型。
小型模型在生成式人工智能中的作用是什么？
小型模型能够在消费级硬件上运行，满足大多数生成应用的需求，并支持个性化模型的开发。
本地模型对用户数据的处理有什么优势？
本地模型能够保证数据隐私，用户数据不需要上传到云端，从而减少隐私泄露的风险。
未来生成式人工智能的发展趋势是什么？
未来将看到生成式人工智能在用户设备上运行，带来更好的产品和更低的成本，同时需要更新市场策略和开发工具。
