宝玉的分享 ·

当 AI 无需联网，一切皆有可能 [译]

💡 原文中文，约4300字，阅读约需11分钟。

📝

内容提要

AI正从云端转向边缘设备离线运行，英特尔、苹果、高通等推动本地AI以提升速度与隐私。云端大模型推理慢，小型本地模型更适合实时交互，如机器人Spring改用Vicuna-13B；Rewind等个人助手靠本地推理保护隐私。高通芯片可离线运行Llama 2，三星、苹果也在设备端集成AI。

🔎

延伸解读

云端大模型的速度瓶颈

文章指出，云端大模型在实时交互中反应迟缓，例如ChatGPT-3.5在机器人Spring上部署时因速度太慢而被放弃。赫瑞瓦特大学的Oliver Lemon发现，较小、本地化的模型反而效果更好。这揭示了云端推理的固有延迟问题：依赖网络和远程服务器，即使网络稳定，也可能因服务器负载而延迟。对于需要实时响应的AI助手或机器人，本地推理成为更可行的选择。

本地推理与隐私保护的双重优势

本地推理不仅提升速度，还成为隐私保护的守门人。以Rewind为例，它需要访问用户电脑上的几乎所有活动数据，包括敏感信息。通过在设备上进行训练和推理，Rewind避免了将数据上传云端，从而降低隐私泄露风险。IDC的Phil Solis认为，出于隐私和安全考虑，设备内AI技术将迎来关键发展。这表明，边缘AI在提供个性化服务的同时，能更好地满足用户对数据安全的关切。

小模型与混合策略的务实路径

文章强调，小型本地模型在特定场景下已展现出足够智能。Spring机器人采用130亿参数的Vicuna-13B，虽推理能力不及GPT，但能通过上下文标签触发预设动作和表情。同时，混合策略值得关注：Rewind在本地处理个人数据，但在需要高质量输出时可选ChatGPT。这种务实做法平衡了性能、隐私与成本，为边缘AI的落地提供了可行思路。

边缘AI的产业动向与局限

英特尔、苹果、高通等巨头正推动AI向边缘设备迁移。高通新款Snapdragon芯片可离线运行Llama 2，三星计划在家电中集成NPU，苹果Apple Watch已实现离线Siri。这些动向显示边缘AI正从概念走向产品。但文章也暗示局限：本地模型能力仍有限，且部分任务（如支付验证）仍需网络。边缘AI并非完全取代云端，而是形成互补，其发展取决于硬件性能与模型优化的持续进步。

❓

Q&A

为什么AI模型要转向离线运行在边缘设备上？

云端大模型推理速度慢，尤其是语音交互时延迟明显；小型本地模型更适合实时交互，同时本地推理能保护隐私，避免数据上传到云端。

边缘设备上的AI具体能做什么？

边缘AI可以在设备上快速处理数据，实现实时响应，例如机器人Spring使用Vicuna-13B进行对话，Rewind个人助手本地转录和搜索活动记录，高通芯片离线运行Llama 2，苹果手表离线使用Siri。

小型本地模型和大型云端模型在性能上有什么差异？

小型本地模型参数少（如Vicuna-13B有130亿参数），推理速度更快，适合实时交互，但推理能力不如大型模型（如GPT-3.5有1750亿参数）；大型模型能力更强但依赖云端且延迟高。

本地AI如何保护用户隐私？

本地AI在设备上进行训练和推理，数据无需上传到云端，减少了数据泄露风险。例如Rewind在笔记本电脑上处理所有个人数据，确保敏感信息不出设备。

有哪些公司正在推动边缘AI的发展？

英特尔、苹果、高通、三星等消费科技巨头都在推动边缘AI，例如英特尔推出AI PC和OpenVINO工具，苹果有Core ML，高通新Snapdragon芯片可离线运行Llama 2，三星计划在家电中集成NPU。

边缘AI面临哪些挑战或限制？

边缘设备的计算资源有限，小型模型推理能力不如大型模型；某些任务仍需网络连接（如支付验证）；开发者需要优化模型以适应硬件。

🏷️