本文介绍如何使用本地小型语言模型构建AI代理，无需互联网连接和API费用。内容包括AI代理的定义、Ollama和Python库的设置步骤，以及逐步构建本地AI代理的方法。小型语言模型（如Phi-3和Llama 3.2）适合在普通电脑上运行，提供隐私保护和零成本。通过示例代码，读者可以创建具备记忆和工具的智能代理。

本文探讨了小型语言模型（SLMs）在预训练过程中应学习的标记及何时通过<CALL>标记请求外部帮助。研究表明，损失值可以预测标记的准确性，但某些高损失标记仍可接受。提出的LaCy方法通过选择性学习和委托，显著提高了生成的准确性和效率。

本文介绍了七种可在笔记本电脑上运行的小型语言模型，包括Phi-3.5 Mini、Llama 3.2、Ministral 3、Qwen 2.5、Gemma 2和SmolLM2。这些模型适用于文档处理、代码生成和快速原型开发，用户可根据需求选择合适的模型。

小型语言模型在企业应用中迅速发展，但GPU计算和内存带宽常常闲置。NVIDIA的多进程服务（MPS）允许多个推理进程共享GPU，显著提高小模型的吞吐量，尤其在短上下文中。然而，对于大模型和长上下文，MPS的优势减小。在CPU瓶颈情况下，MPS仍能有效利用GPU时间，但增加了操作复杂性。

企业AI继承了消费级AI的模型，但不适用于大多数B2B问题。企业工作流程在封闭系统中运作，小型语言模型（SLM）更能满足特定任务的需求，提供更高的准确性和效率。SLM专注于特定领域，避免了大型模型的高成本和复杂性。

企业结合小型语言模型（SLM）与检索增强生成（RAG）架构，能有效降低基础设施成本，提高响应准确性和可审计性。SLM专注于特定领域，适合企业平台的可持续运行，而RAG通过引用权威数据源增强输出可信度。模块化代理架构使每个代理独立负责特定功能，便于扩展、治理，确保合规性和操作控制。

本文介绍了一种基于层次记忆的预训练方法，旨在提升小型语言模型的性能。该方法通过访问大型记忆库，有效存储和提取长尾知识，同时保持常识理解。实验结果表明，使用这种记忆增强架构的小模型在性能上可与参数更多的常规模型相媲美，并在资源受限的设备上表现优异。

到2026年，数据生态系统将更加分散，AI代理将通过合作增强专业化，促进人机协作。用户将寻求可插拔的解决方案，而非依赖单一供应商。云服务将向区域化和专门化发展，以支持多种AI任务。同时，小型语言模型的使用将增加，以应对成本问题，实现灵活性和适应性。

麻省理工学院的研究人员开发了“DisCIPL”框架，通过结合大型语言模型与小型模型，提高了文本生成和推理任务的效率与准确性，降低了计算成本，为未来的数学推理和模糊偏好处理奠定了基础。

IBM推出Granite 4.0小型语言模型系列，采用混合Mamba/变换器架构，显著降低内存需求和运行成本，同时保持高准确性。Granite提供三种模型变体，适用于不同场景，支持高效推理和长输入处理，已在Hugging Face和watsonx.ai上开源，并获得ISO/IEC 42001:2023认证。

小型语言模型（SLMs）正在变得更小、更智能，以更少的资源实现更高效的性能，成为开发者和企业的首选。它们在本地运行，降低成本和延迟，确保数据隐私，并在特定任务上优于大模型，适用于医疗和金融等行业。未来，小型模型将更加适应和实用，推动AI的可持续发展。

文章讨论了人工智能的三种架构：云AI、边缘AI和本地AI。云AI集中模型托管，功能强大但存在延迟和隐私问题；边缘AI将计算移近用户，提升速度和隐私；本地AI在用户设备上运行，确保数据安全。尽管边缘AI初期硬件成本较高，但其离线能力和数据控制优势明显。文章还提到小型语言模型（SLM）在边缘AI中的应用，强调优化技术如量化和知识蒸馏。

Local Browser AI扩展使得在浏览器中运行小型语言模型（SLM）变得简单，提升了隐私和速度。该扩展免费开源，支持多种操作系统，未来将实现页面交互。尽管SLM性能不及大型模型（LLM），但硬件要求更低，适合个人使用。

小型语言模型（SLMs）正在改变人工智能领域，具备高效性、推理能力和广泛可及性。相比大型模型，它们更快、更智能，适用于多种任务。文章介绍了Gemma 3和Qwen系列等顶尖SLMs，强调其在推理、多语言支持和应用灵活性方面的优势，同时提供隐私和可靠性的本地智能解决方案。

小型语言模型（SLMs）被视为未来自主人工智能的关键。尽管大型语言模型（LLMs）在推理和知识广度上表现优越，但SLMs在效率、成本和适应性方面更具优势。SLMs的快速性能提升和模块化架构使其适合特定领域应用。文章指出，SLMs的经济可行性和灵活性有助于其普及，但当前LLMs的主导地位和投资仍是主要障碍。

随着Agentic AI系统的发展，研究表明小型语言模型（SLM）在效率和经济性上优于大型模型（LLM），更适合大多数代理操作。建议采用模块化系统，优先使用SLM，必要时再使用LLM，以提升AI系统的可持续性和灵活性。

企业自动化日益依赖AI驱动的小型语言模型（SLMs），因其在响应速度、可扩展性和成本效益上优于大型语言模型（LLMs）。SLMs适用于实时客户互动和DevOps自动化，结合Kubernetes和无服务器架构可高效部署，帮助企业降低运营成本并加速创新。