本地小语言模型（SLM）已成熟，可在笔记本或消费级GPU上运行，提供隐私保护、成本可控和低延迟优势。选择模型需考虑参数规模、任务特性和量化格式，Ollama工具简化部署。通过配置上下文窗口、温度和系统提示优化性能，适用于文档问答、编码助手和代理工作流。建议先用小型评估集验证模型质量，再逐步集成。

本文探讨了NVIDIA的小模型（SLM）在AI代理中的未来，认为SLM在性能、经济性和适应性方面优于大模型（LLM），能够高效处理特定任务，降低成本并提高灵活性。未来AI架构将从“大模型单体”转向“小模型微服务”，实现更高效的系统设计。

2023年，人工智能进入“专用模型”时代，各类模型如LLM、SLM、LCM、LAM和MoE各具特色，适用于不同场景。LLM擅长语言处理，SLM适合边缘计算，LCM专注图像生成，LAM将语言指令转化为行动，MoE通过激活专家提升效率。理解这些模型有助于更好地应用AI技术。

本研究提出了一种新方法，通过将阿拉伯语注入以英语为主的小型开源模型，成功训练出Kuwain 1.5B模型。该模型在阿拉伯语性能上平均提升8%，为双语模型训练提供了高性价比的解决方案。

本研究提出了AutoDroid-V2，通过将移动UI任务转化为代码生成问题，自动构建API文档并生成任务样本，从而提高了基于小语言模型的GUI代理的效率和成功率，解决了用户隐私和服务成本问题。

本研究提出Align-SLM框架，通过偏好优化提升无文本口语语言模型（SLMs）的语义理解，解决其在语义连贯性和相关性方面的不足。实验结果表明，该方法在大多数基准测试中达到了SLMs的最新性能。

本文讨论了微软的Phi模型在小语言模型（SLM）家族中的优秀性能和多模态能力。Phi模型具有不同的参数规模和能力，包括Phi-1、Phi-1.5、Phi-2、Phi-3和Phi-3.5等多个代系。文章还介绍了Phi模型的需求和应用场景，以及一些“黑科技”如LongRoPE、MoE混合专家、DeepSpeed和Flash Attention等。此外，文章还提到了Phi模型与CLIP模型的结合以及Flash Attention技术的应用。

微软将举办全球RAG黑客马拉松活动，参赛者有机会赢取数字勋章和500美元奖金。活动前，微软将提供4期RAG分享课程，帮助参赛者准备。

本文介绍了使用C#和ONNX来玩转Phi-3 SLM LLM的方法，Phi-3 SLM是由Microsoft开发的模型，可以在普通设备上运行。ONNX是一个开放的标准，用于操作机器学习模型，并在不同的框架间进行互操作。文章还介绍了如何下载LLM模型和使用ONNX模型的示例控制台应用程序。最后，提到了使用Phi-3和Phi-3 Vision进行问答和图像分析的示例项目。

Phi-3 SLM 是微软开发的 AI 模型，可以在计算机和手机等设备上运行。它与 ONNX 结合，实现 AI 的互操作性，并为 ONNX Runtime 提供优化的模型。C# 开发人员可以在本地 AI 开发中利用 ONNX，以简化模型部署并提高性能。HuggingFace 提供了各种 Phi-3 模型供下载，具有不同的令牌长度。Phi-3 Cookbook 仓库展示了如何在 .NET 应用程序中使用 ONNX 模型来执行问答和图像分析等任务。

利用较小的大语言模型实现有害查询检测和安全响应，通过多任务学习机制融合两个任务到一个模型里，效果在公开的大语言模型上表现相当或超过有害查询检测和安全响应的性能。