本文探讨了NVIDIA的小模型（SLM）在AI代理中的未来，认为SLM在性能、经济性和适应性方面优于大模型（LLM），能够高效处理特定任务，降低成本并提高灵活性。未来AI架构将从“大模型单体”转向“小模型微服务”，实现更高效的系统设计。

本研究提出了一种新方法，将阿拉伯语整合进以英语为主的小型开源模型，成功训练出Kuwain模型，参数达到1.5亿，阿拉伯语性能提升了8%。

本研究提出Align-SLM框架，通过偏好优化提升无文本口语语言模型（SLMs）的语义理解，解决其在语义连贯性和相关性方面的不足。实验结果表明，该方法在大多数基准测试中达到了SLMs的最新性能。

本文讨论了微软的Phi模型在小语言模型（SLM）家族中的优秀性能和多模态能力。Phi模型具有不同的参数规模和能力，包括Phi-1、Phi-1.5、Phi-2、Phi-3和Phi-3.5等多个代系。文章还介绍了Phi模型的需求和应用场景，以及一些“黑科技”如LongRoPE、MoE混合专家、DeepSpeed和Flash Attention等。此外，文章还提到了Phi模型与CLIP模型的结合以及Flash Attention技术的应用。

微软将举办全球RAG黑客马拉松活动，参赛者有机会赢取数字勋章和500美元奖金。活动前，微软将提供4期RAG分享课程，帮助参赛者准备。

本文介绍了使用C#和ONNX来玩转Phi-3 SLM LLM的方法，Phi-3 SLM是由Microsoft开发的模型，可以在普通设备上运行。ONNX是一个开放的标准，用于操作机器学习模型，并在不同的框架间进行互操作。文章还介绍了如何下载LLM模型和使用ONNX模型的示例控制台应用程序。最后，提到了使用Phi-3和Phi-3 Vision进行问答和图像分析的示例项目。

Phi-3 SLM 是微软开发的 AI 模型，可以在计算机和手机等设备上运行。它与 ONNX 结合，实现 AI 的互操作性，并为 ONNX Runtime 提供优化的模型。C# 开发人员可以在本地 AI 开发中利用 ONNX，以简化模型部署并提高性能。HuggingFace 提供了各种 Phi-3 模型供下载，具有不同的令牌长度。Phi-3 Cookbook 仓库展示了如何在 .NET 应用程序中使用 ONNX 模型来执行问答和图像分析等任务。

利用较小的大语言模型实现有害查询检测和安全响应，通过多任务学习机制融合两个任务到一个模型里，效果在公开的大语言模型上表现相当或超过有害查询检测和安全响应的性能。

2023年，Azure OpenAI Service引领AI 2.0时代，企业在AI模型探索与应用中持续发力。微软Reactor特别带来SLMOps系列分享，卢建晖将通过三期课程，结合SLM和Azure Machine Learning Service，帮助企业完成实际生产中的工程化应用落地。

本文介绍了一种新的方法，通过将大型语言模型（LLM）表示与人类认知信号进行桥接，评估LLM在模拟认知语言处理方面的有效性。实验结果表明，模型扩展与LLM-脑信号相似性呈正相关，对齐训练可以显著提高LLM-脑信号相似性。

2023年，Azure OpenAI Service引领AI 2.0时代，企业在AI模型探索与应用中发力。微软Reactor推出SLMOps系列分享，帮助企业实现SLM应用的工程化落地。活动时间为2024年4月10日19:30-20:30。

该研究提出了一种混合方法，通过结合不同规模的语言模型来提高自回归解码的效率。该方法利用预先训练的冻结语言模型来编码提示标记，并使用生成的表示来引导较小的语言模型更高效地生成响应。与LLM相比，该方法在翻译和摘要任务中实现了高达4倍的速度提升，但只有1-2%的性能损失。