本文讨论了小型语言模型（SLM）架构设计，以避免“模型衰退”。重点包括建立模型注册表以跟踪模型来源和性能，实施版本控制的网关模式，以及开发基于清单的交付系统，以确保模型在边缘设备上的高效部署。这些方法提高了模型的可维护性和可追溯性，确保在生产环境中有效管理多个SLM。

Meta公司推出了一种紧凑型视觉编码器EUPE，能够同时处理多种视觉任务。它采用“先扩大规模，再缩小规模”的方法，将多个专家模型的知识整合到一个代理模型中，并提炼出高效的学生模型，从而解决边缘设备计算资源不足的问题。

谷歌Gemma 4系列推出小型高效模型，优化NVIDIA GPU性能，支持推理、编码和多模态交互，适用于边缘设备和高性能GPU，推动本地智能助手的发展。

阿里巴巴通义千问团队推出适合边缘设备的小型模型，参数范围从0.8B到9B，强调以少量算力实现高智能。新模型在架构和数据质量上进行了优化，未来将推出更小的基础模型。

大模型在基准测试中表现优异，但推理成本高。模型蒸馏通过知识转移压缩模型，既保持准确性又降低成本，适合边缘设备。本文介绍了蒸馏的原理、应用场景及与其他优化技术的结合，以提高LLM应用的效率和性能。

WebAssembly在Wasm 3.0和组件模型发布后取得显著进展，预计2026年2月发布WASI 0.3.0。这一标准化将使WebAssembly逐步取代不适合某些应用的容器，特别是在边缘设备和无服务器环境中。WebAssembly已在多个环境中稳定运行，未来将支持更高层次的抽象和API，以促进开发者的使用。

LiteRT是谷歌基于TensorFlow Lite开发的轻量级推理运行时，适用于资源受限的边缘设备。V1兼容经典TFLite API，V2引入异步执行和自动加速器选择，支持多平台。其主要特点包括跨平台支持、硬件加速、异步高效I/O和生态系统兼容性，适合移动实时推理、嵌入式设备和生成模型加速。

Liquid AI 发布了 LFM2-VL-3B，这是一个具有 30 亿参数的视觉语言模型，专用于图像文本到文本任务。该模型提高了准确率并保持了处理速度，支持高达 512×512 的图像输入，适合边缘设备使用，评估得分具有竞争力。

AI模型开发已达到转折点，边缘设备能够运行多种语言模型，但大型语言模型面临挑战。Edge Impulse的CEO指出，工业环境需要更高的可靠性和投资回报。小型语言模型和视觉语言模型在边缘应用中逐渐成熟，能够进行复杂的视觉分析。

高通提出AI工作负载将在云端与边缘设备间混合运行，未来依赖6G技术。CEO Amon强调边缘设备的重要性，认为其能提供个性化和即时体验。骁龙8 Elite Gen 5和Snapdragon X2 Elite系列处理器将增强AI处理能力，目标为高端市场。

Ryan与Arm的Geraint North讨论了生成性AI对芯片设计的影响，以及Arm在灵活CPU架构设计和边缘设备上优化大型语言模型的挑战。Arm新推出的Lumex CSS平台旨在支持高效的AI工作负载。

NVIDIA发布了Jet-Nemotron模型系列，利用后神经架构搜索技术显著提升了大语言模型的生成吞吐量，达到53.6倍，同时保持或超越准确率。这一创新降低了计算和内存成本，使得边缘设备的大规模部署成为可能，提升了AI应用的经济性和效率。