本文讨论了在开发者机器上本地运行小型模型进行自主编码的经验。作者分享了使用Qwen和Gemma等模型进行手动和自动评估的过程，强调任务选择对模型表现的重要性。尽管小模型在某些任务中表现不佳，但在日常使用中提供了更多反馈，促进了更深入的理解和代码审查。总体而言，小模型的自主编码能力仍不及大型模型。

小型和大型语言模型因设计约束不同而异。小型模型适用于设备，内存和延迟有限；大型模型在数据中心运行，资源更充裕。两者基于变换器架构，小型模型通过数据质量、知识蒸馏和过度训练提高效率。生产系统通常结合两者，利用小型模型处理常规请求，大型模型应对复杂任务。

近年来，AI行业认识到并非所有场景都需使用大型模型。高昂的推理成本和数据隐私风险使得小型模型在实际应用中更具效率。新开源的MiniCPM-V 4.6模型仅有1.3B参数，支持多种任务，适合在端侧设备上运行，推动AI应用落地。

OpenClaw通过Claude Code CLI绕过API限制，实现任务分发。小型模型处理简单任务，大型模型负责复杂工作。这种架构降低了成本，但缺乏上下文理解，不适合全能管家角色。

微软的Phi-4推理模型探索小型模型在低计算成本下与大型AI模型的竞争能力。该模型结合文本和图像处理，注重高质量数据和高效训练，旨在提升推理能力，而非单纯追求模型规模。

阿里巴巴通义千问团队推出适合边缘设备的小型模型，参数范围从0.8B到9B，强调以少量算力实现高智能。新模型在架构和数据质量上进行了优化，未来将推出更小的基础模型。

Cadmus系统研究小型模型在真实程序完成中的潜力，包含整数虚拟机和多样化任务的数据集。该系统以低成本进行训练，适用于程序完成和推理等研究。Cadmus模型在简单整数算术任务上超越GPT-5，显示出小模型在复杂推理中的优势，避免了大模型的未知偏差。

Matan-Paul Shetrit强调，使用AI的责任在于用户而非AI。尽管AI生成内容，最终责任仍在于人类。他指出小型专用AI模型在降低成本、提高准确性和速度方面的重要性。

Jade Abbott是Lelapa AI的CTO，专注于非洲语言AI。她指出非洲有2000多种语言，许多人不讲英语，并面临电力不足和数据中心匮乏的问题。她强调可持续性的重要性，呼吁开发小型高效模型，以满足当地需求，促进语言多样性和公平性。

Anthropic发布了Claude Haiku 4.5，定位为小型快速模型，性能与Claude Sonnet 4相当，但成本仅为其三分之一，速度超过两倍。该模型具备混合推理能力，支持快速回答和扩展思考，用户可查看推理过程。经过多种数据清洗和过滤训练，确保安全性和准确性，开发者可通过多个平台访问该模型。

朱利安·威尔基森-杜兰创建了开源机器学习库AsterMind-ELM，旨在将机器学习引入浏览器。他认为前端无需庞大的参数和内存即可实现实用功能。该库使用JavaScript编写，支持快速训练和实时应用，适合开发者在浏览器中创建小型模型。

大型语言模型（LLM）不适合所有企业需求，企业更需要可定制的小型模型。小型模型成本效益高，能够访问私有数据，并可作为工作流的“构建块”。InstructLab项目通过合成数据生成和简单命令，帮助企业训练小型模型，并支持开源以避免知识产权问题。

下一波 AI 创新将集中在小型模型的端侧应用。高通的 AI 白皮书指出，端侧小模型在性能、数据安全和应用多样性方面具有优势。技术进步推动小模型快速发展，成为企业和开发者的首选，尤其在手机等终端上表现突出。高通通过高效的芯片和软件支持，引领端侧 AI 变革，未来将推动更多行业应用。

DeepSeek-V3和R1标志着AI行业向小型、特定任务的开源模型转变，促进边缘设备创新。小型模型在数据隐私和实时决策中具优势，优化基础模型可提升边缘计算效率。尽管面临挑战，DeepSeek的技术进步为云-边缘混合部署提供了可能，推动AIoT发展。