Mux的@mux/ai工具现已支持开源模型，新增Baseten和OpenAI兼容端点提供商，允许用户自带本地或自托管模型。该工具要求视觉能力和结构化输出，部分模型需base64模式，并附验证脚本。开源模型存在可靠性问题，已通过重试机制解决。用户还可微调模型，集成更便捷。

在软件开发的未来研讨会上，与会者讨论了自托管模型和上下文管理的重要性，强调有效管理模型的注意力以提升性能。自托管模型因其降低成本和增强数据安全性而受到青睐，但也面临技术和人才挑战。与会者探讨了在使用大型语言模型时，如何确保管理目标而非方法，以提高工作效率和结果质量。

Grafana Labs更新了其LLM插件，支持开放权重模型和非OpenAI提供商，提升用户灵活性。新版本简化了工作流程，允许选择自托管模型或其他提供商，增强性能和隐私。未来将探索功能调用和工具集成，进一步提升LLM能力。