【Rust日报】2025-08-10 Paddler：开源的 LLMOps 平台，在其自有基础设施中托管和扩展开源模型
💡
原文中文，约1700字，阅读约需4分钟。
📝
内容提要
Paddler是一个开源LLMOps平台，帮助企业在自有基础设施中托管和扩展开源模型，满足隐私和成本控制需求。它提供推理服务、负载均衡、请求缓冲和Web管理面板，适合需要集成LLM和处理敏感数据的团队。安装灵活，文档详尽，易于上手。
🎯
关键要点
- Paddler是一个开源的LLMOps平台，帮助企业在自有基础设施中托管和扩展开源模型。
- Paddler满足隐私、可靠性、成本控制和独立于第三方供应商的需求。
- 内置llama.cpp引擎支持推理服务，能够生成文本和嵌入向量。
- 负载均衡通过动态添加代理实现，支持与自动扩展工具集成。
- 请求缓冲允许从零主机开始扩展。
- 内置Web管理面板用于管理、监控和测试，支持实时查看和测试设置。
- 提供详细的性能和资源使用数据，适用于需要集成LLM推理和处理敏感数据的团队。
- Paddler的安装方式灵活，用户可以通过下载或从源代码构建获取二进制文件。
- Paddler包含两个主要组件：balancer和agents，balancer提供推理服务和管理服务，agents负责请求分配。
- Paddler提供详细的文档和API文档，帮助用户快速上手。
➡️
