亚马逊AWS官方博客
·
Claude Code 接入自建开源模型：企业私有化与降本实践
💡
原文中文，约11600字，阅读约需28分钟。
📝
内容提要
企业在使用Claude Code时面临代码安全和成本压力。通过在AWS SageMaker上部署开源模型Kimi/GLM，并结合LiteLLM Proxy实现智能路由，企业可将支线任务分流到私有化模型处理，从而将单台H200的日均成本降低约70%，性价比提升3.2倍，满足金融、医疗等行业的合规要求。文章详细介绍了架构设计、部署流程及动态路由策略。
🎯
关键要点
- 企业在使用Claude Code时面临代码安全和成本压力。
- 通过在AWS SageMaker上部署开源模型Kimi/GLM，企业可以确保代码不出内网，满足合规要求。
- 结合LiteLLM Proxy实现智能路由，将支线任务分流到私有化模型处理，降低成本约70%。
- Claude Code的应用范围广泛，支持多轮对话协作和工具调用能力。
- 企业内部Token用量呈指数级增长，成本优化成为关键制约因素。
- 私有化部署方案可通过动态路由机制优化成本，主线任务和支线任务差异化处理。
- LiteLLM Proxy提供全面的模型管理能力，支持审计和成本管理。
- 开源模型的能力逐渐接近闭源模型，未来更多任务可能转向开源模型处理。
❓
延伸问答
企业如何通过Claude Code解决代码安全问题？
企业可以在AWS SageMaker上部署开源模型Kimi/GLM，确保代码不出内网，从而满足合规要求。
使用Claude Code的企业面临哪些成本压力？
企业面临的成本压力主要来自于Token用量的指数级增长，导致整体使用成本显著上升。
LiteLLM Proxy在Claude Code中有什么作用？
LiteLLM Proxy实现智能路由，将支线任务分流到私有化模型处理，从而降低成本并提供模型管理能力。
私有化部署如何优化Claude Code的使用成本？
通过动态路由机制，将主线和支线任务差异化处理，支线任务路由到开源模型，从而降低综合成本约70%。
Claude Code的应用范围有哪些？
Claude Code支持多轮对话协作、工具调用能力，广泛应用于代码生成、文档撰写、日志分析等场景。
开源模型与闭源模型的能力差距如何？
新一代开源模型的能力逐渐接近闭源模型，未来更多任务可能转向开源模型处理。
➡️
