💡
原文中文，约39000字，阅读约需93分钟。
📝
内容提要
本文介绍了如何在Amazon EC2 GPU实例上部署NVIDIA NemoClaw，并结合NVIDIA LLM Router实现智能路由。通过混合架构，简单请求由本地vLLM处理，复杂请求则转发至Amazon Bedrock，以优化成本和性能。文章详细描述了部署步骤、架构设计及安全措施，并强调了按请求特征分流的优势，提供了完整的实施参考和命令。
🎯
关键要点
- 本文介绍了如何在 Amazon EC2 GPU 实例上部署 NVIDIA NemoClaw，并结合 NVIDIA LLM Router 实现智能路由。
- 通过混合架构，简单请求由本地 vLLM 处理，复杂请求则转发至 Amazon Bedrock，以优化成本和性能。
- NVIDIA NemoClaw 提供了 OpenShell 沙箱、Policy-as-Code 的网络策略和可插拔的推理路由层，增强了安全性和灵活性。
- 按请求特征分流的方案可以优化推理成本和用户体验，简单请求使用本地模型，复杂请求使用云端模型。
- 文章详细描述了部署步骤、架构设计及安全措施，提供了完整的实施参考和命令。
❓
延伸问答
如何在 Amazon EC2 上部署 NVIDIA NemoClaw？
可以通过启动一台 g6e.xlarge 的 GPU EC2 实例，安装必要的工具和依赖，然后按照文中提供的步骤进行部署。
NVIDIA LLM Router 的作用是什么？
NVIDIA LLM Router 用于智能路由请求，根据请求的复杂度选择合适的模型进行推理，从而优化成本和性能。
混合架构的成本优化方案是什么？
混合架构通过按请求特征分流，将简单请求路由到本地模型处理，复杂请求转发至云端模型，从而降低整体推理成本。
NemoClaw 提供了哪些安全特性？
NemoClaw 提供 OpenShell 沙箱、Policy-as-Code 的网络策略和可插拔的推理路由层，增强了安全性和灵活性。
如何实现请求级别的智能路由？
通过使用 NVIDIA LLM Router Blueprint，结合意图分类和自动路由策略，可以实现请求级别的智能路由。
在部署过程中需要注意哪些安全措施？
需要确保使用 Session Manager 替代 SSH，配置 IAM 角色以无 API key 调用 Bedrock，并使用 NemoClaw 的网络策略控制出网访问。
➡️
