使用AWS服务构建面向边缘部署的离线优先生成式AI应用
内容提要
该文介绍了一种离线优先的生成式AI参考架构，用于边缘部署。它结合云端的Amazon Bedrock和SageMaker进行模型微调，通过AWS IoT Greengrass部署到边缘设备，并使用Ollama和Strands Agents进行本地推理。混合方法（微调+RAG）在测试中显著提升性能，适用于制造、能源等网络不稳定场景。
延伸解读
架构权衡：模型定制策略的选择
文章对比了四种模型定制策略：微调（FT）、继续预训练（CPT）、混合（FT+RAG）和CPT+RAG+FT。每种策略在架构复杂度、成本和数据需求上递增。微调擅长输出格式，但注入新知识有限；CPT能嵌入领域知识但资源消耗大；混合方法通过RAG提供最新知识并减少幻觉，是平衡能力与复杂度的推荐选择。选择时应从用例需求出发，而非追求最复杂方案。
边缘硬件与部署策略的匹配
边缘设备需至少16GB显存以运行量化SLM。文中以g4dn.12xlarge（4×T4 GPU）为例，展示了两种部署策略：模型复制支持高并发短查询，但显存占用高；张量并行支持长上下文（128K），但并发能力有限。硬件选型直接影响模型可行性和服务策略，需根据工作负载特征（并发数、查询长度）权衡。
安全边界：边缘部署的扩展责任
将推理移至边缘改变了安全模型：云侧由AWS管理基础设施安全，边缘则需自管物理到应用层的安全。文章强调认证（集成IdP或mTLS）、全盘加密、传输加密（包括回环接口）、输入验证与提示注入防护、网络分段、IAM最小权限及日志监控。这些控制对保护专有知识和防止未授权访问至关重要。
评估结果：微调带来的性能提升
在30个领域特定问答对上，微调后的gpt-oss-20b+RAG相比基础模型+RAG，在三个LLM评估器（Claude 4.5 Haiku、Sonnet、Nova Pro）上平均得分提升约10-15个百分点（如Haiku从68.3%升至85%）。这表明即使微调数据集较小，混合方法也能显著提升领域应用性能，验证了架构的有效性。
Q&A
为什么在边缘部署生成式AI时需要采用离线优先架构？
因为工业环境中的网络连接可能不可靠或不可用，离线优先架构将AI推理移至边缘，同时利用云服务进行模型定制、部署编排和持续改进，从而在无云连接的情况下也能运行AI应用。
在边缘设备上运行生成式AI模型时，有哪些模型定制策略？
主要有四种策略：模型微调（FT）、继续预训练（CPT）、混合方法（FT+RAG）和混合方法（CPT+RAG+FT）。微调适合调整输出格式，CPT注入领域知识，RAG提供实时知识检索，而CPT+RAG+FT则优化整个RAG流程。
在参考架构中，为什么选择混合方法（FT+RAG）？
因为混合方法（FT+RAG）平衡了两个架构关注点：通过微调保持设备上模型紧凑以适应特定任务，同时使用RAG提供最新知识检索而无需重新训练。
在边缘设备上部署gpt-oss-20b模型时，有哪两种部署策略？它们分别适用于什么场景？
两种策略是模型复制和张量并行。模型复制将完整模型副本放在每个GPU上，支持四个并发请求，适合高并发、短查询场景；张量并行将模型分片到所有GPU，保留更多KV缓存以支持长上下文，适合并发用户少但交互更长的场景。
在边缘推理中，RAG组件是如何实现的？
RAG使用ChromaDB（SQLite + HNSW）作为向量数据库，搭配句子变换器嵌入模型（384维）在CPU上运行。文档按512个token分块，重叠50个token。对于最多5GB的数据集，检索延迟低于50毫秒，且不占用GPU VRAM。
该架构如何实现持续改进？
当连接可用时，用户交互和反馈会流回云端，通过FMOps管道进行模型改进，然后由AWS IoT Greengrass部署回设备。反馈在本地排队，并机会性地同步，确保在连接中断时不影响边缘操作。
在边缘部署中，有哪些安全考虑？
安全考虑包括：认证和访问控制（集成身份提供商或证书）、静态加密（全盘加密）、传输加密（TLS 1.2+）、输入验证和提示防护、网络分段、IAM最小权限以及日志和监控。
根据文章，微调后的gpt-oss-20b模型相比基础模型在性能上有何提升？
在30个领域特定问答对上，使用三个LLM评估器（Claude 4.5 Haiku、Claude 4.5 Sonnet、Nova Pro）评分，微调后的模型得分分别为10.20/12、9.20/12、9.90/12，而基础模型分别为8.20/12、7.49/12、8.70/12，表明微调显著提升了生成质量。
