LLMOps与平台工程：谁应掌控AI管道？
内容提要
LLMOps是大语言模型运维实践，涵盖数据、提示工程、部署、监控与治理，比MLOps更复杂。平台工程应统一管理LLM管道，避免影子AI风险。通过治理API、策略执行、审计追踪，将LLM能力作为平台产品提供，而非另建独立体系。
延伸解读
LLMOps与MLOps的差异
文章指出，LLMOps并非MLOps的简单重命名，而是MLOps在更大规模、更高成本和更模糊评估下的延伸。LLM的输出不仅要求准确，还需考虑安全性和可信度，这使得评估比传统ML模型更复杂。此外，LLM的运维涉及提示词版本管理、向量数据库和RAG管道等新组件，这些都需要专门的实践和工具。
平台工程的角色
平台工程应作为统一的基础层，将LLM管道视为一种平台能力，通过API、策略执行和审计追踪进行治理。文章强调，不应为LLMOps建立独立的平行体系，而应将其集成到现有的平台中，通过自服务界面提供模型微调、提示词部署和推理端点等功能，以避免影子AI和治理盲区。
影子AI的风险
文章警告，最大的风险不是模型幻觉，而是团队绕过平台自行搭建RAG管道和向量存储，形成影子AI。这种模式与过去DevOps和平台分裂的教训相似，会导致治理缺失和成本失控。解决之道不是限制团队，而是让平台能够快速响应需求，并在请求时内置治理，确保合规和可审计性。
Q&A
什么是LLMOps？它与MLOps有何不同？
LLMOps是大语言模型运维的实践，涵盖数据管理、提示工程、微调、部署、监控和治理。与MLOps相比，LLMOps更复杂，因为LLM成本更高、输出更难评估，且需要关注安全性和可信度。
LLMOps的生命周期包括哪些阶段？
LLMOps生命周期包括数据准备、提示工程（将提示视为版本化工件）、微调基础模型、模型和提示版本管理、推理服务、监控（包括漂移和成本）以及安全治理。
平台工程如何帮助治理LLM管道？
平台工程通过提供统一的自我服务接口、在请求时执行策略（如成本限制、数据驻留规则）、需要人工审批高风险变更，并保留审计追踪来治理LLM管道，从而避免影子AI。
什么是影子AI？它有什么风险？
影子AI是指团队在平台之外自行搭建LLM相关能力（如RAG管道）而不受治理，导致不可见和不受控。风险包括数据泄露、合规问题、成本失控和安全隐患。
平台工程与MLOps在LLM管道中的角色有何不同？
平台工程是基础设施为中心的，提供底层平台和黄金路径；MLOps是模型为中心的，专注于模型生命周期。平台工程作为骨干，MLOps在其上运行，两者协同而非竞争。
如何通过平台工程避免影子AI？
通过将LLM能力（如微调、提示部署、推理端点）作为平台能力提供，使用统一的自我服务接口，并在请求时执行治理策略，使团队能够快速、合规地使用LLM，从而避免影子AI。
LLMOps治理中，哪些变更需要人工审批？
涉及客户PII或自主决策的模型变更需要人工审批，而常规提示更改可能不需要。审批基于变更的影响范围。
LLMOps与平台工程的关系是什么？
LLMOps是MLOps在LLM场景下的延伸，需要平台工程提供基础设施和治理。平台工程应将LLM管道作为平台能力统一管理，而不是另建独立体系。
