你是否听说过 MLOps 或者 LLMOps 呢？
内容提要
文章探讨MLOps/LLMOps与DevOps的关系，指出DevOps的自动化、信息透明可衡量、跨职能协作三项原则在MLOps时代依然适用，但实施方式有所变化：需要自动化生成标注数据，监控模型性能及GPU等资源，并加强数据科学家与ML工程师之间的协作。OpenAI通过高度自动化实现了GPT-4的交付；而企业自建AI服务则需自行完成模型全生命周期的工程工作。
延伸解读
MLOps 不是推翻 DevOps，而是原则的迁移
文章明确指出，DevOps 的自动化、信息透明可衡量、跨职能协作三项原则在 MLOps 时代依然适用，只是实施方式变了。这意味着企业不必另起炉灶，而应把已有 DevOps 实践作为底座，再叠加模型训练、数据标注、GPU 监控等 ML 特有环节。理解这一点，有助于避免把 MLOps 当成完全陌生的新体系，减少重复建设。
自动化重点从“部署”转向“数据与训练”
在 DevOps 中，自动化主要覆盖构建、测试、部署和监控；到了 MLOps，文章强调自动化还要用于生成和标注高质量数据，因为纯人工无法完成。同时，OpenAI 仅凭几百人团队交付 GPT-4，被归因于高度自动化。对自建 AI 服务的企业来说，这意味着工程投入要前移到数据流水线和训练流程，而不仅是上线环节。
监控对象扩展：模型指标与硬件资源并重
文章指出，MLOps 的“可衡量”不仅包括准确率、召回率、F1 分数等模型性能指标，还包括 CPU、GPU 和内存使用率。实时监控这些指标有助于识别问题、提升模型性能并降低成本。这提示读者，MLOps 的观测体系比传统 DevOps 更宽，既要看服务质量，也要看模型效果和算力消耗，二者缺一不可。
协作角色增多，但发布节奏未必更快
MLOps 涉及数据科学家、ML 工程师、数据工程师等更多角色，跨职能协作要求更高。同时文章提醒，大型模型产品发布速度尚不及 DevOps 时代的快速迭代，OpenAI 从 GPT-1 到 GPT-4 每个版本都花费一年以上，原因包括训练费时费钱以及调优需避免安全和伦理问题。因此，读者不宜简单套用“几周一版”的 DevOps 节奏来预期 MLOps 项目。
Q&A
MLOps和DevOps是什么关系？
MLOps本质上是DevOps在机器学习项目中的变种，关注AI和大语言模型相关产品。DevOps的三个核心原则（自动化、信息透明可衡量、跨职能协作）在MLOps时代依然适用，但实施方式有所变化。
MLOps时代需要掌握哪些新知识？
需要掌握LLM相关知识（如Transformer、Embedding、Fine-tuning、LoRa）、ML工具（如PyTorch、Jupyter Notebook）、硬件知识（如GPU及多卡并行运算）等。
为什么MLOps时代产品发布速度不如DevOps时代快？
大型模型产品开发周期长，例如OpenAI从GPT-1到GPT-4每个版本都花费一年以上时间，因为模型训练费时费钱，且调优需要大量时间投入以避免安全和伦理问题。
在MLOps中如何实现自动化？
需要大量自动化脚本甚至AI参与来生成和标注高质量数据，以保障模型训练质量。OpenAI凭借高度自动化，仅用几百人团队就交付了GPT-4。
MLOps中需要监控哪些指标？
需要监控模型性能指标（如准确率、召回率、F1分数）和硬件资源使用情况（如CPU、GPU、内存使用率），实时监控有助于识别问题、提高性能并降低成本。
MLOps团队通常包含哪些角色？
包括数据科学家、ML工程师、数据工程师等，这些角色需要紧密协作，确保模型在整个生命周期中的优秀表现。
企业自建AI服务需要做哪些工作？
如果企业不依赖OpenAI的API而自建AI服务，就需要自己完成MLOps的全部工作，包括模型生命周期维护、版本发布、测试、API设计、上云、与数据管道对接等围绕模型的工程工作。
