使用大语言模型 (LLMs) 构建产品一年后的经验总结 (第二部分)[译]
内容提要
本文是关于构建和管理大语言模型应用程序的系列文章的第二部分，讨论了在运营大语言模型应用程序时面临的数据、模型、产品和团队方面的问题。需要审查输入和输出数据，减少测试与生产之间的偏差。将语言模型整合到其他系统中，考虑版本控制和迁移。在应用开发过程中设计介入，并通过人类反馈来设计用户体验。聘请适合的人才，营造鼓励实验的企业文化。进行实验来优化产品和模型，并让整个团队都能理解和使用新的AI技术。
延伸解读
数据审查：LLM应用运营的核心
文章强调，输入数据质量决定系统表现，输出数据是判断产品正常运行的依据。建议每周花数小时研究输入输出数据，以理解数据分布、模式、极端情况和模型局限。同时，需定期测量开发与生产偏差，包括结构性偏差（如格式差异）和内容性偏差（如语义漂移）。通过简单指标（如长度、格式）和高级方法（如嵌入聚类）跟踪变化，并保留最新数据集以反映用户互动。
模型集成与迁移的实用策略
使用LLM API时需权衡性能、延迟、吞吐量和成本。为简化下游集成，应生成结构化输出，如使用Instructor或Outlines工具。迁移提示词时，性能可能变化，需自动化评估工具衡量任务性能。固定模型版本可避免意外行为变化，维护影子管道可安全测试新版本。选择最小能完成任务的模型，结合链式思维、n-shot提示等技术，小模型可能媲美大模型，同时降低延迟和成本。
产品设计：以用户为中心与风险控制
产品设计应尽早介入，设计师帮助重新框架用户需求，确保以任务为中心而非技术驱动。通过Human-in-the-Loop设计用户体验，如让用户验证LLM建议，可收集反馈改进模型。发布时需严格优先考虑需求，确保可靠性、无害性和事实一致性，找到最低可接受版本。根据使用场景调整风险承受能力，内部应用可更快推进，外部应用需更高标准。
团队构建：角色与实验文化
构建LLM应用需要多种角色，AI工程师并非唯一。团队应包含领域专家、平台/数据工程师和机器学习工程师，按阶段引入。鼓励实验文化，频繁进行离线评估和A/B测试，预留时间构建评估和迭代。让整个团队理解并使用AI技术，通过教育和动手实验（如编程马拉松）提升能力。避免过早雇佣MLE或忽视评估技能，确保产品可扩展。
Q&A
在运营大语言模型应用程序时，主要面临哪些问题？
主要面临数据、模型、产品和团队四个方面的问题。
如何减少测试与生产之间的偏差？
需要定期审查输入和输出数据，并测量开发与生产的偏差。
在产品设计中，为什么要尽早介入？
尽早介入可以通过人类反馈优化用户体验，并确保设计符合用户需求。
团队在构建大语言模型应用程序时需要什么样的人才？
需要聘请适合的人才，并营造鼓励实验的企业文化。
如何通过实验优化大语言模型和产品？
鼓励团队进行频繁的实验和评估，以找到最佳的系统版本。
使用小模型有什么优势？
小模型可以降低延迟和成本，并在某些情况下表现优于大模型。
