宝玉的分享 ·

实战经验：在 GoDaddy 运营 LLM 中学到的 10 个教训 [译]

💡 原文中文，约7100字，阅读约需17分钟。

📝

内容提要

自从ChatGPT发布以来，GoDaddy在AI方面进行了大量投资，利用大语言模型（LLM）帮助客户创建网站内容、社交营销活动、设计标志，并提供卓越的客户体验。然而，运营LLM存在挑战，如提示词不够用、结构化输出需小心处理、模型速度慢且不可靠、内存管理困难等。GoDaddy建议持续微调和测试，并建立报告系统和多领域审查团队。

🔎

延伸解读

提示词策略：从大而全到任务导向

GoDaddy 最初采用单一 mega-prompt 处理所有对话，但随着主题增加，提示词膨胀至超过 1500 token，导致成本高、准确性下降。他们转向任务导向提示词，专注于单一任务，减少 token 并提高准确性，但任务导向提示词不适用于开放式对话。最终，他们采用控制器-委托模式的多提示词架构，由大提示词作为控制器，在关键转换点委托给任务导向提示词。这种平衡策略在复杂对话流程中更高效。

结构化输出：验证与模型选择

生成 JSON 等结构化输出时，可靠性是关键。GoDaddy 发现 ChatGPT 3.5 Turbo 有 1% 的无效输出，而 ChatGPT 4 为 0.25%。他们建议最小化 prompt 温度、使用更高级模型，或部署两个并行提示词：一个生成结构化响应，另一个与用户互动。对于没有原生结构化响应的模型，这种双提示词方法能提高可靠性。

模型差异与自适应选择

提示词并非跨模型通用，即使同一模型的不同版本（如 ChatGPT 3.5 0603 和 1106）性能也有显著差异。GoDaddy 实验发现，为每个模型调整提示词后，3.5 的性能提升，且与 4.0 的差距缩小。他们强调持续微调和测试的必要性，并指出自适应模型选择是未来方向，以应对可靠性、成本和上下文限制。

RAG 优化：数据格式与检索时机

有效使用 RAG 需要优化数据格式和检索时机。GoDaddy 使用稀疏初始表示（SPR）压缩文档，减少 token 使用量 50% 以上。他们发现过早检索会降低准确性，因此改为在确定意图后切换专门 RAG 提示词，或让模型决定何时搜索。此外，文件聚类和 SPR 结合可减少重复，扩展知识空间。

❓

Q&A

GoDaddy 如何利用大语言模型帮助客户？

GoDaddy 利用大语言模型帮助客户创建网站内容、社交营销活动、设计标志，并提供卓越的客户体验。

运营大语言模型时面临哪些主要挑战？

主要挑战包括提示词不够用、结构化输出需小心处理、模型速度慢且不可靠、内存管理困难等。

GoDaddy 对提示词的使用有什么建议？

GoDaddy 建议持续微调和测试提示词，并在任务导向和开放式对话之间找到平衡。

如何提高大语言模型的结构化输出的可靠性？

可以通过最小化提示词温度、采用更高级的模型以及设计专门用于生成结构化响应的模型来提高可靠性。

GoDaddy 如何管理大语言模型的内存？

GoDaddy 采用多种内存管理策略，如缓冲区、摘要和动态检索，以有效管理上下文。

使用大语言模型时需要设置哪些安全措施？

需要设置控件检查 AI 响应中的个人身份信息和冒犯性内容，并限制机器人与客户的交互次数。

🏷️