![实战经验：在 GoDaddy 运营 LLM 中学到的 10 个教训 [译]](https://www.godaddy.com/resources/wp-content/uploads/2024/01/LLM-fromthetrenches-dragons-3.jpg?size=3840x0)
💡
原文中文，约7100字，阅读约需17分钟。
📝
内容提要
自从ChatGPT发布以来，GoDaddy在AI方面进行了大量投资，利用大语言模型（LLM）帮助客户创建网站内容、社交营销活动、设计标志，并提供卓越的客户体验。然而，运营LLM存在挑战，如提示词不够用、结构化输出需小心处理、模型速度慢且不可靠、内存管理困难等。GoDaddy建议持续微调和测试，并建立报告系统和多领域审查团队。
🎯
关键要点
- 自从ChatGPT发布以来，GoDaddy在AI方面进行了大量投资，利用大语言模型帮助客户创建网站内容和社交营销活动。
- 运营大语言模型存在挑战，如提示词不够用、结构化输出需小心处理、模型速度慢且不可靠、内存管理困难等。
- GoDaddy建议持续微调和测试提示词，并建立报告系统和多领域审查团队。
- 提示词的使用需要在任务导向和开放式对话之间找到平衡。
- 结构化输出的生成需要注意验证和准确性，建议使用更高级的模型。
- 不同模型之间的提示词并不通用，需根据模型进行调整。
- 需要为AI应用程序设置安全措施，以减少次优AI决策的影响。
- 模型可能会很慢且不可靠，建议实施重试逻辑和流API以改善用户体验。
- 内存管理是开发对话式AI助手的挑战之一，需采用有效的策略来管理上下文。
- 自适应模型选择将是未来的发展方向，以应对可靠性和成本问题。
- 有效使用检索增强生成（RAG）可以提高模型的准确性和响应质量。
- 将数据集转换为对模型更有用的格式可以提高RAG的性能。
- 测试和监控AI系统是确保最佳性能的关键，建议建立必要的报告系统。
❓
延伸问答
GoDaddy 如何利用大语言模型帮助客户？
GoDaddy 利用大语言模型帮助客户创建网站内容、社交营销活动、设计标志，并提供卓越的客户体验。
运营大语言模型时面临哪些主要挑战？
主要挑战包括提示词不够用、结构化输出需小心处理、模型速度慢且不可靠、内存管理困难等。
GoDaddy 对提示词的使用有什么建议？
GoDaddy 建议持续微调和测试提示词，并在任务导向和开放式对话之间找到平衡。
如何提高大语言模型的结构化输出的可靠性？
可以通过最小化提示词温度、采用更高级的模型以及设计专门用于生成结构化响应的模型来提高可靠性。
GoDaddy 如何管理大语言模型的内存？
GoDaddy 采用多种内存管理策略，如缓冲区、摘要和动态检索，以有效管理上下文。
使用大语言模型时需要设置哪些安全措施？
需要设置控件检查 AI 响应中的个人身份信息和冒犯性内容，并限制机器人与客户的交互次数。
➡️
