错误率从10%降至0.01%，领英全面分享LLM应用落地经验
内容提要
随着大型语言模型（LLM）技术的成熟，各行各业加快了LLM应用的步伐。领英团队分享了他们在构建生成式AI产品的经验，包括更快获取信息、连接信息点和获取建议等关键点。他们通过一个现实场景展示了新开发的系统的工作方式。他们还介绍了系统的设计和开发速度，以及评估响应质量的挑战。他们使用技能调用内部API，并解决了LLM响应中的常见错误。他们还讨论了容量和延迟的考虑因素。
延伸解读
从10%到0.01%：防御性解析如何解决LLM输出格式错误
领英团队发现，约10%的LLM响应存在参数格式错误，甚至不是有效的YAML，导致解析代码崩溃。标准做法是重新提示LLM纠正，但这会增加延迟和GPU消耗。他们转而编写内部防御性YAML解析器，分析常见错误并在解析前检测和修补，同时修改提示注入常见错误提示，最终将错误率降至约0.01%。这一经验表明，对于高频但低级的格式错误，工程化修补可能比依赖模型自我纠正更高效。
评估生成式AI响应：为何比预期更困难
领英指出，评估响应质量面临三大挑战：制定指南、扩展注释和自动评估。以工作评估为例，简单回答“你非常适合”并无帮助，需要真实且富有同理心的响应，这对注释器一致性要求极高。他们依靠内部语言学家团队评估多达500个日常对话，获取整体质量、幻觉率等指标。自动评估仍在进行中，目前工程师只能目测有限示例，且延迟超过一天才能获得指标。这揭示了生成式AI产品迭代中评估环节的瓶颈。
容量与延迟的权衡：流式处理与异步非阻塞管道
领英强调容量和延迟是首要考虑因素。他们面临质量与延迟（如CoT增加延迟）、吞吐量与延迟（TTFT和TBT随利用率增加）、成本（GPU昂贵）等权衡。为减少感知延迟，他们端到端流式处理所有请求，逐步解析LLM响应并提前触发API调用。同时构建完全异步非阻塞管道，避免I/O线程阻塞浪费资源。这些工程优化对于需要实时交互的生成式AI产品至关重要。
Q&A
领英在构建生成式AI产品时遇到了哪些困难？
领英在构建生成式AI产品时遇到的困难包括信息获取的速度、信息点的连接和建议的提供等方面的挑战。
领英的生成式AI系统是如何工作的？
领英的生成式AI系统通过选择合适的智能体、收集信息并制定回复来处理用户查询，利用内部API和Bing进行信息检索。
什么是检索增强生成（RAG）模式？
检索增强生成（RAG）模式是一种生成式AI系统的设计模式，结合了信息检索和生成步骤，以提高响应的准确性和相关性。
领英如何提高生成式AI产品的开发速度？
领英通过将开发任务拆分为独立智能体并进行并行化开发来提高生成式AI产品的开发速度。
评估生成式AI响应质量面临哪些挑战？
评估生成式AI响应质量面临的挑战包括制定评估指南、扩展注释和实现自动评估等问题。
领英是如何解决LLM响应中的常见错误的？
领英通过编写内部防御性YAML解析器，检测和修补LLM响应中的常见错误，将错误率降低到约0.01%。
