构建生成式 AI 产品的思考 [译]
内容提要
LinkedIn团队开发了一种新的AI驱动体验，旨在重新定义会员们进行工作搜索和浏览专业内容的方式。他们遇到了瓶颈，但通过固定的三步处理流程、分而治之的方法和调用内部API等解决了问题。他们还面临着评估答案质量、容量与延迟等挑战。他们希望通过微调大型语言模型和提供更可预测的部署基础设施来进一步改进。
延伸解读
从原则到规则：生成式AI产品开发的范式转变
文章指出，构建生成式AI助手感觉像是从基于原则的机器学习转向了调整专家系统中的规则。团队的主要“训练”手段是提示工程，这更像是一门艺术而非科学。这种转变意味着开发过程更依赖人工经验和迭代，而非传统的数据驱动模型训练，增加了质量优化的不确定性。
质量与延迟的权衡：思维链技术的双刃剑
团队发现，思维链（CoT）等技术能有效提升回答质量并减少幻觉，但会生成用户不可见的Token，从而增加感知延迟。例如，一个200 Token的推理步骤，即使Token间时间仅增加10毫秒，也会导致额外2秒的延迟。这要求开发者在质量与用户体验之间找到平衡。
内部API的LLM友好化：技能包装与防御性解析
LinkedIn通过将内部RPC API包装成“技能”，使LLM能方便调用独特数据。但LLM输出结构化参数时约有10%的错误率，团队通过编写防御性YAML解析器，检测并修复常见错误，将错误率降至约0.01%，避免了重新提示带来的延迟和资源消耗。
评估体系：从人工标注到自动化评估的演进
评估答案质量面临制定指南、注释规模化和自动化三大挑战。团队初期依靠内部语言学团队每天评估多达500个对话，获取整体质量、幻觉率等指标。目前正构建基于模型的自动化评估器，以加快迭代速度，但幻觉检测仍是难点。
Q&A
LinkedIn的新AI驱动体验有什么目标？
目标是重新定义会员们进行工作搜索和浏览专业内容的方式。
开发过程中遇到了哪些主要挑战？
主要挑战包括评估答案质量、容量与延迟等问题。
团队是如何解决开发瓶颈的？
通过固定的三步处理流程、分而治之的方法和调用内部API等方式解决瓶颈。
生成式AI在LinkedIn的应用有哪些具体功能？
包括快速获取信息、连接信息点和获得建议等功能。
团队如何评估生成的答案质量？
通过制定指南、注释规模化和自动化评估等方法来评估答案质量。
LinkedIn如何利用内部API提升产品价值？
通过调用内部API提供独特数据，构建具有差异化价值的产品。
