红杉资本提到LLM可靠性和健壮性问题 - 如何破解？
内容提要
红杉资本的AI峰会指出，2024年大模型应用的关注点在可靠性和健壮性。大模型应用的验证是一个重要主题，因为传统测试手段对于大模型应用的验证往往无从下手。文章介绍了一个AI应用开发案例，以及构建大模型应用持续交付流程的方法。验证系统的重要性以及结合大模型和人工的方式来验证大模型应用也得到了强调。
延伸解读
传统测试为何在大模型应用上失效
文章指出，大模型的不确定性导致传统测试手段无从下手。例如，相同的提示词和代码输入，模型可能给出不同但都正确的解释。传统软件基于规则，可通过穷举覆盖场景，但大模型应用无法预设逻辑推导行为。因此，许多应用停留在DEMO阶段，一旦投入生产便出现异常。这要求团队转向基于实际使用结果的验证方式，而非依赖确定性断言。
三层测试金字塔的实践要点
文章提出三层测试金字塔：单元测试、模型和人工验证、A/B测试。单元测试成本最低，应频繁执行，最好在IDE中随代码变更运行；第二层以固定频率执行，依赖日志和监控；第三层仅在正式版本上引导用户完成。低层级测试需更密集，高层级成本更高。这种结构帮助团队隔离不可控部分，快速定位问题，提高迭代速度。
人工与模型结合的验证策略
文章强调，100%自动验证大模型输出是不可能的，因为不确定系统无法用确定系统验证。但可用高阶模型（如GPT-4）检视低阶模型输出，即“用魔法打败魔法”。人工仍是最高阶检视者，需关注模型检视信息的质量并持续优化提示词。经过人工调整的日志数据可加入微调数据集，但必须通过单元测试验证，避免训练失败。
验证系统如何驱动微调数据生成
文章指出，微调工作中99%的精力用于准备高质量数据。用于生成测试数据的提示词可直接生成微调数据，但训练数据和验证数据必须严格区分，避免“开卷考试”。验证系统本身也是最好的训练数据生成系统，通过日志检视和人工调整，可不断产出高质量数据，推动模型行为、格式和风格的优化。
Q&A
大模型应用在2024年的主要关注点是什么？
大模型应用在2024年的主要关注点是可靠性和健壮性。
为什么传统测试手段对大模型应用的验证效果不佳？
传统测试手段对大模型应用的验证效果不佳，主要是因为大模型本身的不确定性使得验证过程难以进行。
构建有效的验证系统对大模型应用有什么重要性？
构建有效的验证系统是大模型应用成功的关键，它可以确保应用的性能、质量和用户体验。
如何提高大模型应用的测试覆盖率？
可以通过使用大模型生成测试用例来提高测试覆盖率，这样可以快速生成大量的测试场景。
大模型应用的三层测试金字塔包括哪些层级？
大模型应用的三层测试金字塔包括单元测试、模型和人工验证、A/B测试。
人工和模型结合的验证方式有什么优势？
人工和模型结合的验证方式是当前最可靠的验证方法，可以更好地应对大模型应用的不确定性。
