乱世浮生
·
Loop Engineering 的代价：LLM 可用性是工程用 Token 买出来的
内容提要
本文探讨了大型语言模型（LLM）在工程中的应用，强调了从Prompt Engineering到Loop Engineering的四个阶段。每个阶段通过增加token提升模型的可用性，解决了模型在执行任务时的局限性。尽管工程不断优化，模型能力未显著提升，真正的挑战在于如何定义和维持任务完成标准，最终仍需人类参与判断。
关键要点
-
大型语言模型（LLM）在工程中的应用经历了从Prompt Engineering到Loop Engineering的四个阶段。
-
每个阶段通过增加token提升模型的可用性，解决了模型在执行任务时的局限性。
-
Prompt Engineering阶段强调清晰的指令，但仍需人类参与，模型无法独立完成任务。
-
Context Engineering阶段关注信息的准确性和完整性，通过动态注入相关信息来提升模型表现。
-
Harness Engineering阶段建立了模型与外部世界的稳定接口，确保单次执行的可靠性。
-
Loop Engineering阶段实现了系统的自我运行，强调设计循环而非单次提示，但仍需人类定义完成标准。
-
尽管工程不断优化，模型能力未显著提升，真正的挑战在于如何定义和维持任务完成标准，最终仍需人类参与判断。
延伸解读
工程阶段的演变
文章详细描述了从Prompt Engineering到Loop Engineering的四个阶段，强调每个阶段通过增加token来提升模型的可用性。这一过程并非模型能力的提升，而是工程师通过不断优化来弥补模型的不足。理解这些阶段有助于读者把握LLM在实际应用中的局限性与潜力。
人类角色的变化
随着工程的深入，人类在模型操作中的角色逐渐减少，从最初的操作员转变为循环设计者。这一变化意味着，尽管模型的运行效率提高，但人类仍需在关键决策和判断中保持参与，以确保输出的质量和方向的正确性。
Token成本的结构性变化
文章指出，随着系统复杂度的增加，token的消耗模式也发生了变化。从单次对话的成本转变为持续运行的系统底座，这意味着在设计和优化过程中，工程师需要更加关注如何在保持可用性的同时降低token的消耗。
验证器的重要性
在Loop Engineering阶段，验证器的角色变得尤为重要。强验证器能够有效防止系统在循环中产生错误，而弱验证器则可能导致错误的持续输出。因此，设计有效的验证机制是确保系统稳定性和输出质量的关键。
延伸问答
什么是Loop Engineering？
Loop Engineering是指设计循环以让系统自主运行，而不是依赖人类每次提示。它强调生成器和验证器的角色分离。
在大型语言模型的工程中，Token的作用是什么？
Token用于提升模型的可用性，通过增加指令、历史信息和工具描述来补充模型的能力。
Prompt Engineering和Context Engineering有什么区别？
Prompt Engineering侧重于如何清晰地给出指令，而Context Engineering则关注信息的准确性和完整性，通过动态注入相关信息来提升模型表现。
为什么人类在LLM工程中仍然不可或缺？
尽管工程不断优化，模型能力未显著提升，真正的挑战在于如何定义和维持任务完成标准，仍需人类参与判断。
Harness Engineering解决了什么问题？
Harness Engineering建立了模型与外部世界的稳定接口，确保模型的单次执行可靠，解决了模型输出不足以完成真实任务的问题。
Loop Engineering中的验证器角色是什么？
验证器负责判断生成器的输出是否符合完成标准，是确保循环有效性的关键角色。
