Tokenmaxxing已过时。如何在不牺牲安全能力的情况下最小化AI支出。
内容提要
安全团队发现，顶级AI模型处理日常高量任务成本过高。通过设计检测漏斗，先用规则过滤明显案例，再用轻量模型处理，仅少数复杂案例升级至更强模型，可将检测成本降至每天约1美元。提示工程和上下文提供至关重要，模糊案例仍需人工判断。成本问题应从设计入手解决。
延伸解读
成本问题的根源在于设计而非模型
文章指出，许多团队在收到第一张账单后才发现顶级AI模型成本过高，但根本原因并非模型本身，而是缺乏对工作流程的设计。通过构建检测漏斗，先用规则过滤明显案例，再用轻量模型处理，最后仅将少数复杂案例升级至更强模型，可以将检测成本降至每天约1美元。这强调了在设计阶段就明确哪些案例需要模型介入的重要性，而非盲目使用最强模型处理所有任务。
轻量模型与前沿模型的权衡
作者团队的结构化测试显示，在特定用例中，轻量模型与前沿模型的准确率差异仅为1-2%，但前沿模型的每token成本约为轻量模型的5倍。这意味着，只有在案例确实需要更强推理能力时，使用前沿模型才划算。因此，企业应根据任务复杂度选择合适的模型，避免为简单任务支付高昂费用。
提示工程与上下文的关键作用
文章强调，提示工程和上下文提供对模型输出质量至关重要。一个用于代理检测的提示词可能超过1900字，覆盖各种场景；而提供实际被举报的工件而非仅依赖报告，能帮助模型独立判断，减少幻觉。这提示读者，优化提示词和输入上下文是提升AI准确性和降低成本的有效手段。
人工判断的不可替代性
尽管自动化能处理明确案例，但模糊案例仍需人类判断。例如，区分合法安全研究员与恶意行为者，或解释服务条款争议，需要上下文推理能力，当前AI仍难以可靠完成。因此，设计检测流程时应保留人工审查环节，让人类专注于需要判断力的案例，从而提高整体效率。
Q&A
如何在不牺牲安全能力的情况下最小化AI支出？
通过设计检测漏斗，先用规则过滤明显案例，再用轻量模型处理，仅少数复杂案例升级至更强模型，可将检测成本降至每天约1美元。
为什么顶级AI模型在日常高量任务中成本过高？
因为顶级模型每token成本高，如果直接用于所有高量任务，会导致费用激增。通过漏斗设计，只将少数复杂案例升级到顶级模型，可以控制成本。
检测漏斗的工作原理是什么？
先用规则和模式检测过滤明显案例，再用轻量模型处理剩余案例，只有低置信度或复杂案例才升级到更强模型。
轻量模型和前沿模型在准确率上有多大差异？
在特定用例中，轻量模型和前沿模型的准确率差异仅为1-2%，但前沿模型每token成本约为轻量模型的5倍。
提示工程在AI检测中起什么作用？
提示工程至关重要，详细的提示（如1900字的提示）可以覆盖各种场景，提高检测精度，减少误判。
为什么上下文提供对AI分析很重要？
提供实际被举报的工件和报告，可以让模型独立评估，减少幻觉，提高准确性。
哪些情况需要人工判断？
模糊案例，如区分安全研究员和恶意行为者，或对服务条款的不同解释，需要人工判断。
如何持续优化AI检测系统？
通过迭代方式，像检测工程一样，不断调整提示和模型以应对新的规避技术。
