研究发现，大型语言模型的任务能力和功能组件在不同规模下一致出现，总体算法保持不变。这意味着对小型模型的线路分析仍适用于额外的预训练和不同规模的模型。

该文介绍了一种新型的提取攻击——Model Leeching，可以从大型语言模型中提取特定任务知识到一个减少参数的模型。作者通过从ChatGPT-3.5-Turbo中提取任务能力来证明攻击的有效性，精确匹配相似度达到73%。