缓存我如果可以：一种在线的成本感知教师 - 学生框架，用于减少对大型语言模型的调用
原文中文，约600字，阅读约需2分钟。发表于：。通过缓存以前的机器学习模型响应并在中小企业端训练一个本地经济型模型，我们提出了一种降低调用大型语言模型次数的框架，使用两个常见的商业任务（意图识别和情感分析）以及两个经济型学生（k-NN 分类器和多层感知器）来展现实验结果表明，除了稍微降低性能外，还可以获得显著的运营费用节约。
本研究探讨了小语言模型与prompt-learning的结合在零样本和少样本场景下针对零售业中客户-代理商互动的领域特定文本分类的潜力。结果显示，220M参数的T5-base可以在有限的标记数据上实现约75%的准确性，强调了小语言模型与prompt-learning的巨大潜力。同时，强调了主动少样本抽样和集成策略在少样本设置中的好处，并强调了零样本设置中提示工程的重要性。
