LLM-Select：大型语言模型的特征选择
内容提要
本文介绍了新颖的上下文学习框架 FealtLLM，该框架利用大型语言模型生成优化输入数据集，以提升小样本学习的性能。实验结果显示，FealtLLM 在多个表格数据集上优于现有方法，并且仅需访问大型语言模型的 API。此外，研究探讨了大型语言模型在推荐系统、数据预处理和人类行为预测中的应用潜力，强调了其在特征提取和模型性能提升方面的优势。
延伸解读
FeatLLM 如何降低对大型语言模型的依赖
FeatLLM 在推断阶段仅使用生成的特征和简单的下游模型（如线性回归）来预测分类可能性，因此无需为每个样本查询大型语言模型。这消除了对大型语言模型 API 的频繁调用，并克服了提示大小的限制，使得方法更易于部署和扩展。
性能优势与实验验证
在多个来自不同领域的表格数据集上，FeatLLM 生成的规则质量高，性能明显优于 TabLLM 和 STUNT 等替代方法，平均提升达到 10%。这表明利用大型语言模型作为特征工程师可以有效提升小样本学习的性能。
大型语言模型在数据预处理中的潜力
研究探索了大型语言模型在数据预处理任务中的应用，包括错误检测、数据插补、模式匹配和实体匹配。实验结果表明，大型语言模型在这些任务中具有巨大潜力，能够改进模型的性能和效率。
大型语言模型增强经典机器学习
通过将预训练的大型语言模型集成到经典监督机器学习估计器中，可以显著提升预测性能。在四个公开数据集上的数值实验显示，这种方法在标准二分类任务和迁移学习任务中均有效，为传统方法提供了新的增强途径。
Q&A
FealtLLM 是什么？
FealtLLM 是一种新颖的上下文学习框架，利用大型语言模型生成优化输入数据集，以提升小样本学习的性能。
FealtLLM 如何提高小样本学习的性能？
FealtLLM 通过生成适合表格预测的特征，并使用简单的下游机器学习模型进行推断，从而实现高性能的小样本学习。
FealtLLM 与其他方法相比有什么优势？
FealtLLM 在多个表格数据集上的实验结果显示，其性能明显优于现有方法，如 TabLLM 和 STUNT，且不需要每个样本都查询大型语言模型。
大型语言模型在推荐系统中的应用潜力如何？
大型语言模型在推荐系统中表现良好，尤其在零-shot 排名上，但提示和启发方法会影响其效果。
大型语言模型在数据预处理方面有哪些潜力？
大型语言模型在数据预处理方面具有潜力，包括错误检测、数据插补和模式匹配等任务。
如何利用大型语言模型增强经典机器学习方法？
通过将大型语言模型集成到经典机器学习估计器中，可以显著提升预测性能，尤其在分类问题上。
