大模型分类其实是特征工程
内容提要
大模型直接分类时，硬标签的Brier分数（0.259）不如抛硬币（0.25），因其本质是语言生成而非概率估计。将其输出作为特征输入逻辑回归，分数降至0.175；再加入19个维度特征和9个规则特征，最终降至0.127，F1达0.779，媲美竞赛最优模型。这表明大模型分类实为特征工程，可将调提示词转化为可调试的工程流程。
延伸解读
大模型直接分类的局限
文章指出，大模型直接输出硬标签时，Brier分数为0.259，比随机猜测的0.25还差。这是因为大模型本质是语言生成器，而非概率估计器。它根据上下文生成最可能的词，但内部没有统计模型计算真实概率。因此，将大模型硬塞进分类器模具，效果不佳。
逻辑回归作为校准层
将大模型的硬标签作为特征输入逻辑回归，可以显著改善概率估计。逻辑回归利用训练数据中条件频率，输出校准概率，Brier分数降至0.175。同时，逻辑回归的截距项自动吸收先验偏见，避免大模型内部阈值不可调的问题。
特征工程的叠加效应
文章展示了一个嵌套模型：仅用大模型判定，Brier为0.259；加入19个维度特征后降至0.131；再加入9个规则特征后降至0.127，F1达0.779。每层信息都提升概率估计和分类表现，说明特征工程能系统化改进模型。
可调试的工程流程
特征工程视角将大模型提取信息与逻辑回归组合判断分离，使调提示词变为可调试流程。通过检查逻辑回归系数和残差，可以评估特征贡献并指导新特征设计。这解决了提示词调优中变量纠缠、不可复现的问题。
Q&A
为什么大模型直接做分类时Brier分数比抛硬币还差？
因为大模型本质是语言生成器，不是概率估计器。它输出硬标签（如“讽刺”或“不讽刺”）时，并没有计算真实的概率，所以Brier分数（0.259）比随机猜的0.25还差。
如何用逻辑回归提升大模型分类的概率校准？
将大模型的硬标签作为特征输入逻辑回归，逻辑回归根据训练集中大模型说“讽刺”时实际讽刺的比例（如0.687）和说“不讽刺”时实际讽刺的比例（如0.188）来输出校准后的概率。这样Brier分数从0.259降到0.175。
除了大模型输出，还可以加入哪些特征来进一步提升分类性能？
可以加入19个维度特征（如是否搞笑、是否自嘲等）和9个规则特征（如是否以@开头、字符长度等）。加入后Brier分数从0.175降至0.127，F1从0.747升至0.779。
特征工程视角如何解决调提示词的不可控问题？
特征工程将大模型提取的信息（特征）与信息组合方式（逻辑回归系数）分离。你可以通过检查逻辑回归系数的显著性和嵌套模型的Brier分数变化，来量化每个特征的作用，从而将调提示词变成可调试的工程流程。
在讽刺检测任务上，这种特征工程方法能达到什么水平？
在SemEval 2018 Task 3数据集上，仅用大模型硬标签F1为0.747，已超过竞赛冠军（0.705）；加上逻辑回归和特征工程后F1达0.779，与竞赛后最优结果（0.786）相当，置信区间重叠。
文章提到还有哪些未探索的特征或问题？
文章提到两个未探索的方向：一是大模型在不同温度下判断的不一致性（判断稳定性）可能作为特征；二是当模型准确率很高时，Brier分数和期望校准误差可能有偏，需要平衡Brier分数来纠正。
