分类和回归任务中分类变量编码器性能的比较研究
内容提要
该文综述分类特征编码研究：多分类任务中独热编码与Helmert编码优于目标编码，二分类任务无显著差异；正则化目标编码在部分场景表现最佳。基准测试表明数据集与实验因素会影响结论。此外还涉及二进制编码、目标嵌入加速收敛、GEL编码及随机效应模型等研究，并比较了编码方式对可解释性的影响。
延伸解读
编码选择需区分任务类型
文章指出，在多分类任务中，独热编码和Helmert编码优于目标编码；而在二分类任务中，不同编码方案无显著差异，但独热编码仍有积极影响。这意味着实际应用中不能一概而论，应根据任务类型选择编码方式，多分类问题可优先考虑独热或Helmert编码，二分类问题则灵活性更高。
基准测试结论受多因素影响
一项涵盖32种编码器配置、36种实验因素和50个数据集的全面基准测试表明，数据集选择、实验因素和汇总策略会深刻影响编码器性能比较的结论。这提醒读者，单一研究或特定数据集上的结果未必具有普适性，评估编码方案时需考虑实验设置的多样性。
编码方式影响可解释性
在恶意软件分类数据集中，使用独热编码虽然性能略差于标签编码，但能提供更详细的解释，涵盖全局和局部上下文，且生成的说明文件更小，分析人员分析时间更少。这表明在需要可解释性的场景中，编码选择需在性能与解释性之间权衡。
高基数特征与随机效应模型
针对高基数分类变量的表格数据集，研究发现使用随机效应的决策树提升模型在预测精度上优于使用随机效应的深度神经网络模型。这为处理高基数分类特征提供了一种模型选择参考，即随机效应与树模型的结合可能更有效。
Q&A
多分类任务中，哪种分类变量编码方式效果更好？
在多类别任务中，独热编码和Helmert对比编码优于基于目标的编码器。
二分类任务中不同编码方案有显著差异吗？
在二分类任务中，不同的编码方案之间没有显著差异；然而，独热编码对结果有一定积极影响。
正则化目标编码在什么情况下表现最好？
对训练数据中的特征进行正则化后的目标编码技术能够提供最好的结果，并且传统编码技术在部分情况下不如目标编码技术。
编码方案的效果会受数据集特性影响吗？
研究发现编码方案与分类特征的特性之间没有显著交互作用，说明发现适用于不同领域的各种问题。但基准测试表明数据集选择、实验因素和汇总策略对结论有深远影响。
二进制编码在神经网络中有什么特点？
提出了一种算法实现神经网络输入分类特征的二进制编码，在前向和反向传播中实施变化，使权重变化只影响该特征类别的输入数据实例的前向传播计算，类似于one-hot编码的处理方式。
目标嵌入方法如何加速神经网络收敛？
采用随机投影技术以零计算成本将目标嵌入到低维空间，并使用归一化的特征值表示类流形以提高编码准确性，实验证明能显著提高CIFAR-100、CUB200-2011、Imagenet和MIT Places数据集上的收敛速度和准确率。
不同编码方式对模型可解释性有什么影响？
在恶意软件分类数据集中，使用One Hot Encoding（OHE）相对于Label Encoding（LE）虽然性能略差，但提供了更详细的解释，深入探索全局和局部上下文细节，且说明文件更小，分析人员分析时间更少。
