超越已知：研究 LLMs 在域外意图检测中的性能
内容提要
本文综述大语言模型在异常检测与域外检测中的研究。余弦距离检测器因嵌入空间各向同性而表现优异；ChatGPT零样本检测有优势但不及微调；无监督聚类与对比学习可媲美监督方法；世界知识、提示微调、领域正则化、伪OOD生成及原型网络等方法均能提升检测性能。
延伸解读
余弦距离检测器的优势与解释
文章指出，余弦距离异常检测器在LLM嵌入空间中表现卓越，优于其他检测器。这归因于LLM嵌入空间的各向同性特征，使得余弦距离能更有效地捕捉异常。这一发现增强了LLM在异常检测中的适应性和可靠性，为实际应用提供了简单而强大的基线方法。
ChatGPT零样本检测的潜力与局限
ChatGPT在零样本OOD意图检测中展现一致优势，但与微调模型相比仍有差距。文章总结了LLM在聚类、领域特定理解和跨领域情境学习等方面的挑战，并提供了未来解决这些挑战的经验指导，提示读者零样本方法虽便捷但需权衡性能。
无监督与对比学习媲美监督方法
在无法获取域内标签的情况下，结合无监督聚类和对比学习进行OOD检测，性能显著优于基于概率的方法，并能与监督方法竞争。这表明表示学习在OOD检测中具有潜力，为标注数据稀缺的场景提供了可行方案。
多种提升OOD检测性能的技术
文章综述了多种提升OOD检测性能的方法：利用世界知识进行选择性生成和一致性校正、基于提示的微调在语义差异大的任务中表现更好、领域正则化模块仅用域内数据训练即可实现最先进性能、生成伪OOD样本以及抗OOD原型网络。这些方法从不同角度解决了OOD检测的挑战。
Q&A
为什么余弦距离检测器在LLM异常检测中表现优异？
因为大型语言模型的嵌入空间具有各向同性特征，余弦距离检测器能有效利用这一特性，从而优于其他异常检测器。
ChatGPT在零样本OOD意图检测中有什么优势和劣势？
ChatGPT在零样本设置下展现出一致的优势，但与微调模型相比仍处于劣势。
无监督方法在OOD检测中能达到什么效果？
通过无监督聚类和对比学习的结合，可以显著优于基于概率的方法，并且能与基于标签信息的监督方法竞争。
有哪些方法可以提升LLM的OOD检测性能？
世界知识、提示微调、领域正则化、伪OOD生成及原型网络等方法均能提升检测性能。
领域正则化模块在OOD检测中如何应用？
该模块仅使用In-domain数据训练模型，同时支持In-domain意图分类和Out-of-domain检测，并在4个数据集上达到了最先进的性能。
伪OOD生成如何提高NLU中的OOD检测性能？
通过基于自动编码器和生成对抗网络生成伪OOD样本，并利用未标注数据进一步提高这些伪OOD数据的有效性，从而提升OOD检测性能。
