分解促使：揭示英语为中心的大型语言模型中的多语言语言结构知识
内容提要
本文综述提示工程研究，涵盖分解提示法（拆分复杂任务以提升符号与多步推理）、机器翻译（将翻译分解为词块序列）、结构化提示（使预训练模型零样本完成标注，体现通用语言学知识）、多语言大模型翻译（接近人类水平）、无监督提示（用高资源语言合成样本提升低资源摘要）、LLMLingua（实现最高20倍提示压缩）、MTPrompt等多维任务提示（在少样本任务领先）、提示性大模型（提升对话评估鲁棒性与多语言性），并发现提示性能难以用困惑度等解释，元语言判断弱于直接概率测量。
延伸解读
提示性能的不可解释性
文章指出，大语言模型在语义等效但语言结构不同的提示上表现差异，且这种差异无法用困惑度、词频、歧义或提示长度解释。这意味着仅靠这些传统指标难以预测或优化提示效果，读者需注意提示设计仍依赖经验试错，而非理论指导。
提示压缩的实用价值
LLMLingua通过粗到细的压缩方法，在保持语义完整性的同时实现高达20倍的提示压缩，有效加速推理并降低成本。对于需要处理长提示或高频调用的应用，这一技术能显著提升效率，但需关注压缩率与性能损失的平衡。
低资源语言的提示策略
针对低资源语言的多语言摘要，无监督提示方法利用高资源语言的合成样本，在许多低资源语言上胜过有监督提示。这为资源匮乏场景提供了可行方案，但效果可能受语言相似性和合成样本质量影响，实际应用时需验证目标语言上的表现。
元语言判断的局限性
文章比较了元语言激励和直接概率测量作为衡量英语知识的方法，发现大语言模型的元语言判断低于直接从表示中派生的数量。这表明模型自我报告的语言知识可能不可靠，评估时应优先考虑基于概率的内部测量，而非依赖模型的外显判断。
Q&A
分解提示法是什么？它主要解决什么类型的问题？
分解提示法是一种通过将复杂任务分解成简单子任务来解决复杂任务的方法，可以针对每个子任务优化专用提示，进一步分解复杂任务并取得更好性能，特别适用于符号推理任务和多步推理任务。
LLMLingua 如何实现提示压缩？压缩效果如何？
LLMLingua 是一种粗粒度到细粒度的提示压缩方法，利用预算控制器、基于令牌级的迭代压缩算法和基于指令调整的语言模型分布对齐方法，在维持语义完整性的同时实现高压缩率。实验表明，该方法在多个数据集上达到最先进水平，并能进行高达20倍的压缩，性能损失很小。
多语言大模型在机器翻译中的表现如何？
多语言模型（如PaLM）在机器翻译中表现出类似人类的水平，能够根据样式指南和语言要求优化翻译细微差别，并在处理和应用提示上表现出色。研究还分类了这些模型的错误和限制，并提出了设计提示进行上下文学习的方法。
无监督提示方法如何提升低资源语言的摘要生成？
无监督提示方法使用高资源语言的合成样本，在低资源语言上进行多语言总结，并在许多低资源语言上胜过有监督的提示。
结构化提示技术证明了预训练语言模型具有什么能力？
结构化提示技术证明预训练语言模型（PLMs）可以在零或少量样本情况下执行标记任务，而不是仅靠表面级别的词汇模式，这表明PLMs包含了一种通用的语言学知识表示方式。
大语言模型的提示性能能否用困惑度等指标解释？
不能。研究发现，不同规模、预训练和指导调优的LLMs在语义上等效但语言结构不同的提示上的性能，不能通过困惑度、词频、歧义或提示长度来解释，并建议对提示研究采用更健壮和综合的评估标准。
