本研究探讨大型语言模型在情境学习中的机制，发现任务识别和学习的不同特点。通过选择语义相似的演示示例和动态调整演示数量，显著提升模型性能。提出的新方法In-Context Reflection (ICR)有效减少输出差异，并在多任务学习中展现出优越的效果。

这项研究评估了10个开源指导式LLMs在代码理解和生成任务上的表现。结果显示，指导式LLMs在零样本和少样本设置下表现非常有竞争力，有时甚至比特定任务微调的小型SOTA模型更好。添加演示示例可以提高指导式LLMs的性能，但有时也会导致不稳定或更差的表现。基于BM25的选样策略在生成问题上优于随机选样或固定选样。微调可以进一步提高模型性能，指导式LLMs在微调后的性能优于小型SOTA模型和未进行指导微调的相似规模LLMs。研究提出了模型和使用建议、性能和成本的权衡以及未来方向的实用影响。

本研究评估了10个开源指导式LLMs在代码理解和生成任务上的表现。结果显示，在零样本设置下，指导式LLMs表现非常有竞争力，有时比特定任务微调的小型SOTA模型更好。在少样本设置下，添加演示示例可以帮助LLMs表现更好，但有时会导致不稳定或更差的表现。使用BM25的选样策略在生成问题上优于随机选样或固定选样。微调可以进一步提高模型性能。指导式LLMs在微调后的性能优于小型SOTA模型和未进行指导微调的相似规模LLMs。研究提出了模型和使用建议、性能和成本的权衡以及未来方向的实用影响。