Micropaper
·
一分钟读论文：《当 Many-Shot Prompting 失败时：LLM 代码翻译的实证研究》
💡
原文中文，约1600字，阅读约需4分钟。
📝
内容提要
论文《当多示例提示失败：LLM代码翻译的实证研究》揭示了“多示例悖论”：在代码翻译任务中，5-25个示例效果最佳，过多示例反而降低性能。研究基于90,000次实验，强调示例数量与性能的关系，推翻了“示例越多越好”的传统观念。
🎯
关键要点
- 论文《当多示例提示失败：LLM代码翻译的实证研究》将在ICSE 2026的ReCode Workshop上发表。
- 研究揭示了'多示例悖论'：在代码翻译任务中，5-25个示例效果最佳，过多示例反而降低性能。
- 研究团队通过90,000次翻译实验，涵盖6种语言和30种语言对，提供了实证数据。
- 论文的核心问题是示例数量与性能之间的关系，探讨Few-Shot和Many-Shot的效果。
- 采用大规模实证研究的方法，实验规模超过90,000次，评估多个维度的性能。
- 核心发现是5-25个Few-Shot示例效果最佳，超过25个示例后性能下降。
- 在语义复杂的代码翻译任务中，过多示例会导致LLM'困惑'，影响性能。
- 研究结果具有实践指导意义，5-25个示例的效果最佳。
- 推翻了'示例越多越好'的传统观念，提供了实证指导。
- 建议开发者在代码翻译任务中使用5-25个Few-Shot示例，关注示例质量。
➡️
