极道
·
大语言模型137个涌现特征列表 — Jason Wei
💡
原文中文，约900字，阅读约需3分钟。
📝
内容提要
本文介绍了大型语言模型的涌现能力，即“不存在于小模型中但存在于大模型中”的能力。已发现100多个涌现能力的例子，其中少量提示任务的性能对于小模型是随机的，对于大模型是随机的。涌现提示任务专注于特定数据集，而涌现的第二类是小样本提示策略，这是仅适用于足够大规模的语言模型的通用提示策略。
🎯
关键要点
- 涌现能力定义为一种能力，不存在于小模型中但存在于大模型中。
- 通过扩展大型语言模型，发现了100多个涌现能力的例子。
- 涌现的少量提示任务对于小模型和大模型的性能都是随机的。
- BIG-Bench和Massive Multitask Benchmark是涌现任务的主要来源。
- BIG-Bench包含67个任务，MMLU包含51个任务。
- Chinchilla 7B和70B模型分别有多个专业领域的任务。
- 涌现提示任务专注于特定数据集，而小样本提示策略是通用的提示策略，仅适用于足够大规模的语言模型。
➡️
