Hugging Face - Blog
·
展翅高飞：Falcon 180B来了
💡
原文英文，约1300词，阅读约需5分钟。
📝
内容提要
TII发布了Falcon 180B，这是目前最大的开放语言模型，具有1800亿个参数。它使用TII的RefinedWeb数据集训练，包含了3500亿个标记。Falcon 180B在自然语言任务中取得了最先进的结果，并被认为与专有模型PaLM-2不相上下。它在各种基准测试中优于Llama 2 70B和OpenAI的GPT-3.5。Falcon 180B可在Hugging Face Hub上获得，并可用于商业用途，但有一定限制。该模型可通过Transformers版本4.33访问，并提供各种工具和功能。
🎯
关键要点
- TII发布了Falcon 180B，这是目前最大的开放语言模型，具有1800亿个参数。
- Falcon 180B使用TII的RefinedWeb数据集训练，包含3500亿个标记。
- 该模型在自然语言任务中取得了最先进的结果，并与专有模型PaLM-2相媲美。
- Falcon 180B在各种基准测试中优于Llama 2 70B和OpenAI的GPT-3.5。
- Falcon 180B可在Hugging Face Hub上获得，并可用于商业用途，但有一定限制。
- 该模型通过Transformers版本4.33访问，并提供多种工具和功能。
- Falcon 180B的架构是Falcon 40B的扩展版，采用了多查询注意力机制以提高可扩展性。
- Falcon 180B的训练使用了高达4096个GPU，训练时间约为700万GPU小时。
- Falcon 180B的训练数据主要来自RefinedWeb，包含85%的网络数据。
- Falcon 180B在Hugging Face Leaderboard上得分68.74，是目前最高的公开预训练LLM。
- Falcon 180B的商业使用受到严格限制，建议用户查看许可证并咨询法律团队。
- 使用Falcon 180B需要满足特定的硬件要求，尤其是在训练和推理时。
- 模型的基础版本没有特定的提示格式，适合进一步微调。
- 8位和4位量化版本的Falcon 180B在评估中几乎没有差异，适合推理使用。
🏷️
标签
➡️
