Hugging Face - Blog
·
StarCoder：一款最先进的代码大型语言模型
💡
原文英文，约900词，阅读约需4分钟。
📝
内容提要
StarCoder是一个大型代码语言模型，由Hugging Face和ServiceNow联合开发，训练了超过1万亿个标记，可用于自动完成代码、修改代码、自然语言解释代码片段等。该模型可以处理超过8,000个标记的上下文长度，是目前最大的开放式LLM之一。在多种基准测试中，StarCoder表现出色，超过了其他开放式LLM，包括OpenAI的code-cushman-001模型。该模型已公开发布，并提供了一系列资源和演示。
🎯
关键要点
- StarCoder是由Hugging Face和ServiceNow联合开发的大型代码语言模型，训练了超过1万亿个标记。
- StarCoder可以用于代码自动完成、修改和自然语言解释，具有超过8000个标记的上下文长度。
- StarCoder在多种基准测试中表现优异，超越了其他开放式LLM，包括OpenAI的code-cushman-001模型。
- StarCoder模型经过评估，表现出色，尤其在HumanEval基准测试中得分超过40%。
- StarCoder支持多种编程语言，并在多语言基准测试中表现良好。
- 该模型可以作为技术助手，能够回答编程相关请求。
- StarCoder的训练数据来自于The Stack 1.2，确保了数据的许可合规性，并移除了个人可识别信息。
- 发布了多种资源和演示，包括模型权重、数据预处理代码和评估工具。
➡️
