蝈蝈俊
·
目前常见LLM的上下文长度 - 蝈蝈俊
内容提要
当前主流的大语言模型（LLM）上下文长度不断增加，已达到64K，部分新模型甚至可达1M。不同模型的token与字数换算比例各异，中文字符约为0.6个token。例如，阿里Qwen系列支持128K token，OpenAI的GPT-4.5支持128K输入和16K输出。
关键要点
-
当前主流的大语言模型（LLM）上下文长度已达到64K，部分新模型可达1M。
-
不同模型的token与字数换算比例各异，中文字符约为0.6个token。
-
阿里Qwen系列支持128K token，OpenAI的GPT-4.5支持128K输入和16K输出。
-
过去几年LLM的上下文token长度仅为8K，目前主流已达到64K，部分模型甚至达到10M。
-
DeepSeek的模型上下文长度为64K，最大输出长度为8K。
-
阿里云的Qwen2.5模型上下文长度最多支持128K个token，最大生成8K个token。
-
谷歌的Gemini系列模型输入令牌限制可达1M，输出令牌限制为64K。
-
Llama模型的上下文窗口可达1000万token，支持大规模文本处理。
-
OpenAI的GPT-4.5模型输入上下文长度为128K，最大输出为16K。
-
Anthropic的Claude 3.7 Sonnet模型输入上下文长度可达200K，最大输出长度在扩展思考模式下可达128K。
延伸解读
上下文长度的演变
近年来，大语言模型的上下文长度显著增加，从最初的8K提升至64K，甚至部分模型已达到1M或10M。这一变化使得模型在处理复杂任务时，能够更好地理解和生成长文本，提升了应用的灵活性和准确性。
不同模型的token换算
不同大语言模型在token与字数的换算上存在差异。以中文为例，1个中文字符约为0.6个token。这一比例对开发者在设计输入文本时至关重要，影响到模型的输入限制和输出效果。
模型选择的考虑因素
在选择大语言模型时，用户应关注上下文长度和输出限制。例如，阿里Qwen系列支持128K token，而OpenAI的GPT-4.5则为128K输入和16K输出。根据具体应用需求，选择合适的模型可以优化性能和效率。
延伸问答
当前主流大语言模型的上下文长度是多少？
当前主流的大语言模型上下文长度已达到64K，部分新模型可达1M。
阿里Qwen系列模型的token支持是多少？
阿里Qwen系列模型支持最多128K个token。
OpenAI的GPT-4.5模型的输入和输出限制是什么？
OpenAI的GPT-4.5模型输入上下文长度为128K，最大输出为16K。
Llama模型的上下文窗口有多大？
Llama模型的上下文窗口可达1000万token。
谷歌Gemini系列模型的输入令牌限制是多少？
谷歌Gemini系列模型的输入令牌限制可达1M。
不同语言的token与字数换算比例是什么？
中文字符约为0.6个token，英文字符约为0.3个token。
