为什么主流大模型的上下文窗口都是128k?| 深度 上下文工程的前提是大模型充足的上下文窗口,今天主流模型基本都把 128k 作为上下文的标准长度。本文将探讨为什么主流大模型的上下文窗口都是128k? 上下文工程是AI领域的新概念,强调大模型的上下文窗口的重要性。目前128k是主流标准,因其在处理长文本时效率高,满足多种应用需求。尽管有向百万上下文扩展的尝试,但技术和成本限制使128k仍为最广泛应用的长度。未来将关注信息利用效率,以实现更智能的AI模型。 128k 上下文工程 信息利用效率 大模型 长文本