什么是长上下文窗口？
内容提要
谷歌推出Gemini 1.5，速度和效率提升，长上下文窗口可处理更多令牌，突破性实验功能可帮助开发人员。
延伸解读
长上下文窗口如何解决AI的“遗忘”问题
文章指出，上下文窗口帮助AI模型在会话中回忆信息，类似于人类在对话中记住对方名字或电话号码。如果窗口太短，聊天机器人可能在几轮对话后“忘记”之前的内容。长上下文窗口让模型能处理更多令牌，从而在长时间交互中保持信息连贯，提升对话和任务执行的可靠性。
从32K到100万令牌：技术突破与硬件限制
Gemini 1.5 Pro的上下文窗口从之前的32,000令牌跃升至100万令牌，研究团队甚至测试了1000万令牌。这一飞跃源于一系列深度学习创新，但1000万令牌已接近张量处理单元的热极限。未来硬件改进可能支持更大窗口，但当前仍需优化延迟和计算强度。
长上下文窗口的实际应用场景
文章举例说明，1.5 Pro能总结数千页文档、分析数万行代码，甚至根据整部电影回答问题。它还能利用罕见语言的语法手册学习翻译，达到类似人类学习的效果。这些能力为开发者处理长文档、代码库和多模态数据提供了新可能，但完整100万令牌功能仍处于有限预览阶段。
Q&A
什么是长上下文窗口？
长上下文窗口是指AI模型能够一次性处理的令牌数量，令牌是文本、图像或视频的最小构建块。上下文窗口越大，模型能处理的信息就越多。
为什么长上下文窗口对AI模型很重要？
长上下文窗口帮助AI模型在会话中回忆信息，解决模型“忘记”信息的问题。例如，聊天机器人可能在几轮对话后忘记之前的信息，而长上下文窗口可以避免这种情况。
Gemini 1.5 Pro的上下文窗口有多大？
Gemini 1.5 Pro的上下文窗口可达100万令牌，是目前最大的基础模型上下文窗口。标准配置为128K令牌，部分开发者可试用100万令牌。
Gemini 1.5 Pro能处理哪些类型的任务？
Gemini 1.5 Pro能够处理更长的文档和更多的代码行，例如总结数千页的文档、分析数万行代码，甚至可以在提供完整的电影或文档后进行准确的分析和回答问题。
长上下文窗口是如何实现从128K到1M令牌的飞跃的？
研究团队通过一系列深度学习创新实现了这一飞跃，包括多个突破性进展，这些创新叠加在一起，使上下文窗口从128,000令牌逐步扩展到512,000、1百万，甚至在内部研究中达到10百万令牌。
未来长上下文窗口有可能进一步扩展吗？
是的，团队正在努力提高模型的速度和效率，并计划进一步扩展长上下文窗口。10百万令牌已接近硬件的热极限，但随着硬件改进，模型可能支持更大的上下文窗口。
