我们的下一代模型：Gemini 1.5
内容提要
谷歌宣布推出Gemini 1.5，这是其AI系统的下一代模型。Gemini 1.5在性能和长文本理解方面有所提升，可以处理高达100万个标记，能够分析大量信息和执行复杂的推理任务。该模型在各种评估中进行了测试，并在87%的基准测试中超过了其前身Gemini 1.0。谷歌向开发人员和企业客户提供了Gemini 1.5的有限预览，并计划根据上下文窗口大小推出定价层次。
延伸解读
长上下文窗口的突破性意义
Gemini 1.5 Pro将上下文窗口从1.0的32,000个标记大幅提升至100万个标记，并在研究中成功测试了高达1000万个标记。这意味着模型可以一次性处理1小时视频、11小时音频、超过30,000行代码或70万单词的文本。这种能力使模型能够对海量信息进行复杂的推理和分析，例如分析阿波罗11号402页的任务记录，或理解44分钟的无声电影情节。长上下文窗口为开发者构建更强大的应用提供了新的可能性。
MoE架构带来的效率提升
Gemini 1.5采用了Mixture-of-Experts（MoE）架构，与传统Transformer作为单一大型神经网络不同，MoE模型被划分为多个较小的“专家”神经网络。根据输入类型，模型学习选择性地激活最相关的专家路径，这种专业化大幅提升了模型效率。谷歌在MoE技术上有深厚积累，曾提出Sparsely-Gated MoE、GShard-Transformer等研究。新架构使Gemini 1.5能更快学习复杂任务，同时保持质量，且训练和服务更高效，帮助团队更快迭代和交付新版本。
性能表现与评估结果
在涵盖文本、代码、图像、音频和视频的综合评估中，Gemini 1.5 Pro在87%的基准测试上超越了1.0 Pro，与1.0 Ultra的表现大致相当。在“大海捞针”（NIAH）评估中，即使在100万标记的数据块中，模型也能99%地找到嵌入的特定信息。此外，1.5 Pro展现出强大的上下文学习能力，例如仅通过一本语法手册就能学习翻译卡兰芒语，水平与人类学习者相当。这些结果表明模型在长上下文下仍能保持高性能。
可用性与未来定价
谷歌通过AI Studio和Vertex AI向开发者和企业客户提供Gemini 1.5 Pro的有限预览，早期测试者可免费尝试100万标记的上下文窗口，但需注意该实验性功能可能导致更长的延迟。标准上下文窗口为128,000个标记，将在模型更广泛发布时推出。谷歌计划推出从128,000标记起步、可扩展至100万标记的定价层级，并正在优化延迟和计算需求，未来速度将显著提升。
Q&A
Gemini 1.5 是什么？
Gemini 1.5 是谷歌推出的下一代 AI 模型，在性能和长文本理解方面有显著提升，能够处理高达 100 万个标记。
Gemini 1.5 的上下文窗口有多大？
Gemini 1.5 Pro 的标准上下文窗口为 128,000 个标记，但在有限预览中，开发者可以尝试高达 1 百万个标记的上下文窗口。
Gemini 1.5 相比前代有哪些性能提升？
Gemini 1.5 在 87% 的基准测试中超过了 Gemini 1.0，并且 1.5 Pro 在相同基准测试中与 1.0 Ultra 表现相当。
Gemini 1.5 采用了什么架构？
Gemini 1.5 采用了 Mixture-of-Experts (MoE) 架构，这种架构将模型分成更小的“专家”神经网络，根据输入选择性地激活最相关的专家路径，从而提高效率。
如何访问 Gemini 1.5 Pro？
开发者和企业客户可以通过 AI Studio 和 Vertex AI 访问 Gemini 1.5 Pro 的有限预览。
Gemini 1.5 在安全方面做了哪些工作？
谷歌对 Gemini 1.5 进行了广泛的伦理和安全测试，包括内容安全和代表性伤害评估，并针对长上下文能力开发了新的测试。
