量子位
·
智谱运气是差一点点，视觉Token研究又和DeepSeek撞车了
💡
原文中文，约4600字，阅读约需11分钟。
📝
内容提要
智谱推出的视觉Token方案Glyph通过将长文本转化为图像，显著提高信息密度，减少Token数量，提升处理效率。实验表明，Glyph在长上下文任务中实现了3-4倍的Token压缩，同时保持了准确度，展示了视觉Token在AI中的潜力。
🎯
关键要点
- 智谱推出的视觉Token方案Glyph通过将长文本转化为图像，显著提高信息密度，减少Token数量，提升处理效率。
- Glyph在长上下文任务中实现了3-4倍的Token压缩，同时保持了准确度，展示了视觉Token在AI中的潜力。
- 随着LLM能力提升，用户对长上下文的需求增加，但扩充上下文会显著增加算力消耗。
- 传统的扩展位置编码、改造注意力机制和检索增强RAG方案都未能有效解决上下文冗长的问题。
- Glyph通过将文本转化为图像，提升信息密度，使得模型能够处理更长的文本。
- Glyph的训练流程包括持续预训练、LLM驱动的渲染搜索和后训练，确保模型在视觉Token处理上的能力。
- 实验结果显示，Glyph在多项长上下文基准测试中实现了3-4倍的Token压缩率，并提升了处理速度。
- Glyph的训练数据主要来自渲染后的文本图像，但在多模态任务上也表现出色，证明了其强大的泛化潜力。
- 视觉Token的出现可能重塑LLM的信息处理方式，未来像素可能取代文本成为AI的基本信息单元。
- OCR技术的引入使得AI的处理效率大幅提升，降低了模型训练的门槛。
❓
延伸问答
Glyph的主要功能是什么？
Glyph的主要功能是将长文本转化为图像，从而显著提高信息密度，减少Token数量，提升处理效率。
Glyph如何提高Token处理效率？
Glyph通过将文本转化为图像，使用视觉Token来提升信息密度，使得模型能够处理更长的文本，减少了Token的数量。
Glyph的训练流程包括哪些阶段？
Glyph的训练流程包括持续预训练、LLM驱动的渲染搜索和后训练三个阶段。
Glyph在长上下文任务中的表现如何？
Glyph在多项长上下文基准测试中实现了3-4倍的Token压缩率，同时保持了与主流模型相当的准确度。
视觉Token的出现对AI有什么潜在影响？
视觉Token的出现可能重塑LLM的信息处理方式，未来像素可能取代文本成为AI的基本信息单元。
Glyph与DeepSeek-OCR有什么相似之处？
Glyph与DeepSeek-OCR的目标相似，都是通过视觉方式解决LLM上下文冗长的问题，提升处理效率。
➡️
