上下文窗口被打破：Subquadratic推出1200万tokens的窗口
💡
原文英文，约1300词，阅读约需5分钟。
📝
内容提要
Subquadratic公司推出了一种新模型，支持高达1200万tokens的上下文窗口，声称在检索效率上超越现有模型。其选择性注意力架构在计算和内存上实现线性扩展，速度比传统模型快52倍。公司计划未来推出5000万tokens的模型，并提供API和编码工具。尽管面临挑战，Subquadratic在多个基准测试中表现优异，吸引了投资者关注。
🎯
关键要点
-
Subquadratic公司推出了一种新模型，支持高达1200万tokens的上下文窗口。
-
该模型的选择性注意力架构在计算和内存上实现线性扩展，速度比传统模型快52倍。
-
Subquadratic计划未来推出5000万tokens的模型，并提供API和编码工具。
-
在多个基准测试中，Subquadratic的表现优异，吸引了投资者关注。
-
该模型在12百万tokens的情况下，检索效率达到92.1%，在MRCR v2中得分83，超越OpenAI的模型。
❓
延伸问答
Subquadratic的新模型支持多少个tokens的上下文窗口？
Subquadratic的新模型支持高达1200万tokens的上下文窗口。
Subquadratic的选择性注意力架构有什么优势？
该架构在计算和内存上实现线性扩展，速度比传统模型快52倍。
Subquadratic计划推出的未来模型有什么特点？
Subquadratic计划推出一个支持5000万tokens的模型，并提供API和编码工具。
Subquadratic在基准测试中的表现如何？
Subquadratic在多个基准测试中表现优异，MRCR v2得分83，超越OpenAI的模型。
Subquadratic的模型如何提高检索效率？
该模型在12百万tokens的情况下，检索效率达到92.1%。
Subquadratic的模型与其他模型相比有什么不同？
Subquadratic的模型采用选择性注意力架构，避免了传统模型的二次方计算复杂度。
🏷️
标签
➡️
