上下文窗口被打破：Subquadratic推出1200万tokens的窗口
内容提要
Subquadratic公司推出了一种新模型，支持高达1200万tokens的上下文窗口，声称在检索效率上超越现有模型。其选择性注意力架构在计算和内存上实现线性扩展，速度比传统模型快52倍。公司计划未来推出5000万tokens的模型，并提供API和编码工具。尽管面临挑战，Subquadratic在多个基准测试中表现优异，吸引了投资者关注。
关键要点
-
Subquadratic公司推出了一种新模型，支持高达1200万tokens的上下文窗口。
-
该模型的选择性注意力架构在计算和内存上实现线性扩展，速度比传统模型快52倍。
-
Subquadratic计划未来推出5000万tokens的模型，并提供API和编码工具。
-
在多个基准测试中，Subquadratic的表现优异，吸引了投资者关注。
-
该模型在12百万tokens的情况下，检索效率达到92.1%，在MRCR v2中得分83，超越OpenAI的模型。
延伸解读
新模型的技术优势
Subquadratic的新模型通过选择性注意力架构实现了计算和内存的线性扩展，速度比传统模型快52倍。这一技术突破使得在处理大规模上下文时，模型的效率大幅提升，尤其是在12百万tokens的情况下，检索效率高达92.1%。
市场竞争与挑战
尽管Subquadratic在多个基准测试中表现优异，但市场上已有多种模型尝试解决相似问题。未来的竞争将取决于各家公司如何平衡模型的性能与成本，同时应对技术上的挑战，例如保持高效的注意力机制。
投资者关注与未来发展
Subquadratic已吸引了投资者的关注，获得2900万美元的融资。公司计划推出5000万tokens的模型，未来的发展潜力巨大。然而，市场上类似的高承诺项目也需谨慎对待，投资者应关注其实际应用效果。
延伸问答
Subquadratic的新模型支持多少个tokens的上下文窗口？
Subquadratic的新模型支持高达1200万tokens的上下文窗口。
Subquadratic的选择性注意力架构有什么优势？
该架构在计算和内存上实现线性扩展，速度比传统模型快52倍。
Subquadratic计划推出的未来模型有什么特点？
Subquadratic计划推出一个支持5000万tokens的模型，并提供API和编码工具。
Subquadratic在基准测试中的表现如何？
Subquadratic在多个基准测试中表现优异，MRCR v2得分83，超越OpenAI的模型。
Subquadratic的模型如何提高检索效率？
该模型在12百万tokens的情况下，检索效率达到92.1%。
Subquadratic的模型与其他模型相比有什么不同？
Subquadratic的模型采用选择性注意力架构，避免了传统模型的二次方计算复杂度。
