本文探索了现有嵌入模型的上下文窗口扩展，将限制提升到32k，而不需要额外的训练。通过新构建的LongEmbed基准测试，发现有巨大的改进空间。实验表明扩展策略可以有效地将现有嵌入模型的上下文窗口扩展多倍。发布了E5-Base-4k和E5-RoPE-Base数据集，并提供了LongEmbed基准测试。