.png)
Elastic借助NVIDIA RTX GPU将Jina模型推理速度提升至8倍
内容提要
Elastic将Jina API和Elastic推理服务从NVIDIA L40迁移至RTX Pro 6000 Blackwell GPU，以加速智能体AI工作负载。实测显示：嵌入请求延迟最高降低约8倍，重排序提速4倍以上，OCR页面转换速度提升约3.7倍；混合负载下小请求延迟从708毫秒降至66毫秒。Jina小型模型在准确性和多语言、多模态覆盖上表现领先，迁移后客户无需改动即可受益。
延伸解读
迁移无需改动，但需关注模型覆盖进度
Elastic将Jina API和EIS从NVIDIA L40迁移至RTX Pro 6000 Blackwell GPU，已迁移的模型客户无需任何改动即可获得加速。但文章明确指出，目前只有部分Jina API模型运行在新GPU上，更多模型仍在迁移中。因此，并非所有用户都能立即体验到全部性能提升，实际收益取决于所用模型是否已完成迁移。
混合负载下的延迟改善最值得关注
共享GPU服务中，大任务会挤占资源，导致小请求排队延迟升高。Elastic的测试显示，在大重排序任务并行时，小请求延迟从708毫秒降至66毫秒，改善约10.7倍。这说明RTX Pro 6000在混合负载隔离上表现突出，对于同时运行批量作业和实时查询的智能体应用，用户体验的稳定性可能比峰值速度更重要。
小模型性能领先，但对比范围有限
Jina强调其小型模型在同等规模中准确性和覆盖领先，例如jina-ocr-v1在600M以下参数模型中表现最佳，jina-reranker-v3.5在STaRK基准上超过4B参数的Qwen3-Reranker-4B。这些对比基于特定基准和参数规模，不代表在所有任务上均优于更大模型。读者应结合自身场景评估，而非直接推断小模型全面胜出。
性能数据来自生产与受控测试，仍需持续观察
文章给出的加速倍数（嵌入8倍、重排序4倍以上、OCR约3.7倍）来自生产流量对比和受控测试，并注明了延迟百分位（如99th、90th）。这些数据反映了迁移初期的效果，但Elastic仍在迁移更多模型，且未披露长期稳定性或成本变化。对于计划依赖该服务的团队，建议关注后续迁移进度和实际业务负载下的表现。
Q&A
Elastic把Jina模型迁移到了什么GPU上？
Elastic将Jina API和Elastic推理服务从NVIDIA L40 GPU迁移到了NVIDIA RTX Pro 6000 Blackwell服务器版GPU。
迁移后嵌入请求的延迟降低了多少？
根据生产流量测试，嵌入请求的99百分位延迟从5.86秒降至0.73秒，最高降低约8倍。
重排序任务在迁移后速度提升了几倍？
重排序任务在生产环境中（平均请求量增加约40%）的90百分位延迟从732毫秒降至171毫秒，提升4.3倍；在受控测试中，大型重排序作业完成时间从702毫秒（三块L4 GPU）降至160毫秒（单块GPU），提升4.4倍。
OCR页面转换速度提升了多少？
OCR页面转换速度从每小时454页提升至每小时1,671页，提升约3.7倍；首个输出令牌时间从0.50秒降至0.20秒，提升2.5倍。
混合负载下小请求的延迟改善如何？
在共享GPU池的混合流量测试中，小请求的延迟从708毫秒降至66毫秒，改善约10.7倍。
Jina模型在准确性和覆盖范围上有什么优势？
Jina小型模型在准确性和多语言、多模态覆盖上表现领先。例如，jina-ocr-v1在olmOCR-bench基准上是600M以下活跃参数模型中表现最好的；jina-embeddings-v5-omni-small在MTEB上是2B参数以下最佳的开源权重全模态模型；jina-reranker-v3.5（600M参数）在STaRK结构化数据基准上击败了4B参数的Qwen3-Reranker-4B模型。
客户需要做什么改动才能获得性能提升？
客户无需进行任何改动即可受益，因为Elastic在后台迁移了模型，使用这些模型的客户会自动获得速度提升。
