本文介绍了Voyage AI在嵌入模型扩展方面的研究,特别是通过混合专家(MoE)架构提高效率。Voyage-4-large模型实现了75%的参数减少,同时保持检索准确率,显著降低计算成本和延迟。MoE模型通过优化设计有效解耦知识容量与计算成本。
Voyage 4系列推出四种文本嵌入模型,具共享嵌入空间,支持不同模型间的互用。voyage-4-large采用混合专家架构,提升检索准确率并降低40%成本,适合高效检索需求的客户和开发者,支持多维度嵌入,优化查询与文档嵌入的独立调优。
本研究提出了一种基于大型语言模型的接口,旨在帮助缺乏技术背景的居民更有效地使用家庭能源管理系统(HEMS)。该接口能够理解用户的错误输入并输出正确参数,平均检索准确率达到88%,显著提高了HEMS的使用效率。
本研究提出了一种名为EMS的新方法,以提高大规模语言模型中KV缓存的压缩效率。该方法结合全局与局部得分,更有效地识别令牌的重要性。实验结果表明,EMS在极端压缩比下仍能保持先进性能,降低困惑度,并显著提高多项任务的检索准确率。
voyage-multimodal-3是一种新型多模态嵌入模型,能够同时处理文本和图像,提升检索准确率19.63%。该模型简化了文档解析,支持复杂布局的PDF和截图,解决了传统模型的模态差距问题,适用于知识库的语义搜索。
该文介绍了一种利用抽象摘要生成简洁查询的方法,可以在现有数据集的检索系统中提高检索准确率。通过微调和开箱即食的摘要模型,检索准确率提高了3倍。
完成下面两步后,将自动完成登录并继续当前操作。