打破密集瓶颈：Voyage-4-large如何利用混合专家（MoE）进行扩展

打破密集瓶颈：Voyage-4-large如何利用混合专家（MoE）进行扩展
Voyage AI
Voyage AI ·
Voyage 4模型系列：采用混合专家架构的共享嵌入空间

Voyage 4模型系列：采用混合专家架构的共享嵌入空间
Voyage AI
Voyage AI ·

本研究提出了一种基于大型语言模型的接口，旨在帮助缺乏技术背景的居民更有效地使用家庭能源管理系统（HEMS）。该接口能够理解用户的错误输入并输出正确参数，平均检索准确率达到88%，显著提高了HEMS的使用效率。

Large Language Model Interface for Home Energy Management Systems
BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 ·

本研究提出了一种名为EMS的新方法，以提高大规模语言模型中KV缓存的压缩效率。该方法结合全局与局部得分，更有效地识别令牌的重要性。实验结果表明，EMS在极端压缩比下仍能保持先进性能，降低困惑度，并显著提高多项任务的检索准确率。

EMS: Adaptive Evict-then-Merge Strategy for Head-wise KV Cache Based on Global-Local Importance
BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 ·
voyage-multimodal-3：文本、图像和截图的全能嵌入模型

voyage-multimodal-3：文本、图像和截图的全能嵌入模型
Voyage AI
Voyage AI ·

该文介绍了一种利用抽象摘要生成简洁查询的方法，可以在现有数据集的检索系统中提高检索准确率。通过微调和开箱即食的摘要模型，检索准确率提高了3倍。

CLAIMSCAN-2023: 社交媒体中揭示真相的概述 —— 通过索引主张的检测和识别
BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 ·
👤 个人中心
在公众号发送验证码完成验证