谷歌发布开源多模态嵌入模型EmbeddingGemma 2,参数7.4亿,可将文本、代码、图像、视频和音频映射到同一768维向量空间,无需预生成字幕或转录。模型基于Gemma 4,采用Apache 2.0许可,支持端侧部署,上下文窗口8192 token。借助Matryoshka技术,向量可截断至256或128维,节省存储的同时多模态检索质量仍保持约95%。
本研究提出了一种名为“μKE”的新型记忆更新机制,旨在解决大型语言模型因静态训练数据引发的幻觉和安全风险问题。该机制通过套娃式目标和自适应损失系数提升了编辑效率,实验证明效率提高了12.33%。
本研究提出了一种新颖的马特里俄罗斯套娃量化技术,解决了低精度量化模型在质量与计算成本之间的权衡问题。该方法支持在单一模型中实现不同精度的量化,使得int2精度模型的准确率提高高达10%。
本研究提出了马特ryoshka重排序器架构,旨在解决大语言模型在计算带宽限制下的灵活调整问题。该架构支持用户自定义模型层和序列长度,并通过级联自蒸馏和分解补偿机制显著提升重排序性能,展现出良好的适应性和效果保持。
运用 Matryoshka Query Transformer (MQT) 模型及变长的嵌入方式,实现图像编码成可调根数的视觉令牌,并通过组合 MQT 与 LLaVA 模型,在保持类似性能的同时,大幅减少了推理时所需的视觉令牌数量。
Reduce Vector Dimensionality with Matryoshka Models Matryoshka Representation Learning (MRL) is a technique used to train embedding models to produce vectors that can be reduced in size with...
完成下面两步后,将自动完成登录并继续当前操作。