小红花·文摘

语言模型中管理小上下文窗口的策略

MachineLearningMastery.com ·

该论文评估了不同检索增强生成范式在企业级语料规模扩展下的性能。实验发现，当语料超过约1000万token时，BM25检索器优于密集向量检索和文件系统代理。文件代理在小规模下表现略好，但随着规模增大，因候选发现能力不足而失效。结合BM25候选发现的Agent方法效果最佳。图RAG方法因建库成本过高或准确率低而失败。结论是BM25负责全局候选排序，Agent负责在缩小后的范围内推理。

RAG还活着吗？向量数据库在向量搜索中的作用 | Qdrant

Qdrant - Vector Database ·

CLaRa：通过连续潜在推理连接检索与生成

Apple Machine Learning Research ·

本文介绍了大语言模型（LLMs）的预训练和微调概念。预训练通过大量数据学习语言基础，而微调则是在此基础上针对特定任务进行适应。微调分为完全微调和参数高效微调（PEFT），后者更节省内存且风险较低。尽管微调有效，但并非唯一解决方案，改进提示或检索增强生成（RAG）有时更为合适。

微调入门解析（预训练模型如何学习新技能）

KDnuggets ·

检索增强生成（RAG）在与大型语言模型结合时存在检索无关和上下文污染等失败模式。常见的修复方法往往过度工程化，导致成本上升和准确性下降。可考虑使用长上下文提示、摘要检索、结构化检索和图形推理等替代方案，根据查询类型选择合适的架构，以提高准确性并降低成本。

使用Telnyx AI推理构建简单的检索增强生成（RAG）应用

mongona news ·

本文介绍了五篇关于大型语言模型（LLMs）的重要论文，涵盖其核心概念和技术。首先是“Attention Is All You Need”，提出了Transformer架构，强调自注意力机制。其次是GPT-3论文，展示了通过提示进行少量学习的能力。接着探讨了模型规模与性能的关系，分析大型模型为何更有效。然后是InstructGPT，讲述如何通过人类反馈优化模型以更好地遵循指令。最后介绍了检索增强生成（RAG），使模型能从外部获取信息以提高回答质量。这些论文为理解现代LLMs提供了基础。