LlamaIndex 新闻通讯 2023年12月19日
内容提要
本周，LlamaIndex推出了与Google Gemini的合作，支持Gemini API，增强了RAG能力。同时，推出了MistralAI集成、COVID-QA数据集和多模态模板，提升了问答性能，并发布了多个指南和教程，帮助用户优化RAG工作流程。
延伸解读
Gemini 与 MistralAI 集成：多模型支持的意义
LlamaIndex 本周同时宣布了对 Google Gemini 和 MistralAI 的集成支持。Gemini 支持包括文本和多模态，以及语义检索 API；MistralAI 则提供了三种规模的 LLM 和嵌入模型，且同时覆盖 Python 和 TypeScript。这意味着开发者可以在 LlamaIndex 框架内灵活选择不同模型，根据任务需求平衡性能与成本，而无需大幅修改代码。
新数据集与检索单元：提升 RAG 评估与问答性能
LlamaIndex 推出了 COVID-QA 数据集和与 Docugami 合作的多文档 SEC 10Q 数据集，前者包含 300+ 个关于 COVID 的问答对，后者提供了从单文档单块到多文档的多级问题复杂度，便于系统评估 RAG 管道。同时，基于命题的检索单元（Proposition-Based Retrieval）通过索引命题并链接回原文，旨在提升 LLM 的问答性能。这些资源有助于开发者更科学地衡量和改进 RAG 系统。
多模态模板与实用指南：扩展应用场景
Create-llama 新增的多模态模板支持图像输入和输出生成，基于 GPT-4-vision 模型，为需要处理图像的应用开辟了可能。此外，官方发布了多个指南，涵盖查询理解层、安全护栏、多租户隔离以及使用 Prometheus 进行 RAG 评估等，帮助开发者优化工作流程。这些更新降低了构建复杂 RAG 应用的门槛，并提供了实践参考。
Q&A
LlamaIndex与Google Gemini的合作有什么新功能？
LlamaIndex推出了对Gemini API的支持，增强了RAG能力，并提供了全面的食谱以支持高级RAG功能。
COVID-QA数据集包含哪些内容？
COVID-QA数据集包含300多个关于COVID的问答对，便于集成到RAG管道中。
MistralAI的集成对RAG解决方案有什么影响？
MistralAI的集成支持构建RAG解决方案，提升了LlamaIndex的功能。
LlamaIndex推出了哪些新的多模态模板？
LlamaIndex推出了新的多模态模板，支持图像输入和输出生成，扩展了使用案例的可能性。
如何优化RAG工作流程？
LlamaIndex发布了多个指南和教程，帮助用户优化RAG工作流程，包括模块如路由和查询重写。
什么是基于命题的检索单元？
基于命题的检索单元是一种新实现，旨在提升与LLM的问答性能，通过索引命题并链接到基础文本。
