亚马逊上海人工智能研究院推出了一款名为RAGChecker的诊断工具，用于评估和优化RAG系统。该工具提供细粒度评估和全面的指标体系，帮助开发者了解系统性能并提供改进方向。RAGChecker的核心指标包括精确率、召回率、上下文利用率、噪音敏感度、幻觉等。开发者可以通过准备数据、运行评估和分析结果来使用RAGChecker。该工具已与LlamaIndex集成，为RAG应用提供评估工具。