Elastic团队在过去一年中开发了多个AI助手，处理了超过一百万条消息。关键经验包括：日志是评估AI性能的重要资产，用户采用不均衡，复杂查询需求增加，检索相关性影响答案质量，设置信心阈值可揭示知识盲点。高令牌计数与用户满意度正相关，表明深度会话能提高质量。

本文讨论了多模态检索增强生成（RAG）系统的评估方法，强调与传统文本RAG相比，多模态RAG需同时考虑文本和图像的检索与生成评估。评估指标包括检索的相关性和忠实度，使用多模态大模型（LMM）作为评估工具，并指出分开评估文本和图像的重要性，以提高评估的准确性和可见性。