RAG系统的进展与挑战 - Syed Asad | 向量空间讲座
内容提要
Syed Asad讨论了RAG系统的进展与挑战，特别是多模态RAG在处理不同口音和转录问题上的复杂性。他提到Qdrant作为向量数据库的优势，并分享了在家庭树应用和医疗领域的案例。同时，他指出数据隐私和成本是客户关注的重点，尤其是在使用AWS等云服务时。他认为，提升AI系统性能的关键在于准确性和提示工程。
延伸解读
多模态RAG的落地难点：口音、转录与成本
Syed Asad指出，多模态RAG在处理不同口音时面临转录模型选择难题。OpenAI Whisper在开发环境表现良好，但部署到AWS后词错误率高、速度慢，最终不得不改用DeepGram和AssemblyAI。此外，AWS GPU实例最低月成本约450美元，对初创公司构成沉重负担，促使他探索Salad等更便宜的推理方案。
向量数据库选型：易用性比可扩展性更关键
Syed Asad认为，许多向量数据库（如Pinecone、Weaviate）虽然可扩展，但不易使用。他特别推崇Qdrant，因其易用性和出色的搜索结果，并提到Qdrant新推出的FastEmbed采用ONNX方法，减少了内存占用（从PyTorch方案的至少6GB RAM降至更低），使嵌入模型部署更高效。
提升RAG准确性的实践：嵌入模型与重排序
在医疗职位匹配案例中，Syed Asad发现即使医疗专用嵌入模型也表现不佳，最终采用Cohere重排序器显著提升准确性。他强调语义分块和重排序对结果质量至关重要，并建议根据用例和模型大小筛选嵌入模型，避免因模型过大导致生产环境无法部署。
生产环境中的幻觉与提示工程挑战
Syed Asad指出，即使将温度设为0，幻觉仍会出现，例如用户输入“hello”却返回书籍内容。他认为提示工程是控制LLM行为的关键，但需要大量试错。此外，客户对数据隐私和成本高度敏感，倾向于本地化LLM（如Ollama）和量化技术（如标量量化），以平衡性能与开销。
Q&A
RAG系统的多模态处理面临哪些复杂性？
RAG系统在处理不同口音和转录问题时面临复杂性，尤其是缺乏有效的转录模型和高成本的云服务。
Qdrant作为向量数据库有什么优势？
Qdrant以其易用性和出色的搜索结果而著称，适合处理大规模向量搜索任务。
在家庭树应用中，RAG系统如何提升用户体验？
家庭树应用通过视频与已故亲人互动，使用户能够查询和观看已故亲人的视频，增强了应用的吸引力。
客户在使用云服务时最关注哪些问题？
客户最关注数据隐私和成本，尤其是在使用AWS等云服务时，成本可能迅速上升。
提升AI系统性能的关键因素是什么？
提升AI系统性能的关键在于准确性和提示工程，尤其是在医疗领域的应用中。
RAG系统在医疗领域的应用有哪些挑战？
RAG系统在医疗领域面临的挑战包括高准确性要求和有效的提示工程，以确保结果的可靠性。
