作为专用服务的向量搜索
内容提要
文章讨论了向量搜索在大型语言模型（LLM）中的重要性，强调专用向量数据库在处理嵌入数据时的优势，尽管需要数据重复和复杂同步。与传统数据库相比，向量数据库提供更好的可扩展性和搜索速度。对于小规模数据，现有数据库的简单向量搜索功能足够，但复杂应用中投资专用向量搜索引擎是值得的。
延伸解读
向量数据库的本质：搜索而非传统数据库
文章指出，多数所谓的向量数据库并非传统意义上的数据库，而是搜索系统。它们不强调ACID事务和强一致性，而是优先考虑可扩展性、搜索速度和可用性。这种架构差异意味着即使通用数据库添加了向量索引，也难以达到专用系统的性能水平。
数据重复与同步：专用方案的代价与应对
使用专用向量数据库确实需要复制数据，因为嵌入是源数据的衍生物，更新编码器会导致所有嵌入变化。但文章认为，这种重复在集成方案中同样存在，只是内部化了。同步问题可通过消息队列或ETL工具解决，如Qdrant与Airbyte的集成。
成本考量：专用向量服务可能更经济
文章反驳了专用向量服务成本更高的观点。在开源世界，成本取决于资源使用而非数据库数量。专用引擎可针对向量搜索优化，如量化技术减少内存占用。同一区域内数据传输通常免费，因此只要源数据和向量存储同区域，就不会增加传输成本。
何时需要专用向量数据库
文章总结，对于小数据量的简单向量搜索，现有数据库的插件可能足够。但如果向量搜索是应用的核心功能，且需要处理大规模数据，专用向量搜索引擎则值得投资。这类似于使用多功能工具与专用工具的区别，取决于具体需求。
Q&A
向量搜索在大型语言模型中的作用是什么？
向量搜索显著提高大型语言模型（LLM）的回答质量。
为什么专用向量数据库优于传统数据库？
专用向量数据库在存储嵌入数据时提供更好的可扩展性和搜索速度。
使用专用向量数据库需要注意哪些问题？
需要注意数据重复和复杂同步的问题。
小规模数据是否需要专用向量搜索引擎？
对于小规模数据，现有数据库的简单向量搜索功能通常足够。
专用向量数据库的维护与主数据库有什么不同？
专用向量数据库的维护与主数据库相对独立，便于管理和更新。
投资专用向量搜索引擎的理由是什么？
在复杂应用中，投资专用向量搜索引擎可以提高性能和灵活性，避免主数据库的负担。
