黄东旭：“向量数据库”还是“向量搜索插件 + SQL 数据库”？丨我对 2024 年数据库发展趋势的思考
内容提要
本文讨论了数据库技术在2023年的变革和2024年的发展趋势，重点关注了GenAI时代对数据库的影响。文章提出了两种数据库选择路径：向量数据库和向量搜索插件+SQL数据库。强调了个性化数据服务的重要性，以及数据库在实时交互和弹性方面的关键作用。预测认为，用户对数据的关注度将超过对模型的关注度，AI将对数据处理提出新的诉求。数据库需要应对GenAI对扩展性和实时交互的需求。文章还讨论了数据库的成本分析和可观测性，以及开发者体验在现代数据库设计中的重要性。
延伸解读
向量搜索与SQL数据库的融合趋势
文章认为，向量搜索不应作为独立数据库，而应成为现有数据库的功能。关系型数据库天然支持插入和更新，结合向量索引，可将RAG变为实时更新的正反馈循环。同时，关系型数据库能消除向量数据库带来的数据孤岛，通过JOIN关联数据，提升灵活性。因此，向量搜索插件+SQL数据库是更符合开发者直觉的选择。
弹性与实时交互：数据库的新基石
GenAI应用要求知识和数据实时更新，这对数据库弹性和实时交互提出直接需求。文章指出，传统Shared Nothing系统假设节点对等，但GenAI带来动态访问模式，冷热特征明显，需弱化对等假设。云端弹性成为关键，但弹性不意味着便宜，on-demand资源通常更贵，用户需为不确定性付费。实时交互则要求数据库在毫秒级响应，并实现OLTP与OLAP无缝同步。
成本分析与可观测性：云数据库的新视角
在云上，一切Workload都会成为账单的一部分，用户需要理解账单构成并优化成本。文章提出，成本分析可作为可观测性的独立新视角，帮助用户发现潜在问题，例如CPU使用率低但成本高的实例可调整规格。但计费粒度过细可能影响性能，需平衡。AWS的Cost and Usage Dashboard和俭约架构法则也反映了这一趋势。
开发者体验：现代数据库设计的核心
文章强调，数据库平台化不仅是漂亮的界面，开发者体验应成为核心目标。作者引用乔布斯的话，认为好工具饱含设计者的巧思和品味。他提出三个设计原则：API First，确保管控平台功能均可通过API实现；使用统一认证体系，打通管控与数据库内部认证；构建稳定的小工具，通过统一CLI入口调用。这些原则旨在提升数据库的易用性和效率。
Q&A
在GenAI时代，数据库选择向量数据库还是向量搜索插件+SQL数据库？
文章认为答案很明确：向量搜索应成为现有数据库的功能，而非独立数据库。关系型数据库天然支持插入和更新，配合向量索引可实现实时更新的RAG，并消除数据孤岛，通过JOIN关联其他数据提升灵活性。
GenAI应用对数据库的弹性和实时交互有哪些要求？
GenAI应用要求知识和数据实时更新，数据库需具备弹性扩展和实时交互能力。弹性方面，需高效利用计算资源，云提供弹性成为关键；实时交互方面，需确保数据流实时流动，毫秒级响应，并实现OLTP和OLAP无缝同步。
为什么云数据库的可观测性中成本分析变得重要？
在云上，一切Workload都会成为客户账单的一部分，用户需要理解账单并优化成本。成本分析可帮助发现潜在问题，如调整实例规格以降低成本。账单可解释性越好，用户体验越好，但需平衡计费粒度和性能。
现代数据库设计如何提升开发者体验？
文章提出三个设计原则：API First，提供稳定前向兼容的API，管控平台基于API构建；使用统一认证体系，打通管控和数据库内部认证，便于对接云IAM；构建稳定的小工具，通过统一CLI入口调用。
GenAI如何改变数据访问方式？
GenAI使数据访问更动态灵活，从边缘发起（如Agent或GenAI直接发起），个性化数据价值提升。例如GPTs通过自定义Prompt和RESTful API灵活调用Action，调用方式和参数不可预测，数据库需支持这种动态访问。
2024年数据库技术有哪些主要发展趋势？
文章预测四大趋势：向量搜索成为数据库标配而非独立数据库；弹性和实时交互成为基石；成本分析成为可观测性独立视角；开发者体验成为设计核心目标。整体上，数据和数据库技术仍处于变革期，创新不断。
