Databricks 为 Lakebase Postgres 优化计算节点缓存:在固定规格计算上停用本地文件缓存,将共享缓冲区设为内存的75%,并启用2MB大页以减少页表和TLB开销。实测吞吐翻倍、延迟下降、CPU占用降低,存储读取请求大减。下一步将把大共享缓冲区扩展至自动伸缩计算。
本文介绍Databricks开源框架Consort,它利用Lakebase数据库分支实现测试驱动开发。传统数据库无法分支,导致测试用mock或共享环境。Consort通过代理团队(如产品负责人、DBA)在真实数据库分支上运行红绿重构循环,支持并行实验和代码模式审查,使集成测试左移,减少生产故障,实现代码与模式同步部署。
该文章介绍了一个基于Temporal和Lakebase的个人贷款核保代理参考实现。它利用Temporal实现持久执行,确保代理在工人故障后恢复;Lakebase存储可查询的操作状态,如运行状态、证据和指标。通过确定性ID和幂等写入处理重试,Unity Catalog同步政策,Change Data Feed导出历史数据。此架构增强了代理的韧性和可扩展性,适用于需要长期等待和状态恢复的代理场景。
Lakebase Postgres通过自动扩展实现数据库计算资源的动态调整,其算法监控CPU使用率、内存压力及基于时间感知的HyperLogLog估算的工作集大小来确定扩展目标。系统利用VM实时调整CPU和内存,无需中断连接,支持双向扩展,并分离存储与计算,使扩展灵活高效,避免资源浪费,适应实时工作负载变化。
Databricks将在VLDB 2026展示多项创新,包括Reynold Xin的主题演讲,介绍AI代理时代数据库工程的“第三黄金时代”,提出Lakebase和LTAP新范式。四篇论文涵盖Lakebase架构、Spark Structured Streaming演进、AutoLiquid自动数据布局优化及Ultron历史查询优化,另有Enzyme演示,旨在提升湖仓性能与实时分析能力。
Databricks Lakebase Postgres将事务数据库与分析平台统一,其合作伙伴基于此构建了覆盖金融、制造、零售、医疗等行业的AI解决方案,如欺诈检测、理赔处理、供应链优化等。这些方案利用Lakebase的低延迟和统一治理能力,加速决策,提升运营效率,并已投入生产使用。
本文介绍Databricks Lakebase与Unity Catalog的FinOps解决方案,通过将Backstage运营数据与云账单数据直接连接,实现单查询成本归属分析。Lakebase隔离计算,支持秒级数据库分支,使临时分支成本可追踪。文章强调零ETL管道、统一治理及分支生命周期管理,展示技术融合如何简化成本与所有权查询,并指出未来需优化认证路径。
CLA与Databricks合作,构建了基于Lakebase的Databricks原生编排层,用于长任务处理、可观测性和成本归因。该系统利用Postgres表实现并发安全队列、租约恢复、速率限制调度和幂等回调,无需外部消息代理。通过Databricks Apps集成实时仪表盘,支持任务状态和成本监控,将文档提取时间从数小时缩短至分钟,简化了AI代理工作流的基础设施。
Glaspoort利用Databricks Lakebase实现数据库变更与代码同等的严谨性:每个环境从生产分支,为每个PR创建临时数据库,并将迁移视为唯一事实来源。此方法避免环境漂移,简化刷新流程,提升迭代速度十倍,确保测试基于真实数据,同时保持架构灵活可靠。
Databricks Lakebase 是一种完全托管的无服务器 Postgres 数据库,旨在简化企业数据现代化。它通过将计算与存储分离,消除了传统 ETL 管道的复杂性。多个合作伙伴开发了基于 Lakebase 的解决方案,帮助企业加速数据迁移、分析和 AI 转型,提升效率、降低风险,实现实时决策。
文章讨论了Lakebase,一个无服务器的Postgres数据库,旨在克服传统OLTP数据库的局限性。通过外部化写前日志(WAL)和数据文件,Lakebase实现了更高的可扩展性和耐用性,支持实时事务和分析处理,消除了数据复制的需求,确保分析读取最新数据。该架构实现了存储与计算的分离,提供无限存储、弹性计算和简化的高可用性,推动了数据库技术的发展。
Databricks在旧金山的Data + AI峰会上推出了LTAP架构,旨在整合企业数据的事务处理和分析。LTAP允许AI代理同时读取实时和历史数据,消除传统数据库的分隔。该架构基于Lakebase,支持快速查询和数据实验,简化数据管理,提升效率。此外,Databricks还推出了Unity AI Gateway和CustomerLake等新工具,以优化企业数据使用和安全管理。
Lakebase Search 是一种新型搜索解决方案,结合了向量和全文检索,专为现代数据需求设计。它利用 Postgres 扩展,支持实时数据检索,优化存储成本和性能。通过将数据存储在云对象存储中,Lakebase 实现了高效搜索和低成本存储,适用于代理工作流。该系统允许在单一 SQL 查询中进行混合搜索,提升数据处理的灵活性和效率。
本文讨论了数据库设计和开发的演变,特别是2026年引入的按需分支技术如何提升团队工作流程的效率和灵活性。开发者能够快速创建和管理数据库分支,数据库管理员的角色转变为平台架构师,负责治理框架的设计与维护。文章还强调了测试驱动开发(TDD)在确保代码质量中的重要性,以及新工作流程如何促进团队协作。
ERGO Hestia与Databricks合作,升级定价平台,实现实时B2C能力,提升创新速度。新架构整合数据和模型管理,简化操作,确保定价决策可追溯。通过Lakebase和模型服务端点,团队加快模型部署,提升市场响应能力,推动收入增长。这一转型为其他业务提供了可借鉴的模板。
本文讨论了数据库设计的演变,特别是Databricks Lakebase的分支功能如何改善开发者Jen的工作流程。Jen可以创建独立的数据库分支,避免与团队其他成员的冲突,从而加快开发速度。新的工作方式使数据库变更成为常规开发的一部分,提升了反馈速度和设计灵活性,减少了协调成本,确保了开发效率和数据完整性。
Databricks推出了Always-On定价模式,结合灵活的无服务器架构和可预测的低成本基线使用。用户可以根据需求自动调整计算能力,享受25%的基线费用折扣,避免传统Postgres产品的选择困境。新项目默认启用零规模,用户可在使用后调整基线设置,简化管理并降低成本。
Lakebase推出了变更数据馈送(CDF),简化了从操作数据库到Lakehouse的数据提取过程。通过Unity Catalog管理,用户可以轻松启用CDF,提升数据治理和流通效率。这一新架构将操作数据库转变为Lakehouse的原生Bronze层,支持ETL和流式工作流,推动数据管理的开放性与高效性。
Databricks Lakehouse通过无服务器自动扩展显著降低了全渠道营销平台的总拥有成本(TCO)。它支持个性化营销活动,优化数据同步和查询性能,提升客户细分的低延迟服务能力,结合了事务数据库的优势和数据湖的灵活性,适合高并发查询,推动了营销效率的提升。
本文介绍了一种新的实时信用卡欺诈检测解决方案,利用Databricks平台实现低于300毫秒的处理速度。该系统结合实时流处理和机器学习,能够快速识别和阻止可疑交易,减少金融机构的损失。通过简化架构,用户可以在一个平台上完成数据处理和模型训练,提升效率。
完成下面两步后,将自动完成登录并继续当前操作。