Databricks将在2026年SIGMOD大会上展示其在Spark声明式管道方面的创新，并获得荣誉提名。该公司专注于简化增量处理，提高ETL工作负载效率，尤其是在维护物化视图方面。Enzyme技术显著提升了性能，展示了在生产工作负载中有效维护物化视图的能力。

CocoIndex是一个实时数据框架，旨在简化AI数据准备，核心引擎使用Rust编写。它支持增量处理，用户可以定义数据转换而无需关注数据操作，并提供与数据生态系统兼容的内置和自定义模块，以提升数据的新鲜度和透明度。

CocoIndex 提供增量处理，用户只需声明转换，自动跟踪数据变化，仅更新变更部分，适用于 ETL/RAG 任务，降低计算成本，支持一次性和实时更新，满足高新鲜度需求。

2024年11月19日，旧金山QCon大会第二天，讨论了高效工程团队的社会驱动因素、遗留系统重构挑战、Netflix Maestro与Apache Iceberg的增量处理改进，以及构建LLM平台的经验教训。演讲者强调信任、自主性、目标和心理安全对团队表现的重要性。