InfoQ
·
深入了解Uber的Pinot查询重构：简化层次结构与提升可观察性
内容提要
Uber重新设计了Apache Pinot的查询架构，以简化执行、支持更丰富的SQL并提高内部分析的可预测性。新架构引入了轻量级代理Cellar，取代了复杂的Neutrino系统，增强了多租户隔离和执行限制。Pinot 1.4的多阶段引擎轻模式确保可配置的记录限制，优化查询性能，并增加监控和日志功能。Cellar目前处理约20%的Neutrino查询量，未来将逐步取代Neutrino。
关键要点
-
Uber重新设计了Apache Pinot的查询架构，以简化执行、支持更丰富的SQL并提高内部分析的可预测性。
-
新架构引入了轻量级代理Cellar，取代了复杂的Neutrino系统，增强了多租户隔离和执行限制。
-
Pinot 1.4的多阶段引擎轻模式确保可配置的记录限制，优化查询性能，并增加监控和日志功能。
-
Cellar目前处理约20%的Neutrino查询量，未来将逐步取代Neutrino。
-
Cellar支持直接连接模式，允许租户绕过代理直接连接到Pinot brokers。
-
Uber集成了支持M3QL的时间序列插件，通过Cellar增强内部分析工作负载。
-
Uber提供了Java和Go的官方客户端库，以简化与Cellar的交互，并提供操作可视化。
-
重设计反映了OLAP系统的发展，以支持高QPS和亚秒延迟，同时保持隔离性和可预测性。
延伸解读
新架构的优势
Uber对Apache Pinot的重构通过引入轻量级代理Cellar，显著简化了查询执行流程。这种简化不仅提高了SQL的丰富性，还增强了多租户的隔离性，降低了复杂性，使得用户在进行内部分析时能够获得更高的可预测性。
性能优化与监控
Pinot 1.4的多阶段引擎轻模式通过可配置的记录限制，优化了查询性能。这种设计使得复杂查询在执行时能够更好地控制资源使用，同时增强了监控和日志功能，帮助工程团队更有效地追踪查询性能和排查延迟问题。
逐步取代Neutrino的计划
Cellar目前处理约20%的Neutrino查询量，Uber计划逐步扩大Cellar的使用，最终完全取代Neutrino。这一转变不仅是技术上的升级，也反映了Uber在处理大规模数据时对性能和可维护性的持续追求。
延伸问答
Uber为什么重新设计Apache Pinot的查询架构？
Uber重新设计查询架构是为了简化执行、支持更丰富的SQL并提高内部分析的可预测性。
Cellar在新架构中扮演什么角色？
Cellar是一个轻量级代理，取代了复杂的Neutrino系统，增强了多租户隔离和执行限制。
Pinot 1.4的多阶段引擎轻模式有什么特点？
Pinot 1.4的多阶段引擎轻模式确保可配置的记录限制，优化查询性能，并增加监控和日志功能。
Cellar如何处理查询量？
目前，Cellar处理约20%的Neutrino查询量，未来将逐步取代Neutrino。
Uber如何增强内部分析工作负载？
Uber通过Cellar集成了支持M3QL的时间序列插件，增强了内部分析工作负载。
Uber提供了哪些客户端库来简化与Cellar的交互？
Uber提供了Java和Go的官方客户端库，以简化与Cellar的交互，并提供操作可视化。
