内容提要
作业时间线存储基于LevelDB实现,保存启动时间、实体、索引、域和所有者信息。不同类型的信息存储在不同的LevelDB中,支持按时间归档和清理,便于管理和查询。
关键要点
-
作业时间线存储基于LevelDB实现,保存启动时间、实体、索引、域和所有者信息。
-
不同类型的信息存储在不同的LevelDB中,支持按时间归档和清理。
-
starttime-ldb保存应用启动时间,key为EntityIdentifier,value为作业启动时间。
-
entity-ldb支持按照时间创建单独的数据库,保存实体信息。
-
indexes-ldb保存实体的索引信息,key格式为INDEXED_ENTRY_PREFIX + primaryfilter name + primaryfilter value + key。
-
domain-ldb保存域信息,主要用于Tez任务,可能会造成数据残留。
-
owner-ldb保存所有者信息,主要用于Tez任务,可能会造成数据残留。
延伸解读
数据存储结构
作业时间线存储采用多个独立的LevelDB数据库来管理不同类型的信息。这种结构使得数据的归档和清理变得更加高效,用户可以根据时间轻松访问和管理相关数据。
数据残留风险
在domain-ldb和owner-ldb中,数据残留问题可能会影响系统性能,尤其是在Tez任务中。用户应定期检查和清理这些数据库,以避免潜在的存储问题。
索引信息的重要性
indexes-ldb保存的索引信息对于快速查询和数据检索至关重要。合理设计索引结构可以显著提高查询效率,用户在使用时应关注索引的维护和更新。
延伸问答
RollingLevelDBTimelineStore的主要功能是什么?
RollingLevelDBTimelineStore主要用于保存作业的启动时间、实体、索引、域和所有者信息。
如何管理和查询不同类型的信息?
不同类型的信息存储在不同的LevelDB中,支持按时间归档和清理,便于管理和查询。
starttime-ldb保存了哪些信息?
starttime-ldb保存应用的启动时间,key为EntityIdentifier,value为作业启动时间。
entity-ldb的作用是什么?
entity-ldb支持按照时间创建单独的数据库,保存实体信息。
indexes-ldb中保存了什么信息?
indexes-ldb保存实体的索引信息,key格式为INDEXED_ENTRY_PREFIX + primaryfilter name + primaryfilter value + key。
domain-ldb和owner-ldb的主要区别是什么?
domain-ldb主要保存域信息,主要用于Tez任务,而owner-ldb保存所有者信息,也主要用于Tez任务,可能造成数据残留。