CSR格式如何更新? GES图计算引擎HyG揭秘之数据更新

💡 原文中文,约3500字,阅读约需9分钟。
📝

内容提要

本文介绍了HyG图计算引擎采用CSR格式存储图的拓扑信息,优化了CSR格式的更新,实现了高效的数据更新。同时介绍了CSR格式的更新操作和HyG的数据更新策略。引入基于页的快照索引技术来缓解性能下降问题,并设计了自动化合并方案,提升系统性能。

🎯

关键要点

  • HyG图计算引擎采用CSR格式存储图的拓扑信息,优化了CSR格式的更新。
  • CSR格式通过三个数组(values、column indices和row offsets)来表示稀疏矩阵。
  • CSR格式的更新操作复杂,需要对三个数组进行操作,并考虑内存分配和数组长度变化。
  • HyG的数据更新策略生成增量子图(delta_graph),记录被删除的点和边信息。
  • HyG设计了二级迭代器,支持同时读取原始图和增量图的信息。
  • 引入基于页的快照索引技术来缓解性能下降问题,并设计了自动化合并方案以提升系统性能。
➡️

继续阅读