CSR格式如何更新? GES图计算引擎HyG揭秘之数据更新
💡
原文中文,约3500字,阅读约需9分钟。
📝
内容提要
本文介绍了HyG图计算引擎采用CSR格式存储图的拓扑信息,优化了CSR格式的更新,实现了高效的数据更新。同时介绍了CSR格式的更新操作和HyG的数据更新策略。引入基于页的快照索引技术来缓解性能下降问题,并设计了自动化合并方案,提升系统性能。
🎯
关键要点
- HyG图计算引擎采用CSR格式存储图的拓扑信息,优化了CSR格式的更新。
- CSR格式通过三个数组(values、column indices和row offsets)来表示稀疏矩阵。
- CSR格式的更新操作复杂,需要对三个数组进行操作,并考虑内存分配和数组长度变化。
- HyG的数据更新策略生成增量子图(delta_graph),记录被删除的点和边信息。
- HyG设计了二级迭代器,支持同时读取原始图和增量图的信息。
- 引入基于页的快照索引技术来缓解性能下降问题,并设计了自动化合并方案以提升系统性能。
➡️