DEV Community
·
ClickHouse源代码分析：SAMPLE BY
内容提要
在ClickHouse中，使用SAMPLE时需在创建MergeTree表时添加SAMPLE BY表达式，该表达式必须为主键的一部分并返回无符号整数。SAMPLE BY仅用于语法检查和选择过程，不改变MergeTree的数据结构。采样在过滤之前进行，涉及获取采样范围并将其添加到条件中。使用哈希函数如intHash32可提高采样效果，低基数字段的采样效果较差。
关键要点
-
在ClickHouse中，使用SAMPLE时需在创建MergeTree表时添加SAMPLE BY表达式。
-
SAMPLE BY表达式必须为主键的一部分，并返回无符号整数。
-
SAMPLE BY仅用于语法检查和选择过程，不改变MergeTree的数据结构。
-
采样在过滤之前进行，涉及获取采样范围并将其添加到条件中。
-
使用哈希函数如intHash32可提高采样效果，低基数字段的采样效果较差。
-
采样阶段包括获取实际采样范围和将其添加到键条件中。
-
在采样过程中，需计算采样表达式的上下界。
-
低基数字段的采样效果不佳，可能导致读取所有数据。
-
如果采样未能达到预期性能，可能是因为SAMPLE BY表达式在ORDER BY序列中排名较低。
延伸解读
SAMPLE BY表达式的重要性
在ClickHouse中，SAMPLE BY表达式必须是主键的一部分，这意味着在设计表结构时需谨慎选择。若未能合理设置，可能导致采样效果不佳，甚至读取所有数据。因此，理解主键与SAMPLE BY之间的关系至关重要。
哈希函数的应用
使用哈希函数如intHash32可以显著提高采样效果，尤其是在低基数字段的情况下。若直接使用低基数字段进行采样，可能导致性能下降。因此，在设计采样策略时，考虑哈希函数的使用是提升性能的关键。
采样过程中的注意事项
采样过程在过滤之前进行，涉及获取采样范围并将其添加到条件中。若采样未能达到预期效果，可能是因为SAMPLE BY表达式在ORDER BY序列中排名较低。因此，合理安排ORDER BY的字段顺序对采样性能至关重要。
延伸问答
在ClickHouse中如何使用SAMPLE BY表达式？
在创建MergeTree表时添加SAMPLE BY表达式，该表达式必须为主键的一部分并返回无符号整数。
SAMPLE BY表达式对MergeTree的数据结构有何影响？
SAMPLE BY仅用于语法检查和选择过程，不改变MergeTree的数据结构。
采样过程是如何进行的？
采样在过滤之前进行，涉及获取采样范围并将其添加到条件中。
使用哈希函数对采样效果有什么影响？
使用哈希函数如intHash32可提高采样效果，低基数字段的采样效果较差。
低基数字段在采样中有什么问题？
低基数字段的采样效果不佳，可能导致读取所有数据。
如果采样未能达到预期性能，可能是什么原因？
可能是因为SAMPLE BY表达式在ORDER BY序列中排名较低。
