托马斯·冯德拉：稳定基准测试
内容提要
在基准测试中，为确保结果准确需过滤噪声。通过多次长时间运行、冷启动和使用大页等方法可减少噪声影响。同时，需关注二进制布局和调度器对性能的影响。优化基准测试时，去除不必要部分能更清晰地反映代码改动效果。
关键要点
-
基准测试中需过滤噪声，以确保结果准确。
-
多次长时间运行和冷启动可以减少噪声影响。
-
关注二进制布局和调度器对性能的影响。
-
优化基准测试时，去除不必要部分能更清晰地反映代码改动效果。
-
传统方法是多次运行基准测试，确保每次运行足够长。
-
需要根据基准测试和硬件决定运行次数和时长。
-
冷启动测试可以消除缓存带来的随机噪声。
-
使用MAP_POPULATE可以减少页面故障带来的噪声。
-
使用大页可以减少页面表管理的开销。
-
透明大页（THP）可能会增加噪声，建议禁用。
-
二进制的布局会影响性能，使用mold的--shuffle-sections选项可以随机化输出。
-
NUMA调度可能会引入噪声，使用numactl可以将进程绑定到特定CPU。
-
在基准测试中，避免不必要的操作可以提高测量的准确性。
-
在基准测试中，使用OFFSET跳过结果可以减少开销。
-
不同的CPU或编译器版本可能会显著影响基准测试结果。
延伸解读
基准测试中的噪声管理
在基准测试中，噪声是影响结果准确性的主要因素。通过多次长时间运行和冷启动，可以有效减少缓存带来的随机噪声。开发者应关注如何合理安排测试的运行次数和时长，以确保结果的可靠性。
二进制布局对性能的影响
二进制的布局对程序性能有显著影响。使用mold的--shuffle-sections选项可以随机化输出，从而减少因内存布局变化带来的噪声。这一方法在进行基准测试时尤为重要，能够帮助开发者更准确地评估代码改动的效果。
NUMA调度的注意事项
NUMA架构下，调度器的行为可能引入额外的噪声。使用numactl工具将进程绑定到特定CPU，可以减少调度带来的不确定性，从而提高基准测试的稳定性。开发者在进行性能测试时应考虑这一点，以获得更一致的结果。
延伸问答
如何在基准测试中减少噪声的影响？
可以通过多次长时间运行、冷启动、使用MAP_POPULATE和大页等方法来减少噪声影响。
冷启动测试的目的是什么？
冷启动测试的目的是消除缓存带来的随机噪声，以确保基准测试结果的准确性。
使用大页对基准测试有什么影响？
使用大页可以减少页面表管理的开销，从而使基准测试的结果更易于测量。
如何优化基准测试以提高准确性？
优化基准测试时，去除不必要的操作可以更清晰地反映代码改动的效果。
二进制布局如何影响基准测试结果？
二进制布局会影响性能，随机化输出可以减少由布局变化引起的噪声。
NUMA调度对基准测试有什么影响？
NUMA调度可能引入噪声，使用numactl可以将进程绑定到特定的CPU，从而减少这种影响。
