Annual Hit Piece: Fuzzing Top Conference Paper Debunking Report
内容提要
调研发现顶会Fuzzing论文缺乏可复现性、测试目标选择有限、比较对象不准确、实验环境存在问题、数据分析不充分。文章呼吁建立公开透明的公证机制，提高Fuzzing研究的质量和可信度。
延伸解读
可复现性现状：开源与数据公开的差距
调研显示，74%的论文开源了工具，但仅11%公开测试数据，且其中64%是因为未开源才公开数据。36%的论文未提交artifact，仅26%获得徽章。这表明多数论文在可复现性上仍有较大提升空间，开源工具并不等同于实验可复现，数据公开和artifact提交同样关键。
测试目标选择：集中与分散的矛盾
平均每篇论文仅测试9个目标，76%的目标只被一篇论文测试过，61%的论文自选目标而非使用公开测试套件。这导致结果难以横向比较，且自选目标可能过时或缺乏代表性。使用公开套件如FuzzBench、FTS的论文比例较低，而LAVA-M、CGC等过时套件仍被使用，影响评估的时效性和公正性。
比较对象与实验环境：公平性存疑
35%的论文与AFL对比，但仅6%与AFL++、5%与libFuzzer对比，23%未与SOTA比较。流行比较对象均来自工业界，学术界工具如FairFuzz、Qsym被指效果差或慢。此外，15%的论文未描述实验环境，5%使用偏心资源配置或初始种子，这些不公平设置可能扭曲实验结果，审稿人却未能察觉。
数据分析与评价指标：统计学缺失与指标偏差
63%的论文未使用统计学工具分析数据，15%重复实验少于5次，73%未提供置信区间或标准差。Fuzzing随机性强，缺乏统计分析使结果可靠性存疑。同时，以发现漏洞数量或新CVE为指标可能不准确，因为漏洞可能非Fuzzing发现，建议采用代码覆盖率等更客观稠密的指标。
Q&A
顶会Fuzzing论文在可复现性方面存在哪些问题？
调研发现，36%的论文没有提交artifact，37%提交了但未获徽章，仅26%提交并获至少一个徽章；74%开源了工具，但只有11%公开测试数据。
Fuzzing论文在测试目标选择上有什么局限？
平均每篇论文只测试9个目标；76%的目标只被一篇论文测试过；61%的论文不使用公开测试套件，而是自己选择目标。
Fuzzing论文通常与哪些工具进行比较？存在什么问题？
35%的论文与AFL对比，6%与AFL++对比，5%与libFuzzer对比；23%的论文没有与SOTA比较。流行的比较对象均非学术界工具。
实验环境方面有哪些常见问题？
15%的论文没有描述实验环境；5%使用了偏心的资源配置；5%使用了偏心的初始种子。
数据分析方面存在哪些不足？
63%的论文没有使用统计学工具分析数据；15%的论文重复实验次数少于5次；73%的论文没有提供置信区间或标准差。
文章对提高Fuzzing研究质量提出了什么建议？
呼吁建立公开透明的公证机制，例如使用Google的FuzzBench进行公开测试，或参加公开的Fuzzing比赛如SBFT Fuzzing Competition。
