年度爽文：Fuzzing 顶会论文打假报告
内容提要
CISPA团队在S&P 2024发表SoK论文，调研近六年150多篇顶会Fuzzing论文，发现普遍存在可复现性差、测试目标少且不公开、对比对象不当、实验环境偏心、缺乏统计分析等问题，并批评多篇论文夸大效果。作者呼吁采用FuzzBench和公开竞赛等公开透明的评测机制，以遏制浮夸风气。
延伸解读
复现性危机：数据与代码的开放困境
文章指出，在调研的150篇顶会论文中，仅11%公开测试数据，36%未提交artifact，而提交artifact并获徽章的仅26%。这反映出Fuzzing研究普遍存在复现性差的问题。开源和提交artifact虽需额外工作量，但低比例仍值得警惕，读者可借此评估论文可信度。
测试目标与比较对象：选择偏差与SOTA缺失
平均每篇论文仅测试9个目标，76%的目标只被一篇论文测试过，61%的论文自选测试目标而非公开套件。比较对象上，35%对比AFL，但23%未与SOTA比较，且流行对比对象均非学术界工具。这暗示学术工具与工业界存在差距，且自选目标可能引入偏差。
实验环境与统计分析：公平性与严谨性缺失
15%的论文未描述实验环境，5%使用偏心资源配置或初始种子。数据方面，63%未用统计学工具分析，73%未提供置信区间或标准差，15%重复实验少于5次。对于随机性强的Fuzzing，这些缺陷严重影响结果可靠性，读者应关注论文的实验设计细节。
公开透明评测：FuzzBench与竞赛的遏制作用
文章呼吁采用FuzzBench等公开测试平台和SBFT Fuzzing Competition等公开竞赛，以遏制浮夸风气。FuzzBench提供公平环境和免费云资源，竞赛结果公开可复现。这有助于减少不负责任的研究，提升领域整体可信度，读者可关注这些平台上的评测结果。
Q&A
CISPA团队在S&P 2024上发表的SoK论文主要发现了Fuzzing顶会论文的哪些问题？
该论文调研了近六年150多篇顶会Fuzzing论文，发现普遍存在可复现性差、测试目标少且不公开、对比对象不当、实验环境偏心、缺乏统计分析等问题，并批评多篇论文夸大效果。
Fuzzing论文在可复现性方面存在哪些具体问题？
调研显示，74%的论文开源了工具，但仅11%公开测试数据；36%的论文未提交artifact，37%提交了artifact但未获徽章，只有26%的论文提交artifact并获得至少一个徽章。
Fuzzing论文在测试目标选择上有什么普遍缺陷？
平均每篇论文只测试9个目标；76%的测试目标只被一篇论文测试过；61%的论文不使用公开测试套件，而是自己选择测试目标，可能导致目标过时或不具代表性。
Fuzzing论文在实验数据统计分析方面存在哪些不足？
63%的论文没有使用统计学工具分析数据；15%的论文重复实验次数少于5次；73%的论文没有提供置信区间或标准差。
文章列举了哪些论文夸大效果的例子？
例如DARWIN声称在15个target上领先，实际只有4个；FUZZJIT声称比SOTA高33%代码覆盖，实际低了12%；EcoFuzz实际代码覆盖比所有比较对象都低；PolyFuzz使用不同初始种子获得273%初始优势；FishFuzz声称8.44%提升实际只有1.69%。
作者提出了哪些改进Fuzzing论文评估的建议？
作者呼吁采用公开透明的评测机制，如Google的FuzzBench项目和公开的Fuzzing比赛（如SBFT Fuzzing Competition），建议所有已发表的Fuzzing论文都在FuzzBench上公开测试，以避免不负责任的研究忽悠审稿人。
