基于共域覆盖的深度神经网络强健黑箱测试
内容提要
本文介绍了针对深度神经网络（DNN）的多种测试方法，包括基于覆盖率的模糊测试和深度生成模型算法。研究表明，测试覆盖率与鲁棒性相关性有限，并提出了新的覆盖度量标准和工具DNNCov，以提高测试的有效性和效率。此外，DeepFeature工具在错误检测方面表现优异，能够生成更有效的测试用例。
延伸解读
覆盖率与鲁棒性的脱节
文章指出，实证研究100个DNN模型和25种指标后发现，测试覆盖率与鲁棒性之间的相关性有限。这意味着，单纯提高覆盖率并不能有效提升模型的鲁棒性。因此，在评估DNN测试充分性时，不能仅依赖覆盖率指标，而应结合其他方法，如DeepFeature等，以更全面地检测模型缺陷。
覆盖度量工具DNNCov的实用价值
文章介绍了DNNCov工具，它支持多种结构覆盖度量，包括神经元覆盖率、k部分神经元覆盖率等。该工具提供信息丰富的覆盖率报告，帮助研究人员和从业者评估DNN测试的充分性，比较不同覆盖度量标准，并检查模型内部。这为DNN测试提供了实用的评估手段，有助于推动测试标准化。
DeepFeature在错误检测上的优势
DeepFeature从特征图层面测试DNN，实验证明其测试用例选择具有高的错误检测率，与基于覆盖率引导的选择技术相比，错误检测率提高了49.32%。此外，其模糊测试技术也优于当前技术，能更高效地生成有价值的测试用例。这表明特征图层面的测试可能比传统覆盖率方法更有效。
测试选择方法的可靠性问题
文章通过探索测试选择方法的失败情况和弊端，证实了这些方法在故障检测和性能估计方面存在可靠性问题，并提出了相应的解决方案。这提醒研究者和实践者，在选择测试方法时需谨慎，并关注其潜在缺陷，以确保测试结果的可信度。
Q&A
深度神经网络的测试方法有哪些？
深度神经网络的测试方法包括基于覆盖率的模糊测试、深度生成模型算法、以及使用DNNCov工具进行结构覆盖度量。
DNNCov工具的作用是什么？
DNNCov工具用于测量深度神经网络的测试覆盖率，并提供详细的覆盖率报告，以帮助评估测试的充分性。
提高测试覆盖率是否能提高深度神经网络的鲁棒性？
研究发现，深度神经网络的测试覆盖率与鲁棒性之间的相关性有限，提高测试覆盖率并不能有效提高鲁棒性。
DeepFeature工具的优势是什么？
DeepFeature工具在错误检测方面表现优异，能够生成更有效的测试用例，错误检测率提高了49.32%。
本文提出了哪些新的测试标准？
本文提出了四种新的测试标准，旨在平衡测试用例生成的计算成本和发现缺陷的能力。
TensorFuzz开源库的目的是什么？
TensorFuzz开源库旨在实现基于覆盖率的模糊测试方法，以提高深度神经网络的测试效率。
