InfoQ
·
利用AI在视觉软件测试中识别图像差异
💡
原文英文，约3000词，阅读约需11分钟。
📝
内容提要
在视觉测试自动化中，比较图像差异至关重要。生成性AI在识别图像内容方面表现良好，但在未明确训练的差异识别上存在困难。卷积神经网络（CNN）通过比较小区域而非单个像素来解决这一问题。然而，当前技术在处理结构变化时效果不佳，AI在识别视觉差异方面仍面临挑战。
🎯
关键要点
- 视觉测试自动化中比较图像差异至关重要。
- 生成性AI在识别图像内容方面表现良好，但在未明确训练的差异识别上存在困难。
- 卷积神经网络（CNN）通过比较小区域而非单个像素来解决图像比较问题。
- 高分辨率显示可能导致假阳性，需要训练网络输出布尔相等标志和位移向量的x和y值。
- AI在识别结构变化方面表现不佳，图像比较库通常要求高对齐度。
- 软件测试的目标是检测与预期状态的偏差，视觉感知灵活性使得这一过程复杂化。
- AI在识别常见刺激方面表现良好，但在地理地图和抽象图形等领域仍面临挑战。
- 比较图像时需要考虑图像对是否相等和最小变化的识别。
- 简单的逐像素比较方法在现代用户界面中效果不佳，空间位移需要更复杂的模式识别。
- 卷积神经网络（CNN）通过比较小的图像片段来简化图像比较过程。
- 对于大位移，简单增加窗口大小并不可行，需训练网络返回位移向量的x和y值。
- 建议的解决方案通过多尺度操作来检测和补偿大失真，类似于人类视觉皮层的处理方式。
- 当前的生成性多模态AI模型在图像比较任务上仍然存在局限性，尤其是在无法命名的差异方面。
❓
延伸问答
在视觉测试自动化中，比较图像差异的重要性是什么？
比较图像差异在视觉测试自动化中至关重要，因为它帮助检测与预期状态的偏差，确保软件界面的正确性和一致性。
生成性AI在图像差异识别方面存在哪些局限性？
生成性AI在图像差异识别方面的局限性包括只能识别经过明确训练的差异，且在处理结构变化时表现不佳。
卷积神经网络（CNN）如何解决图像比较问题？
卷积神经网络（CNN）通过比较小的图像片段而非单个像素来简化图像比较过程，从而提高识别准确性。
高分辨率显示对图像比较的影响是什么？
高分辨率显示可能导致假阳性，因为即使是几像素的位移也会被错误地识别为差异。
如何提高AI在图像比较中的准确性？
可以通过训练网络返回位移向量的x和y值，以及使用多尺度操作来检测和补偿大失真，从而提高AI在图像比较中的准确性。
在软件测试中，如何处理图像的结构变化？
处理图像的结构变化通常需要高对齐度的图像比较库，但AI在这方面仍面临挑战，常常无法准确识别变化。
➡️
