InfoQ
·
利用AI在视觉软件测试中识别图像差异
💡
原文英文，约3000词，阅读约需11分钟。
📝
内容提要
在视觉测试自动化中，比较图像差异至关重要。生成性AI在识别图像内容方面表现良好，但在未明确训练的差异识别上存在困难。卷积神经网络（CNN）通过比较小区域而非单个像素来解决这一问题。然而，当前技术在处理结构变化时效果不佳，AI在识别视觉差异方面仍面临挑战。
🎯
关键要点
- 视觉测试自动化中比较图像差异至关重要。
- 生成性AI在识别图像内容方面表现良好，但在未明确训练的差异识别上存在困难。
- 卷积神经网络（CNN）通过比较小区域而非单个像素来解决图像比较问题。
- 高分辨率显示可能导致假阳性，需要训练网络输出布尔相等标志和位移向量的x和y值。
- AI在识别结构变化方面表现不佳，图像比较库通常要求高对齐度。
- 软件测试的目标是检测与预期状态的偏差，视觉感知灵活性使得这一过程复杂化。
- AI在识别常见刺激方面表现良好，但在地理地图和抽象图形等领域仍面临挑战。
- 比较图像时需要考虑图像对是否相等和最小变化的识别。
- 简单的逐像素比较方法在现代用户界面中效果不佳，空间位移需要更复杂的模式识别。
- 卷积神经网络（CNN）通过比较小的图像片段来简化图像比较过程。
- 对于大位移，简单增加窗口大小并不可行，需训练网络返回位移向量的x和y值。
- 建议的解决方案通过多尺度操作来检测和补偿大失真，类似于人类视觉皮层的处理方式。
- 当前的生成性多模态AI模型在图像比较任务上仍然存在局限性，尤其是在无法命名的差异方面。
➡️
