透视面具：重新思考CAPTCHA的对抗样本
原文中文，约1500字，阅读约需4分钟。
📝
内容提要
本文介绍了一种新算法Show-and-Fool，研究神经图像字幕系统的语言基础及鲁棒性。实验表明，该算法能够生成对抗性例子，增强视觉语言基础的理解。此外，研究还探讨了图像到文本模型的解码能力，发现模型在掩蔽情况下仍能生成相关字幕，表现出良好的鲁棒性。
🔎
延伸解读
对抗样本在CAPTCHA安全中的角色
文章将对抗样本与CAPTCHA结合，生成能欺骗深度模型的敌对CAPTCHA，以平衡安全性和可用性。这揭示了CAPTCHA系统可能被对抗性例子攻击，同时也为设计更鲁棒的CAPTCHA提供了思路。读者可关注对抗样本如何影响CAPTCHA的防御策略。
图像字幕模型的鲁棒性洞察
研究发现图像到文本模型在掩蔽情况下仍能生成相关字幕，表现出良好的鲁棒性。但随着掩蔽区域面积增加，解码性能会下降。这表明模型对部分遮挡有一定适应能力，但重要区域的大面积掩蔽仍会影响输出，为理解视觉语言基础提供了新视角。
跨模态预训练中的遮蔽策略优化
文章探讨了跨模态预训练中遮蔽语言建模的问题，并提出替代遮蔽策略。在LXMERT模型预训练中，这些策略优于原始方法，尤其在低资源设置下提升显著。这提示改进遮蔽策略能更有效利用训练数据，增强模型在目标任务上的表现。
❓
Q&A
Show-and-Fool算法的主要功能是什么？
Show-and-Fool算法用于研究神经图像字幕系统的语言基础和鲁棒性，能够生成对抗性例子以误导输出字幕或关键字。
实验结果如何证明Show-and-Fool算法的有效性？
实验表明，该算法能够生成视觉相似的对抗性例子，并对其他图像字幕系统具有高度可传递性。
图像到文本模型在掩蔽情况下的表现如何？
研究发现，图像到文本模型在掩蔽情况下仍能生成相关字幕，表现出良好的鲁棒性。
Show-and-Fool算法是如何评估神经图像字幕系统的？
该算法通过两种评估方法检查系统是否能够误导输出某些随机选择的字幕或关键字。
对抗性例子对视觉语言基础有什么影响？
生成的对抗性例子导致了视觉语言基础的新型健壮性影响和新的洞察。
Show-and-Fool算法的创新之处在哪里？
该算法的创新在于其能够生成视觉相似的对抗性例子，并对其他图像字幕系统具有高度可传递性。
🏷️
