⏶2
MCA-Bench：用于评估CAPTCHA对抗基于VLM攻击的鲁棒性的多模态基准
发表
由 
Yiren Song 提交
Yiren Song 提交作者: Zonglin Wu, Yule Xue, Xin Wei, Yiren Song
摘要
随着自动化攻击技术的快速发展，验证码（CAPTCHA）仍然是抵御恶意机器人的关键防御机制。然而，现有的验证码方案涵盖了多种模态——从静态扭曲文本和混淆图像到交互式点击、滑动拼图和基于逻辑的问题——但社区仍然缺乏一个统一的、大规模的、多模态的基准来严格评估其安全稳健性。为了弥补这一空白，我们引入了MCA-Bench，一个全面且可复现的基准测试套件，它将异构验证码类型整合到单一评估协议中。利用共享的视觉-语言模型骨干，我们为每个验证码类别微调了专门的破解代理，从而实现了连贯的跨模态评估。广泛的实验表明，MCA-Bench有效地映射了现代验证码设计在不同攻击设置下的漏洞范围，并且首次对挑战复杂性、交互深度和模型可解性之间的相互关系进行了定量分析。基于这些发现，我们提出了三项可行的设计原则，并确定了关键的开放挑战，为系统化的验证码加固、公平的基准测试和更广泛的社区协作奠定了基础。数据集和代码可在线获取。
随着自动化攻击技术的迅速发展，CAPTCHA 仍然是抵御恶意机器人的关键防御机制。然而，现有的 CAPTCHA 方案涵盖了多种模态——从静态扭曲文本和混淆图像到交互式点击、滑动拼图和基于逻辑的问题——但社区仍然缺乏一个统一的、大规模的多模态基准来严格评估其安全鲁棒性。为了弥补这一空白，我们引入了 MCA-Bench，一个全面且可复现的基准测试套件，它将异构 CAPTCHA 类型集成到单一评估协议中。利用共享的视觉-语言模型骨干，我们为每种 CAPTCHA 类别微调了专门的破解代理，从而实现了跨模态的一致评估。大量实验表明，MCA-Bench 有效地描绘了现代 CAPTCHA 设计在不同攻击设置下的漏洞谱，并关键地首次定量分析了挑战复杂度、交互深度和模型可解性之间的相互关系。基于这些发现，我们提出了三项可操作的设计原则，并指出了关键的开放挑战，为系统的 CAPTCHA 强化、公平的基准测试和更广泛的社区协作奠定了基础。