LLM能欺骗CLIP吗？通过文本更新基准测试预训练多模态表示的对抗性组合性

尽管预训练的多模态表示（例如CLIP）展示了令人印象深刻的能力，但它们表现出显著的组合脆弱性，导致反直觉的判断。我们引入了多模态对抗组合性（MAC），这是一个基准，它利用大型语言模型（LLMs）生成欺骗性文本样本，以利用跨不同模态的这些脆弱性，并通过样本级攻击成功率和组级基于熵的多样性来评估它们。为了改进零样本方法，我们提出了一种自训练方法，该方法利用带有促进多样性过滤的拒绝采样微调，同时增强了攻击成功率和样本多样性。使用像Llama-3.1-8B这样的小型语言模型，我们的方法在揭示各种多模态表示（包括图像、视频和音频）的组合脆弱性方面展示了卓越性能。