EXIST 2026上的AI向导:用于模因中的多模态性别歧视识别的分层软标签学习

发表
Matteo FasuloMatteo Fasulo 提交
作者: Matteo FasuloMatteo Fasulo, Antonio Gravina, Luca Tedeschini, Luca Babboni

摘要

AI 生成总结
一个用于表情包的多模态性别歧视识别系统,利用带有视觉-语言嵌入的层次条件软标签预测以及通过 KL 散度和不确定性加权训练的轻量级门控 MLP。
我们提交了AI Wizards在EXIST 2026上关于模因中多模态性别歧视识别的成果。该任务由三个难度递增的子任务组成。我们将其分层建模为对经验标注者分布的条件软标签预测。我们的系统通过一个轻量级的门控MLP,将固定的Gemini Embedding 2视觉-语言表示映射,该MLP使用KL散度和同方差不确定性加权进行训练。我们的提交在官方Soft-Soft排行榜上,任务2.3排名第一,任务2.1和2.2排名第四。代码可在https://github.com/NLP-AI-Wizards/EXIST-2026获取。
查看 arXiv 页面查看 PDF

评论

Matteo FasuloMatteo Fasulo
论文作者
论文提交者
EXIST 2026的AI向导:用于模因中多模态性别歧视识别的层级软标签学习

本文介绍了一种用于模因中多模态性别歧视检测的层级框架,它明确地建模标注者分歧,而非将主观标注简化为单一标签。该方法基于冻结的Gemini Embedding 2表示,结合了轻量级的3.5M参数门控MLP、基于经验标签分布的KL散度训练以及同方差不确定性加权,以共同解决性别歧视检测、意图分类和细粒度性别歧视分类问题。

该方法不通过微调大型视觉-语言模型,而是将冻结的多模态嵌入与分层条件解码损失掩码配对,以强制执行任务依赖关系,同时保持计算效率。在EXIST 2026基准测试中,它在细粒度性别歧视分类任务中排名第一,在另外两个软标签排行榜任务中排名第四,突显了将层级学习与分歧感知监督相结合在主观多模态内容审核方面的有效性。