CM^3:校准多模态推荐

发表
chowchow 提交
作者: chowXin Zhou, Yongjie Wang, Zhiqi Shen

摘要

对齐和均匀性是对比学习领域的基本原则。在推荐系统中,先前的研究已经确立,优化贝叶斯个性化排名(BPR)损失有助于实现对齐和均匀性目标。具体而言,对齐旨在使交互用户和项目的表示相互靠近,而均匀性则要求用户和项目嵌入在单位超球面上均匀分布。本研究在多模态推荐系统的背景下重新审视了对齐和均匀性特性,揭示了现有模型倾向于优先考虑均匀性而牺牲对齐性的问题。我们的假设挑战了通过均匀性损失公平对待项目的传统假设,提出了一种更细致的方法,即具有相似多模态属性的项目在超球面流形中收敛到接近的表示。具体而言,我们利用项目多模态数据之间的固有相似性来校准其均匀性分布,从而在嵌入空间中在不相似实体之间产生更明显的排斥力。理论分析阐明了这种校准均匀性损失与传统均匀性函数之间的关系。此外,为了增强多模态特征的融合,我们引入了一种球形贝塞尔方法,旨在集成任意数量的模态,同时确保由此产生的融合特征被约束在同一超球面流形上。在五个真实世界数据集上进行的实证评估证实了我们方法优于竞争基线。我们还表明,通过整合MLLM提取的特征,所提出的方法可以将NDCG@20性能提高高达5.4%。源代码可在以下网址获取:https://github.com/enoche/CM3
查看 arXiv 页面查看 PDF

评论

chowchow
论文作者
论文提交者

重新思考多模态推荐中的对比学习:对齐 vs. 一致性

image.png