精炼对比学习和单应性关系,用于多模态推荐

发表
ShouxingMaShouxingMa 提交
作者: ShouxingMaShouxing Ma, Yawen Zeng, Shiqing Wu, dongxuGuandong Xu

摘要

多模态推荐系统专注于利用物品丰富的模态信息( 即图像和文本描述)来提高推荐性能。当前的方法凭借 图神经网络强大的结构建模能力取得了显著的成功。然而,这些 方法在现实场景中常受到数据稀疏的限制。尽管 对比学习和同质图(即同质图)被用于解决数据稀疏性挑战, 现有方法仍然存在两个主要限制:1)简单的多模态特征对比未能产生有效的表示,导致模态共享特征存在噪声,以及模态独有特征中的宝贵信息丢失;2)缺乏对用户兴趣和物品共现之间同质关系的探索,导致用户-物品交互的挖掘不完整。 为了解决上述限制,我们提出了一种新颖的框架,用于 **RE**finning **M**ulti-**M**odAl **C**ontrastive learning and **ho**mography **r**elations (**REARM**)。具体来说,我们通过采用元网络和正交约束策略来补充多模态对比学习, 从而过滤掉模态共享特征中的噪声,并保留模态独有特征中与推荐相关的信息。为了有效地挖掘同质关系,我们将新构建的用户兴趣图和物品共现图与现有的用户共现和物品语义图集成起来进行图学习。 在三个真实世界数据集上的大量实验表明,REARM优于 各种最先进的基线方法。我们的可视化进一步展示了REARM在区分模态共享和模态独有特征方面的改进。代码可在 https://github.com/MrShouxingMa/REARM{此处}获取。
查看 arXiv 页面查看 PDF

评论

ShouxingMaShouxingMa
论文作者
论文提交者

我们提出了一种新颖的框架,用于\textbf{R}\textbf{E}fining 多模态对比学习和同质关系(\textbf{REARM})。具体来说,我们通过采用元网络和正交约束策略来补充多模态对比学习,从而过滤掉模态共享特征中的噪声,并保留模态唯一特征中的推荐相关信息。为了有效地挖掘同质关系,我们将新构建的用户兴趣图和物品共现图与现有的用户共现和物品语义图集成到图学习中。

model.jpg