从音频嵌入中进行偏好感知音乐检索

声音和味觉之间的跨模态对应关系在心理学和神经科学中已得到充分证实，但在基于内容的多媒体检索中却基本缺失。我们将“从音频预测味觉”形式化为一个基于内容的音乐信息检索基准，该基准建立在一个经过感知验证的多源语料库之上，比较了来自四个HEAR家族的十个冻结音频编码器在共享多任务回归头下的表现，其中门控后期融合作为可配置变体。为了评估模型的有效性，我们计算了绝对误差和秩相关性。最强的系统在宏观RMSE为0.134的范围内预测出五种味觉；在保留的真实音乐上，它们的误差小于单个评估者与共识偏差的一半（RMSE 0.13 vs. 0.28），因此该模型比普通人类评估者更密切地跟踪群体共识，并且远低于先前最先进的基线（0.219）。在绝对误差方面，编码器在统计上是平坦的，单个VGGish与最佳融合匹配，但门控后期融合的优势仅限于秩相关性（宏观Pearson r 0.724 vs. 0.666）。作为基于内容的检索索引进行操作时，预测的味觉空间比CLAP-text基线（其结果处于随机水平）更忠实地对309个项目池进行排名；脊探针和音频带阻滤波器削弱实验读取了针对已记录声音-味觉对应关系的最强表示。