将脑启发机制融入人工智能以实现多模态学习

多模态学习通过整合来自不同感觉模态的信息，增强了认知系统的感知能力。然而，现有的多模态融合研究通常假定静态整合，未能充分纳入大脑中的关键动态机制。具体来说，大脑表现出一种逆向有效性现象，即较弱的单模态线索会产生更强的多感官整合益处；相反，当个体模态线索较强时，融合效果会减弱。这种机制使得生物系统即使在感知线索稀缺或嘈杂的情况下也能实现稳健的认知。受这种生物机制的启发，我们探索了多模态输出与个体模态信息之间的关系，提出了一种逆向有效性驱动的多模态融合 (IEMF) 策略。通过将这种策略整合到神经网络中，我们实现了更高效的整合，提高了模型性能和计算效率，在多种融合方法中计算成本降低了高达 50%。我们在音频-视觉分类、持续学习和问答任务上进行了实验来验证我们的方法。结果一致表明，我们的方法在这些任务中表现出色。为了验证通用性和泛化性，我们还在人工神经网络 (ANN) 和脉冲神经网络 (SNN) 上进行了实验，结果显示对这两种网络类型都具有良好的适应性。我们的研究强调了将生物启发机制整合到多模态网络中的潜力，并为未来多模态人工智能的发展提供了有希望的方向。代码可在 https://github.com/Brain-Cog-Lab/IEMF 获取。