基于知识的多模态处理、检索和过滤视觉问答

基于知识的视觉问答（KB-VQA）要求视觉语言模型（VLMs）将视觉理解与外部知识检索相结合。尽管检索增强生成（RAG）通过结合知识库查询在此任务上取得了显著进展，但它在多模态查询的质量和检索结果的相关性方面仍然存在困难。为了克服这些挑战，我们提出了一种名为Wiki-PRF的新型三阶段方法，包括处理（Processing）、检索（Retrieval）和过滤（Filtering）阶段。处理阶段动态调用视觉工具，提取精确的多模态信息用于检索。检索阶段整合视觉和文本特征，以实现多模态知识检索。过滤阶段对检索结果进行相关性过滤和集中。为此，我们引入了一个视觉语言模型，通过强化学习方式，以答案准确率和格式一致性作为奖励信号进行训练。这增强了模型的推理能力、用于精确查询的工具调用能力，以及过滤不相关内容的能力。在基准数据集（E-VQA和InfoSeek）上的实验显示，答案质量显著提高（36.0和42.8），达到了最先进的性能。代码可在https://github.com/cqu-student/Wiki-PRF 找到。