压缩一瞥：大型视觉语言模型的动态视觉令牌修剪

视觉令牌压缩对于大型视觉-语言模型（LVLMs）有效处理高分辨率输入至关重要。现有方法通常采用固定的压缩比，无法适应不同复杂度的场景，经常导致不精确的修剪，丢弃信息丰富的视觉令牌并导致模型性能下降。为了解决这个问题，我们引入了一个受人类认知启发的动态修剪框架 GlimpsePrune。它采用数据驱动的“一瞥”，并在答案生成之前在一次前向传播中修剪不相关的视觉令牌。这种方法修剪了 92.6% 的视觉令牌，同时在自由形式的 VQA 任务中平均完全保留了基线性能。计算成本的降低也使得更有效的微调成为可能：增强的 GlimpsePrune+ 实现了基线性能的 110%，同时保持了相似的高修剪率。我们的工作为构建更强大、更高效的 LVLMs 开辟了新途径。