高效的小型视觉语言模型测试时缩放

小型视觉语言模型（VLM）提供了一种计算高效的替代方案，可以替代大型模型，但其泛化能力和下游任务性能较弱。这些缺点可以通过测试时缩放技术来解决，但现有的方法通常计算成本高昂，这与小型模型的资源高效设计目标相悖。为了解决这些限制，我们提出了两种新颖高效的测试时缩放策略，它们利用模型内部特征而非外部监督：（i）测试时增强（TTAug），该策略生成多个增强输入并在不更新参数的情况下聚合 token 级别的输出；（ii）测试时适应（TTAdapt），该策略在推理过程中利用来自 TTAug 的基于共识的伪标签来适应模型参数。通过在九个基准测试中的广泛实验，我们证明了在保持计算效率（适合资源受限环境）的同时，性能持续提高。我们的方法具有普遍性，在不同规模的模型内部以及跨不同的 VLM 之间都得到了体现，且无需额外调整。