PCoreSet：通过视觉-语言模型知识蒸馏实现高效主动学习

知识蒸馏（KD）是一种广泛使用的框架，通过利用教师模型的知识来训练紧凑的、特定任务的模型。然而，其在主动学习（AL）中的应用仍未被充分探索，主动学习旨在通过迭代样本选择来最小化标注成本。这种差距源于 KD 通常假设可以访问足够的标记数据，而 AL 在数据稀缺的场景中操作，其中特定任务的教师模型通常不可用。在本文中，我们引入了 ActiveKD，一个通过利用大型视觉语言模型（VLM）的零样本和少样本能力，将 AL 与 KD 集成的框架。ActiveKD 的一个关键方面是 VLM 的结构化预测偏差——即它们的预测在概率空间中形成簇。我们将这种结构视为教师模型的一种归纳偏差，捕获有利于学生学习的通用输出模式。为了利用这种偏差，我们提出了概率核心集（PCoreSet），一种选择策略，它最大化概率空间而不是特征空间中的覆盖范围。PCoreSet 策略性地选择在类别上具有多样性的未标记样本，从而在有限的标注预算下促进教师知识的更有效传递。在 11 个数据集上的评估表明，PCoreSet 在 ActiveKD 框架内始终优于现有的选择方法，从而推进了 AL 和 KD 交叉领域的研究。