TabSTAR：一个具有语义目标感知表示的基础表格模型

虽然深度学习在许多领域取得了显著成功，但在表格学习任务上其表现历来不如人意，这些任务仍然由梯度提升决策树（GBDT）主导。然而，最近的进展正在为表格基础模型铺平道路，这些模型可以利用现实世界知识并在不同数据集上泛化，尤其是在数据包含自由文本的情况下。虽然将语言模型能力融入表格任务已被探索，但大多数现有方法利用静态的、与目标无关的文本表示，限制了它们的有效性。我们引入 TabSTAR：一个具有语义目标感知表示的基础表格模型。TabSTAR 旨在实现带有文本特征的表格数据的迁移学习，其架构不包含特定于数据集的参数。它解冻了一个预训练的文本编码器，并将目标标记作为输入，这为模型提供了学习任务特定嵌入所需的上下文。TabSTAR 在已知具有文本特征的分类任务基准测试中，对于中型和大型数据集都取得了最先进的性能，并且其预训练阶段在数据集数量上表现出缩放定律，为进一步的性能改进提供了途径。