I-Con：用于表征学习的统一框架

随着表示学习领域的不断发展，涌现了大量用于解决不同问题类别的损失函数。我们引入了一个单一的信息理论方程，该方程概括了机器学习中的大量现代损失函数。具体来说，我们引入了一个框架，表明几类广泛的机器学习方法正在精确地最小化两个条件分布（即监督表示和学习表示）之间的积分KL散度。这一视角揭示了聚类、谱方法、降维、对比学习和监督学习背后隐藏的信息几何。该框架通过结合文献中的成功技术，使得开发新的损失函数成为可能。我们不仅提供了一系列广泛的证明，连接了超过23种不同的方法，而且还利用这些理论结果创建了最先进的无监督图像分类器，其在ImageNet-1K上的无监督分类性能比先前的最先进水平提高了+8%。我们还证明了I-Con可以用于推导原则性的去偏方法，从而改进对比表示学习器。