Rep-MTL：释放表示级任务显著性在多任务学习中的力量

尽管多任务学习在利用任务之间的互补知识方面具有潜力，但现有的多任务优化（MTO）技术仍然专注于通过以优化器为中心的损失缩放和梯度操纵策略来解决冲突，却未能带来持续的收益。在本文中，我们认为共享表示空间（任务交互自然发生的地方）提供了丰富的信息和潜力，可以补充现有优化器，特别是促进任务间的互补性，这在MTO中很少被探索。这一直觉催生了Rep-MTL，它利用表示层面的任务显著性来量化任务特定优化和共享表示学习之间的交互。通过基于熵的惩罚和样本级跨任务对齐来引导这些显著性，Rep-MTL旨在通过维持单个任务的有效训练而非单纯解决冲突来减轻负迁移，同时明确促进互补信息共享。实验在涵盖任务转移和域转移场景的四个具有挑战性的MTL基准上进行。结果表明，Rep-MTL即使与基本的等权重策略相结合，也能实现具有良好效率的竞争性性能提升。除了标准性能指标，幂律指数分析表明Rep-MTL在平衡任务特定学习和跨任务共享方面的有效性。项目页面可在<a href="HERE">此处</a>获得。