DriftMoE: 一种处理概念漂移的专家混合方法

从受概念漂移影响的非平稳数据流中学习，需要模型能够即时适应并保持资源效率。现有的自适应集成方法通常依赖于粗粒度的适应机制或简单的投票方案，这些方案未能最佳地利用专业知识。本文引入了DriftMoE，一种在线专家混合（MoE）架构，通过新颖的协同训练框架解决了这些局限性。DriftMoE的特点是一个紧凑的神经路由器，它与一组增量式Hoeffding树专家协同训练。关键创新在于一个共生学习循环，它实现了专家专业化：路由器选择最适合预测的专家，相关专家根据真实标签进行增量更新，路由器使用多热正确性掩码（multi-hot correctness mask）来优化其参数，该掩码会强化每个准确的专家。这种反馈循环为路由器提供了清晰的训练信号，同时加速了专家专业化。我们在九个最先进的数据流学习基准测试中评估了DriftMoE的性能，这些基准测试涵盖了突变、渐变和真实世界漂移，并测试了两种不同的配置：一种是专家专注于数据域（多类别变体），另一种是专家专注于单类别专业化（基于任务的变体）。我们的结果表明，DriftMoE在最先进的流学习自适应集成方面取得了竞争性的结果，为概念漂移适应提供了一种原则性且高效的方法。所有代码、数据管道和可重现性脚本都可在我们的公共GitHub存储库中获取：https://github.com/miguel-ceadar/drift-moe。