野外Grokking：用于真实世界Transformer多跳推理的数据增强

Transformer 模型在众多自然语言处理 (NLP) 任务中取得了巨大成功，但在多步事实推理方面仍然存在明显的差距，尤其是在现实世界知识稀疏的情况下。最近在“突然领悟”(grokking) 方面的进展表明，神经网络一旦检测到潜在的逻辑模式，就可以从记忆转变为完美的泛化——然而，这些研究主要使用了小型、合成的任务。在本文中，我们首次将“突然领悟”扩展到现实世界的事实数据，并通过用精心设计的合成数据增强现有知识图谱来解决数据集稀疏性的挑战，从而将推断事实与原子事实的比率 phi_r 提高到超过“突然领悟”所需的阈值。令人惊讶的是，我们发现即使是事实不正确的合成数据，也能加强涌现的推理电路，而不是降低准确性，因为它迫使模型依赖关系结构而非记忆。在多跳推理基准上进行评估时，我们的方法在 2WikiMultiHopQA 上达到了 95-100% 的准确率，显著优于强大的基线方法，并与当前最先进的结果持平或超越。我们进一步深入分析了增加 phi_r 如何驱动 Transformer 内部泛化电路的形成。我们的发现表明，基于“突然领悟”的数据增强可以释放隐式的多跳推理能力，为大型语言模型中更鲁棒和可解释的事实推理打开大门。