ICL CIPHERS：通过替换密码量化语境学习中的“学习”

最近的研究表明，情境学习（ICL）以双重模式运作，即任务检索（从预训练中记忆学到的模式）和任务学习（推理时从示例中“学习”）。然而，解耦这两种模式仍然是一个具有挑战性的目标。我们引入了ICL CIPHERS，这是一类基于经典密码学中的替换密码的任务重构方法。在这种方法中，情境输入中的一部分标记被替换为其他（不相关）标记，使得英文句子对人眼来说更难理解。然而，根据设计，这种替换存在一个潜在的、固定的模式，使得它可逆。这种双射（可逆）密码确保了任务在某种抽象意义上仍然是一个定义明确的任务，尽管经过了转换。一个有趣的问题是，LLMs是否能够通过双射映射解决ICL CIPHERS，这需要解密潜在的密码。我们表明，LLMs更擅长解决具有双射映射的ICL CIPHERS，而非非双射（不可逆）基线，这提供了一种量化ICL中“学习”的新方法。虽然这个差距很小，但在四个数据集和六个模型上保持一致。最后，我们检查了LLMs的内部表示，并确定了它们能够解码加密输入的证据。