迷失在混合中：评估大型语言模型对语码转换文本的理解

语码转换（CSW）是指在单一语篇中两种或多种语言交替使用的行为。这种现象在多语言社区中普遍存在，并且在在线内容中也日益盛行，用户在日常交流中自然地混合使用语言。因此，作为内容处理和生成核心的大型语言模型（LLMs）频繁接触到语码转换输入。鉴于其广泛使用，理解 LLMs 如何处理和推理此类混合语言文本至关重要。本文通过生成现有推理和理解基准的语码转换变体，对 LLM 在语码转换下的理解能力进行了系统评估。虽然当外来词打断英语文本时（即使在语言限制下）性能明显下降，但将英语嵌入其他语言通常能改善理解。尽管提示（prompting）产生了混合结果，但微调为减轻性能下降提供了一条更稳定的途径。