刻画偏差：对大语言模型在简体中文与繁体中文上的基准测试

虽然大型语言模型（LLMs）在简体中文和繁体中文中的能力已得到研究，但目前尚不清楚 LLMs 在使用这两种书面中文变体进行提示时是否表现出差异。了解这一点至关重要，因为 LLM 响应质量的差异可能通过忽视简体中文和繁体中文背后不同的文化语境而延续表征性危害，并可能加剧在教育或招聘等领域由 LLM 促成的决策中的下游危害。为了研究潜在的 LLM 性能差异，我们设计了两个反映现实场景的基准任务：区域术语选择（提示 LLM 说出在一个描述项目的名称，该名称在中国大陆和台湾的称呼不同），以及区域名称选择（提示 LLM 从简体中文和繁体中文姓名列表中选择要雇佣的人）。对于这两个任务，我们审计了 11 个领先的商业 LLM 服务和开源模型的性能——涵盖了主要用英语、简体中文或繁体中文训练的模型。我们的分析表明，LLM 响应中的偏见取决于任务和提示语言：尽管大多数 LLMs 在区域术语选择任务中不成比例地偏向简体中文响应，但令人惊讶的是，它们在区域名称选择任务中偏向繁体中文姓名。我们发现这些差异可能源于训练数据表示、书写字符偏好以及简体中文和繁体中文的分词方式不同。这些发现强调了需要对 LLM 偏见进行进一步分析；因此，我们提供了一个开源基准数据集，以促进未来 LLM 在不同中文变体上的行为进行可复现的评估（https://github.com/brucelyu17/SC-TC-Bench）。