AMBEDKAR：通过带知识增强的解码方法进行多级偏见消除，以实现语言模型的鲁棒宪法对齐

大型语言模型（LLMs）可能会无意中反映其训练数据中存在的社会偏见，从而导致有害或带有偏见的输出。在印度背景下，我们对一系列模型进行的实证评估表明，与种姓和宗教相关的偏见尤为突出。然而，大多数现有的缓解策略都以西方为中心，未能解决这些当地的细微差别。我们提出了 AMBEDKAR，一个受印度宪法制定者、印度宪法架构师 B. R. Ambedkar 博士的平均主义愿景启发的框架，旨在根据第 14 至 17 条，将 LLM 输出引导至公平、中立和包容。我们的方法引入了一个宪法意识解码层，由印度人工智能宪法指导，并且仅在推理时应用，而无需对基础模型进行任何参数更新。我们采用一种推测性解码算法，可在生成过程中主动减少种姓和社群偏见。该缓解层直接在解码过程中运行，避免了对模型内部的更改，并降低了与重新训练相关的计算和基础设施成本。我们将推测性解码重新解释为一种公平机制，而不仅仅是效率工具。在此框架中，一个小型语言模型（SLM）充当潜在有偏见的生成器，而一个受宪法指导的大型语言模型（LLM）充当验证器。LLM 不会加速生成，而是强制 SLM 输出生成公平的轨迹。这种角色互换产生了“通过推测实现公平”的范式。与基线相比，我们的方法将偏见绝对减少了 26.41%。我们的源代码、数据集和结果可在 https://anonymous.4open.science/r/AMBEDKAR-983B/ 获取。