从黑箱到透明:在大学课堂中利用可解释 AI 增强自动化口译评估

发表
Ziyin ZhangZiyin Zhang 提交
作者: Zhaokun Jiang, Ziyin ZhangZiyin Zhang

摘要

近年来,机器学习的进步激发了人们对自动化口译质量评估日益增长的兴趣。然而,现有研究存在对语言使用质量的审视不足、因数据稀缺和不平衡导致的建模效果不佳,以及缺乏解释模型预测的努力等问题。为了解决这些不足,我们提出了一个集成了特征工程、数据增强和可解释机器学习的多维度建模框架。该方法通过仅使用与构念相关、透明的特征并进行沙普利值(SHAP)分析,优先考虑可解释性而非“黑箱”预测。我们的研究结果在一个新的英汉交替传译数据集上展示了强大的预测性能,并发现 BLEURT 和 CometKiwi 分数是预测忠实度最强的特征,停顿相关特征是预测流利度最强的特征,而中文特有的短语多样性指标是预测语言使用的最强特征。总体而言,通过特别强调可解释性,我们为传统的人工评估提供了一种可扩展、可靠且透明的替代方案,有助于为学习者提供详细的诊断性反馈,并支持自我调节学习,这些优势是单纯的自动化评分所无法提供的。
查看 arXiv 页面查看 PDF

评论

Ziyin ZhangZiyin Zhang
论文作者
论文提交者

首次系统性地将 XAI 技术应用于真实课堂,用于自动化口译评估和个性化反馈。