⏶4
RuOpinionNE-2024:从俄语新闻文本中提取意见元组
04月09日发表
04月10日由
Nicolay Rusnachenko 提交

作者: Natalia Loukachevitch, Natalia Tkachenko, Anna Lapanitsyna,
Mikhail Tikhomirov,
Nicolay Rusnachenko


摘要
在本文中,我们介绍了关于从俄语新闻文本中提取结构化观点的对话评估共享任务。竞赛的任务是为给定的句子提取观点元组;元组由观点持有者、其目标、表达方式以及持有者对目标的观点组成。该任务共收到 100 多个提交。参与者主要以零样本、少样本和微调格式试验大型语言模型。在测试集上获得的最佳结果是通过微调大型语言模型获得的。我们还比较了 30 个提示和 11 个参数为 3-32 亿的开源语言模型在 1-shot 和 10-shot 设置下的性能,并找到了最佳模型和提示。




📢 很高兴分享最近的 LLM 系统在来自大众媒体文本的可解释观点挖掘方面的评估。在 RuOpinionNE-2024 竞赛中,我们考虑从俄语大众媒体文本中提取观点元组(主体、客体、情感表达/跨度)。本文介绍了已完成的竞赛总结,形式为在零样本/少样本/微调(提交)模式下应用各种 LLM 的广泛实验。
📊 Codalab:https://codalab.lisn.upsaclay.fr/competitions/20244
⭐ 竞赛仓库:https://github.com/dialogue-evaluation/RuOpinionNE-2024
📏 评估:正/负和跨度的 F1 值。