使用大型语言模型和人类专家事实核查方法对新闻媒体进行真实性和偏见分析

在一个以在线错误信息和虚假信息泛滥为特征的时代，赋予读者理解他们所阅读内容的能力至关重要。在这方面的重要努力依赖于手动或自动事实核查，但对于信息有限的新兴主张来说，这可能具有挑战性。这种情况可以通过评估主张来源的可靠性和政治偏见来处理，即对整个新闻机构进行特征描述，而不是针对单个主张或文章。这是一个重要但研究不足的研究方向。尽管先前的工作已研究了语言和社会语境，但我们不分析社交媒体中的个别文章或信息。相反，我们提出了一种新颖的方法论，它模仿了专业事实核查员用来评估整个新闻机构的事实性和政治偏见的标准。具体来说，我们基于这些标准设计了各种提示，并从大型语言模型（LLM）中引出响应，然后我们聚合这些响应进行预测。除了通过对多个LLM进行大量实验证明比强基线有显著改进外，我们还对媒体流行度和地域对模型性能的影响进行了深入的误差分析。此外，我们进行了一项消融研究，以突出我们数据集中对这些改进有贡献的关键组件。为了促进未来的研究，我们已在<a href="https://github.com/mbzuai-nlp/llm-media-profiling&quot;&gt;https://github.com/mbzuai-nlp/llm-media-profiling&lt;/a&gt;发布了我们的数据集和代码。