超越真假:检索增强的细微主张层次化分析

发表
Priyanka KarguptaPriyanka Kargupta 提交
作者: Priyanka KarguptaPriyanka Kargupta, Runchu Tian, Jiawei Han

摘要

个人或实体所提出的主张往往是细致入微的,不能简单地标记为完全“真”或“假”——这在科学和政治主张中是常见情况。然而,一个主张(例如,“疫苗A比疫苗B更好”)可以被分解成其组成方面和子方面(例如,功效、安全性、分发),这些方面更容易单独验证。这使得我们能够提供更全面、结构化的响应,对给定问题提供全面的视角,同时还允许读者优先考虑主张中感兴趣的特定角度(例如,对儿童的安全性)。因此,我们提出了 ClaimSpect,一个基于检索增强生成(RAG)的框架,用于自动构建一个在处理主张时通常会考虑的方面层次结构,并用语料库特有的视角来丰富它们。这个结构对输入语料库进行分层分区,以检索相关片段,这些片段有助于发现新的子方面。此外,这些片段还能够发现针对主张某个方面的不同观点(例如,支持、中立或反对)及其各自的流行程度(例如,“有多少生物医学论文认为疫苗A比B更易于运输?”)。我们将 ClaimSpect 应用于我们构建的数据集中各种现实世界的科学和政治主张,展示了它在解构细致入微的主张和表示语料库中观点方面的鲁棒性和准确性。通过现实世界案例研究和人工评估,我们验证了它相对于多个基线的有效性。
查看 arXiv 页面查看 PDF
超越真假:检索增强的细微主张层次化分析
超越真假:检索增强的细微主张层次化分析
超越真假:检索增强的细微主张层次化分析

评论

Priyanka KarguptaPriyanka Kargupta
论文作者
论文提交者

⚖️ 超越对错:对细致论断的检索增强分层分析

我们推出 ClaimSpect 框架,该框架超越了二元事实核查,通过构建与论断相关的方面和子方面的层级树——基于从目标语料库中检索到的证据。它有助于深入了解那些难以轻易验证的细致论断的整体观点,识别观点的偏差,以及哪些方面或子方面尚未达成共识。

🔍 强调细致,超越二元 – 挑战将论断过度简化为“真/假”的做法,提出更深入的、基于方面的拆解(例如:功效、安全性、物流等)

🌳 对论断进行分层分析 – 将每个论断分解为方面和子方面的树状结构(例如:安全性 → 副作用、长期风险),从而能够基于检索到的语料库进行结构化、多方面的分析

📚 基于语料库的观点洞察 – 检索文本片段以发现支持性、中立或反对性证据,并量化其普遍性(例如:“有多少研究支持可迁移性?”)

🧪 跨领域验证 – 将此方法应用于科学和政治论断,在不同领域均表现出强大性能

✅ 人工 & 基线评估 – 优于多个基线方法,并且人工评估证实了其在揭示结构化、细致入微的洞察方面的优势