⏶7

FactReview：基于证据、文献定位及执行驱动型陈述核查的综述生成

04月07日发表

04月08日由 Leo Y 提交

作者: Hang Xu, Ling Yue, Chaoqian Ouyang, Yuchen Liu, Libin Zheng, Shaowu Pan, Shimin Di, Min-Ling Zhang

摘要

AI 生成总结

FactReview 是一个面向机器学习的证据锚定同行评审系统，通过论点提取、文献定位和基于执行的验证来分析论文论点，以提供更可靠的评审评估。

机器学习领域的同行评审正面临着投稿量激增和审稿人时间有限的双重压力。大多数基于 LLM 的审稿系统仅阅读手稿并根据论文自身的叙述生成评论。这使得它们的输出对表达质量很敏感，并且当评审所需的证据存在于相关工作或发布的代码中时，表现乏力。我们展示了 FactReview，这是一个以证据为基础的审稿系统，它结合了论点提取、文献定位和基于执行的论点验证。给定一篇投稿，FactReview 会识别主要论点和报告的结果，检索邻近工作以厘清论文的技术立场，并在代码可用时，在限定预算下执行发布的代码库以测试核心实证论点。随后，它会生成一份简洁的评论和一份证据报告，为每个主要论点分配五个标签之一：已证实（Supported）、由论文证实（Supported by the paper）、部分证实（Partially supported）、存在冲突（In conflict）或无定论（Inconclusive）。在对 CompGCN 的案例研究中，FactReview 复现的结果与报告的链接预测和节点分类结果高度吻合，但也显示出该论文在跨任务的更广泛性能主张并未得到充分维持：在 MUTAG 图分类任务上，复现结果为 88.4%，而论文中报告的最强基线仍为 92.6%。因此，该论点仅为“部分证实”。更广泛地说，这一案例表明，AI 在同行评审中最有用的角色不是最终决策者，而是收集证据并帮助审稿人做出更具证据支持的评估工具。代码已在 https://github.com/DEFENSE-SEU/Review-Assistant 开源。

查看 arXiv 页面查看 PDF

Leo Y

论文提交者

机器学习领域的同行评审正面临巨大压力——投稿量持续增长，但评审者的精力并未随之扩展。本文解决了一个关键问题：使自动化评审基于实际证据，而不仅仅是阅读论文叙述。
FactReview 将评审分解为声明提取、文献定位和基于执行的验证，这模仿了彻底的人类评审者在时间充裕时会做的事情。CompGCN 案例研究使之具体化——该系统重现了在链路预测和节点分类上基本成立的结果，但当图分类呈现不同情况时，它能正确地缩小原本过于宽泛的性能声明。这种细致且有证据支撑的评估正是当前基于 LLM 的评审方法所缺失的。
后端敏感性分析是一个很有价值的补充：结果显示验证质量在不同模型间差异显著（从 41.7% 到 83.3%），这进一步证实了这不仅仅是一个脚本编写问题，而是需要对代码输出与论文声明之间的联系进行真实推理。失败分类法（failure taxonomy）进一步澄清了真正的瓶颈所在。
这里采用的框架值得关注——将 AI 定位为评审者的证据收集工具，而非人类判断的替代品，这既切合实际，又得到了结果的有力支持。