⏶4

未被关注与忽视：借助 CheckboxQA 应对大语言模型的复选框盲点

04月14日发表

04月24日由 Michał Turski 提交

作者: Michał Turski, Mateusz Chilinski Mateusz Chiliński, Łukasz Borchmann

摘要

复选框在现实世界的文档处理中至关重要，因为勾选或未勾选的状态直接影响数据提取和决策过程。然而，尽管大型视觉和语言模型在广泛的任务中表现出色，但在解释可勾选内容方面仍存在困难。这一挑战在某些行业尤为突出，因为遗漏一个复选框可能导致代价高昂的监管或合同疏漏。为了解决这一不足，我们引入了 CheckboxQA 数据集，这是一个旨在评估和改进模型在复选框相关任务上性能的专用资源。它揭示了当前模型的局限性，并为推进文档理解系统提供了一个宝贵的工具，对法律科技和金融等领域的应用具有重要意义。该数据集已公开可用，地址为： https://github.com/Snowflake-Labs/CheckboxQA

查看 arXiv 页面查看 PDF

Michał Turski

论文作者

论文提交者

我们的目标旨在提供一种聚焦的方法来评估这个细粒度的视觉任务。我们发现即使在顶级的 LVLM 中也存在很大的改进空间，并指出了常见难点。

我们欢迎您就以下方面分享您的想法：
- 提高模型对于这些细微视觉元素的鲁棒性。
- CheckboxQA 数据集的潜在应用或扩展 (数据集可在 GitHub 获取，详见论文)。
- 您在处理类似文档理解挑战方面的自身经验。

感谢您关注我们的工作！

未被关注与忽视：借助 CheckboxQA 应对大语言模型的复选框盲点

摘要

评论