⏶6
ST-Raptor：大语言模型赋能的半结构化表格问答
发表
由 
taesiri 提交
taesiri 提交作者: Zirui Tang, Boyu Niu, Xuanhe Zhou, Boxiu Li, Wei Zhou, Jiannan Wang, Guoliang Li, Xinyi Zhang, Fan Wu
摘要
半结构化表格在实际应用中（例如，财务报告、医疗记录、交易订单）被广泛使用，通常涉及灵活且复杂的布局（例如，层级表头和合并单元格）。这些表格通常依赖人类分析师来解释表格布局和回答相关的自然语言问题，这既昂贵又低效。为了自动化这一过程，现有方法面临着重大挑战。首先，像 NL2SQL 这样的方法需要将半结构化表格转换为结构化表格，这通常会导致大量信息丢失。其次，像 NL2Code 和多模态 LLM QA 这样的方法难以理解半结构化表格的复杂布局，并且无法准确回答相应的问题。为此，我们提出了 ST-Raptor，一个用于使用大型语言模型进行半结构化表格问答的基于树的框架。首先，我们引入了分层正交树（HO-Tree），一个捕捉复杂半结构化表格布局的结构模型，以及一个有效的树构建算法。其次，我们定义了一组基本的树操作来指导 LLMs 执行常见的 QA 任务。给定用户问题，ST-Raptor 将其分解为更简单的子问题，生成相应的树操作管道，并进行操作-表格对齐以实现准确的管道执行。第三，我们结合了一个两阶段验证机制：前向验证检查执行步骤的正确性，后向验证通过从预测答案重建查询来评估答案的可靠性。为了对性能进行基准测试，我们提出了 SSTQA，一个包含 102 个真实世界半结构化表格的 764 个问题的鸯。实验表明，ST-Raptor 在答案准确性方面，性能比九个基线高出 20%。代码可在 https://github.com/weAIDB/ST-Raptor 获取。
> 半结构化表格，在实际应用（如财务报告、医疗记录、交易订单）中被广泛使用，通常涉及灵活和复杂的布局（如分层表头和合并单元格）。这些表格通常依赖人工分析师来解释表格布局和回答相关的自然语言问题，这既昂贵又低效。为了自动化该过程，现有方法面临重大挑战。首先，像NL2SQL这样的方法需要将半结构化表格转换为结构化表格，这通常会导致大量信息丢失。其次，像NL2Code和多模态LLM QA这样的方法难以理解半结构化表格的复杂布局，并且无法准确回答相应的问题。为此，我们提出ST-Raptor，一个用于使用大型语言模型进行半结构化表格问答的基于树的框架。首先，我们引入了分层正交树（HO-Tree），这是一个捕捉半结构化表格复杂布局的结构模型，以及一个有效的树构建算法。其次，我们定义了一组基本的树操作来指导LLMs执行常见的QA任务。给定用户问题，ST-Raptor将其分解为更简单的子问题，生成相应的树操作管道，并进行操作-表格对齐以准确执行管道。第三，我们包含了一个两阶段的验证机制：前向验证检查执行步骤的正确性，后向验证通过从预测答案重构查询来评估答案的可靠性。为了对性能进行基准测试，我们提出了SSTQA，一个包含764个问题和102个真实世界半结构化表格的数据集。实验表明，ST-Raptor在答案准确性方面比九个基线高出20%。