LawFlow : 收集与模拟律师的思维过程

法律从业者，尤其是处于职业生涯初期的从业者，面临着需要适应性、情境敏感推理的复杂、高风险任务。尽管人工智能在支持法律工作方面前景广阔，但目前的现有数据集和模型过于狭窄，仅专注于孤立的子任务，未能捕捉到现实实践中所需的端到端决策过程。为了弥补这一差距，我们引入了 LawFlow，这是一个从训练有素的法学院学生那里收集到的完整端到端法律工作流程数据集，其基础是现实世界的商业实体组建场景。与之前专注于输入-输出对或线性思维链的数据集不同，LawFlow 捕捉了动态、模块化和迭代的推理过程，反映了法律实践中的模糊性、修订和适应客户的策略。我们使用 LawFlow 比较了人类和大型语言模型生成的工作流程，揭示了结构、推理灵活性和计划执行方面的系统性差异。人类工作流程倾向于模块化和适应性强，而大型语言模型工作流程则更具顺序性、更全面，对下游影响不太敏感。我们的研究结果还表明，法律专业人士更倾向于人工智能扮演辅助角色，例如头脑风暴、识别盲点和提出替代方案，而不是执行复杂的端到端工作流程。基于这些发现，我们提出了一系列基于实证观察的设计建议，旨在通过混合规划、自适应执行和决策点支持，使人工智能辅助与人类对清晰性、完整性、创造性和效率的目标保持一致。我们的研究结果强调了大型语言模型在支持复杂法律工作流程方面的当前局限性，以及开发更具协作性、更具推理意识的法律人工智能系统的机会。所有数据和代码均可在我们的项目页面上获取 (https://minnesotanlp.github.io/LawFlow-website/)。