通过持久工作流提示、元提示和元推理实现的AI驱动的学术同行评审

科学手稿的关键同行评审对于大型语言模型（LLM）来说是一个重大挑战，部分原因是数据限制和专家推理的复杂性。本报告介绍了持久工作流程提示（PWP），这是一种潜在广泛适用的提示工程方法，旨在利用标准的 LLM 聊天界面（零代码，无 API）弥合这一差距。我们提出了一个用于实验化学手稿关键分析的概念验证 PWP 提示，该提示具有分层模块化架构（通过 Markdown 结构化），定义了详细的分析工作流程。我们通过迭代应用元提示技术和元推理来开发此 PWP 提示，旨在系统地规范专家评审工作流程，包括默会知识。在会话开始时提交一次，此 PWP 提示使 LLM 具备由后续查询触发的持久工作流程，引导现代推理 LLM 进行系统化的多模态评估。演示表明，PWP 引导的 LLM 在测试案例中识别了主要的方法论缺陷，同时减轻了 LLM 的输入偏差并执行了复杂任务，包括区分主张和证据、整合文本/图片/图表分析以推断参数、执行定量可行性检查、将估计值与主张进行比较以及评估先验合理性。为了确保透明并便于复制，我们提供了完整的提示、详细的演示分析以及交互式聊天记录作为补充资源。除了特定的应用之外，这项工作还提供了关于元开发过程本身的见解，强调了受详细工作流程形式化启发的 PWP 在利用现有 LLM 进行复杂科学任务的复杂分析方面的潜力。