用于化学式多模态验证的大语言模型上下文条件化与 PWP 提示

在复杂的科学技术文档中识别微小的技术错误，特别是需要多模态解释（例如图像中的公式）的错误，对于大型语言模型（LLM）来说是一个重大挑战，因为其固有的纠错倾向可能会掩盖不准确之处。这项探索性的概念验证（PoC）研究调查了受持久工作流程提示（PWP）原则启发的结构化 LLM 上下文条件设置，作为一种在推理时调节 LLM 行为的方法策略。该方法旨在增强现成通用 LLM（特别是 Gemini 2.5 Pro 和 ChatGPT Plus o3）执行精确验证任务的可靠性，关键在于仅依赖其标准的聊天界面，无需 API 访问或模型修改。为了探索这一方法，我们专注于在一份已知存在文本和基于图像错误的复杂测试论文中验证化学公式。评估了几种提示策略：基本提示被证明不可靠，而一种采用 PWP 结构来严格限制 LLM 分析思维的方法似乎提高了两种模型对文本错误的识别能力。值得注意的是，该方法还引导 Gemini 2.5 Pro 重复识别了一个在手动审查时先前被忽略的细微的基于图像的公式错误，而 ChatGPT Plus o3 在我们的测试中未能完成此任务。这些初步发现突出了阻碍面向细节验证的特定 LLM 操作模式，并表明受 PWP 启发的上下文条件设置提供了一种有前途且高度易用的技术，用于开发更强大的 LLM 驱动分析工作流程，特别是对于需要在科学技术文档中进行细致错误检测的任务。需要在此有限的 PoC 之外进行广泛验证，以确定更广泛的适用性。