通过使用大型语言模型的离线模拟实现软件脚本自动化中的技能发现

脚本接口使用户能够自动化任务并自定义软件工作流程，但传统上创建脚本需要编程专业知识和熟悉特定的API，这对许多用户构成了障碍。尽管大型语言模型（LLMs）可以从自然语言查询生成代码，但由于未经验证的代码、安全风险、更长的响应时间和更高的计算成本，运行时代码生成受到严重限制。为了弥合这一差距，我们提出了一个离线仿真框架，通过利用LLMs和公开可用的脚本指南，来整理一套特定于软件的技能集，即经过验证的脚本集合。我们的框架包含两个组件：（1）任务创建，利用自上而下的功能指导和自下而上的API协同探索来生成有用的任务；以及（2）带有试验的技能生成，基于执行反馈改进和验证脚本。为了高效地探索广泛的API环境，我们引入了一个基于图神经网络（GNN）的链接预测模型来捕捉API协同性，从而能够生成涉及未充分利用的API的技能，并扩展技能集的多样性。对Adobe Illustrator进行的实验表明，与传统的运行时代码生成相比，我们的框架显著提高了自动化成功率，缩短了响应时间，并节省了运行时令牌成本。这是首次尝试将软件脚本接口用作基于LLM系统的试验台，强调了在受控环境中利用执行反馈的优势，并为在专业软件领域将AI能力与用户需求对齐提供了宝贵的见解。