NeuralOS：迈向通过神经生成模型模拟操作系统

我们介绍了NeuralOS，一个神经框架，它通过直接预测屏幕帧来响应用户输入，如鼠标移动、点击和键盘事件，从而模拟操作系统的图形用户界面（GUI）。NeuralOS结合了跟踪计算机状态的循环神经网络（RNN）和生成屏幕图像的基于扩散的神经渲染器。该模型在一个大规模的Ubuntu XFCE录制数据集上进行训练，该数据集包括随机生成的交互以及AI代理产生的真实交互。实验表明，NeuralOS成功渲染了逼真的GUI序列，准确捕捉了鼠标交互，并可靠地预测了应用程序启动等状态转换。尽管精确建模细粒度键盘交互仍然具有挑战性，但NeuralOS为未来人机交互系统创建完全自适应、生成式神经接口迈出了一步。