SmolVLA：一种经济高效的机器人视觉-语言-动作模型

视觉语言模型（VLM）在大型多模态数据集上进行预训练，编码了丰富的视觉和语言知识，使其成为机器人技术的强大基础。与从头开始训练机器人策略不同，最近的方法将VLM адаптировать为视觉-语言-动作（VLA）模型，从而实现自然语言驱动的感知和控制。然而，现有的VLA通常体量庞大——参数常达数十亿——导致高昂的训练成本和有限的实际部署能力。此外，它们依赖于学术和工业数据集，而忽视了经济实惠的机器人平台日益增长的社区收集数据。在这项工作中，我们提出了SmolVLA，一个小型、高效且由社区驱动的VLA，它大幅降低了训练和推理成本，同时保持了有竞争力的性能。SmolVLA旨在单个GPU上进行训练，并部署在消费级GPU甚至CPU上。为了进一步提高响应速度，我们引入了一个异步推理堆栈，将感知和动作预测与动作执行解耦，从而通过分块动作生成实现更高的控制速率。尽管SmolVLA尺寸紧凑，但其性能与体积大10倍的VLA相当。我们在一系列模拟和真实世界机器人基准上评估了SmolVLA，并发布了所有代码、预训练模型和训练数据。