面向视觉-语言-动作模型的机制可解释性指导

视觉-语言-动作（VLA）模型是实现能够快速适应新任务、模态和环境的通用具身智能体的有前景的途径。然而，解释和引导 VLA 的方法与经典机器人技术流程相去甚远，后者基于运动学、动力学和控制的显式模型。这种机械洞察力的缺乏是部署学习策略在现实世界机器人技术中的核心挑战，而在现实世界机器人技术中，鲁棒性和可解释性至关重要。受大型语言模型机械可解释性进展的启发，我们提出了第一个通过内部表示来解释和引导 VLA 的框架，从而可以在推理时直接干预模型行为。我们将 Transformer 层内的前馈激活投影到 token 嵌入基上，识别出稀疏的语义方向——例如速度和方向——这些方向与动作选择有因果关系。利用这些发现，我们提出了一种通用的激活引导方法，该方法可以在没有微调、奖励信号或环境交互的情况下，实时调节行为。我们在两个最近的开源 VLA 模型 Pi0 和 OpenVLA 上评估了这种方法，并在模拟（LIBERO）和物理机器人（UR5）上展示了零样本行为控制。这项工作表明，具身 VLA 的可解释组件可以系统地用于控制——为机器人领域透明且可引导的基础模型建立了一个新范式。