面向鲁棒机器人泛化的保真度感知数据构成

在大规模、视觉同质的数据集上训练的通用机器人策略容易出现“捷径学习”，这会损害其分布外（OOD）泛化能力。尽管生成数据增强是引入多样性的常用方法，但它带来了一个微妙的挑战：数据组合。随意混合真实数据和合成数据可能会破坏学习信号，因为这个过程通常会优先考虑视觉多样性而牺牲信息保真度。本文认为，鲁棒的泛化能力取决于原理性的、保真度感知的数据组合。我们引入了相干信息保真度调整（CIFT）框架，该框架将数据组合视为一个优化问题。CIFT 使用基于数据集特征空间几何的实用的信息保真度代理。这使得能够识别一个相变点，称为退相点，此时训练稳定性会下降。该框架包含一个生成引擎，多视图视频增强（MVAug），为该调整过程合成一个因果解耦的数据谱。将 CIFT 应用于 pi_0 和 Diffusion Policy 等策略架构，可以将 OOD 成功率提高 54% 以上。这些结果表明，除了数据合成本身之外，保真度感知组合是开发鲁棒、通用型机器人的重要组成部分。