从不平衡数据中学习密集手部接触估计

手对人际互动至关重要，理解手与世界的接触有助于全面理解其功能。 近期，手部互动数据集的数量不断增加，涵盖了手与物体、其他手、场景和身体的互动。 尽管任务具有重要性且高质量数据不断增加，但如何有效学习密集的手部接触估计仍未得到充分探索。 学习密集的手部接触估计面临两个主要挑战。 首先，手部接触数据集中存在类别不平衡问题，其中大多数样本处于非接触状态。 其次，手部接触数据集包含空间不平衡问题，大多数手部接触集中在指尖，导致对手部其他区域的接触泛化能力受到挑战。 为了解决这些问题，我们提出了一个从不平衡数据中学习密集手部接触估计（HACO）的框架。 为解决类别不平衡问题，我们引入了平衡接触采样，它构建并从多个采样组中采样，这些采样组公平地代表了接触和非接触样本的多样化接触统计数据。 此外，为解决空间不平衡问题，我们提出了顶点级类别平衡（VCB）损失，它通过根据每个顶点在数据集中的接触频率单独重新加权其损失贡献，从而整合了空间变化的接触分布。 因此，我们有效地学习了在没有类别和空间不平衡问题的情况下使用大规模手部接触数据来预测密集的手部接触估计。 代码将发布。