RotaTouille: 轮转等变深度学习用于轮廓

发表
Odin HGOdin HG 提交
作者: Odin HGOdin Hoff Gardaa, Nello Blaser

摘要

轮廓或封闭平面曲线在许多领域都很常见。例如, 它们在计算机视觉中表现为物体边界,在气象学中表现为等值线, 以及旋转机械的轨道。在许多从轮廓数据学习的案例中,输入图像的平面旋转将导致相应旋转的输出。 因此,深度学习模型具有旋转等变性是可取的。此外,轮廓通常表示为边缘点的有序序列,其中起始点的选择是任意的。 因此,深度学习方法在循环移位下具有等变性也是可取的。我们提出了 RotaTouille,一个用于从轮廓数据学习的深度学习框架, 该框架通过复值圆形卷积实现了旋转和循环移位等变性。我们进一步引入并 表征了等变非线性、粗粒化层和全局池化层,以获得用于下游任务的不变表示。 最后,我们通过形状分类、重建和轮廓回归实验证明了 RotaTouille 的有效性。
查看 arXiv 页面查看 PDF

评论

Odin HGOdin HG
论文作者
论文提交者

一种用于轮廓数据的深度学习框架,其层对平面旋转和循环移位具有等变性和不变性。基于复值神经网络,易于在现有库(例如 PyTorch)中实现。

原始输入轮廓与基于图像的基线CNN方法和我们的方法重建对比。

图示: 原始输入轮廓与基于图像的基线CNN方法和我们的方法重建对比。请注意,由于等变性,我们方法的稳定重建保持不变,而基线CNN方法则出现了一些变形。

实现代码可在GitHub获取: https://github.com/odinhg/rotation-equivariant-contour-learning