⏶1
深度残差回声状态网络：探索未训练循环神经网络中的残差正交连接
发表
由 
Matteo Pinna 提交
Matteo Pinna 提交作者: Matteo Pinna, Andrea Ceni, Claudio Gallicchio
Matteo Pinna, Andrea Ceni, Claudio Gallicchio摘要
回声状态网络（ESNs）是水库计算（RC）框架内一种特殊的、未训练的循环神经网络（RNN）。它们以快速高效的学习而闻名。然而，传统ESNs在处理长期信息方面常常遇到困难。在本文中，我们介绍了一种基于时间残差连接的新型深度未训练RNN，称为深度残差回声状态网络（DeepResESNs）。我们发现，利用未训练残差循环层构成的层次结构，可以显著提高记忆容量和长期时间建模能力。对于时间残差连接，我们考虑了不同的正交配置，包括随机生成和固定结构的配置，并研究了它们对网络动态的影响。详细的数学分析概述了确保DeepResESN内部动力学稳定的必要和充分条件。我们在各种时间序列任务上的实验展示了所提出方法相对于传统浅层和深度RC的优势。
回声状态网络 (ESNs) 是一种在储层计算 (RC) 框架内的特定类型的未训练循环神经网络 (RNN)，因其快速高效的学习而广受欢迎。然而，传统 ESN 在处理长期信息方面常常遇到困难。在本文中，我们基于时间残差连接，引入一类新的深度未训练 RNN，称为深度残差回声状态网络 (DeepResESNs)。我们证明，利用未训练的残差循环层层级结构，可以显著提升记忆容量和长期时间建模能力。对于时间残差连接，我们考虑了不同的正交配置，包括随机生成和固定结构的配置，并研究了它们对网络动力学的影响。全面的数学分析概述了确保 DeepResESN 内稳定动力学所必需和充分的条件。我们在各种时间序列任务上的实验表明，所提出的方法相较于传统的浅层和深度 RC 具有优势。