⏶2
Neuro2Semantic：一个用于从人类颅内脑电图重建连续语言语义的迁移学习框架
发表
由 
Siavash 提交
Siavash 提交作者: Siavash Shams, Richard Antonello, Gavin Mischler, Stephan Bickel, Ashesh Mehta, Nima Mesgarani
Siavash Shams, Richard Antonello, Gavin Mischler, Stephan Bickel, Ashesh Mehta, Nima Mesgarani摘要
从神经信号中解码连续语言仍然是神经科学与人工智能交叉领域的一个重大挑战。我们引入了Neuro2Semantic，一个从颅内脑电图（iEEG）记录中重建感知语音语义内容的新颖框架。我们的方法包括两个阶段：首先，一个基于LSTM的适配器将神经信号与预训练的文本嵌入对齐；其次，一个校正模块直接从这些对齐的嵌入中生成连续的自然文本。这种灵活的方法克服了以前解码方法的局限性，并实现了无约束的文本生成。Neuro2Semantic 在低数据设置下表现出色，仅需30分钟的神经数据即可获得强大性能，超越了最近的一种最先进方法。这些结果突出了其在脑机接口和神经解码技术中实际应用的潜力。
从神经信号中解码连续语言仍然是神经科学与人工智能交叉领域的一个重大挑战。我们引入了 Neuro2Semantic，这是一个新颖的框架，能够从颅内脑电图（iEEG）记录中重建感知语音的语义内容。我们的方法包括两个阶段：首先，一个基于LSTM的适配器将神经信号与预训练的文本嵌入对齐；其次，一个校正模块直接从这些对齐的嵌入中生成连续的自然文本。这种灵活的方法克服了以往解码方法的局限性，并实现了无约束的文本生成。Neuro2Semantic 仅需30分钟的神经数据即可实现强大性能，在低数据设置下优于最近的SOTA方法。这些结果突出了其在脑机接口和神经解码技术中实际应用的潜力。