跳到正文
arXiv· Anif N. Shikder; Ramit Dey; Jan Minac; Lyle E. Muller·· 4 天前AI 评分57

HyperSSM:用表示理论修复线性循环状态模型的状态追踪失败

Symmetry in Time: A Representation Theory of Linear Recurrent Memory

AI 导读

研究提出 HyperSSM,在保留线性时间推理和并行训练的同时加入四元数通道,以修复线性循环状态模型的状态追踪失败。作者用表示理论说明对角实数与复数 SSM 只能追踪可交换群,而可追踪群的转移矩阵需在实数、复数与四元数上分块。HyperSSM 仅用最终答案训练,以至多五个状态数精确求解近期状态追踪基准中的群任务,包括 32 个生成元的 S5,并泛化到比训练序列长 25 倍的序列。

预印本 · arxiv · 2611.17162

本站摘要基于收录版本 v1(2026-11-13),原始摘要与 AI 导读固定保留。

来源最近更新: · 来源 v1

摘要 · AI 翻译

状态空间模型(SSM)是 Transformer 的一种新兴替代方案。SSM 提供线性时间推理和并行训练,但大多数实现通过将递归对角化来使并行扫描高效:隐藏状态的每个通道都与一个依赖于输入的实数或复数相乘。这些数彼此可交换,因此状态只记录了哪些输入出现过,而没有记录它们的顺序。我们用表示论将这一问题形式化,从而解释并修复了此前报告的 SSM 状态跟踪失败问题。状态更新定义了输入序列幺半群的一个线性表示,我们证明:一个 SSM 在每个序列长度上都能精确跟踪某个群,当且仅当该群是其转移矩阵所生成群的商群。由此得出两个推论:对角实值和复值 SSM 只能跟踪交换群;而任何能够跟踪群的 SSM,其转移矩阵在实数、复数和四元数上都必须分解为独立的块。随后我们提出 HyperSSM,它在保持线性时间推理和并行训练的同时引入了四元数通道。HyperSSM 仅在最终答案上训练,就能以最多五个状态数精确解决近期状态跟踪基准中的群任务。这包括具有 32 个生成元的 $S_5$,此前的 SSM 在该任务上表现仅为随机水平,而 HyperSSM 能泛化到比训练中所见长 25 倍的序列。由于理论指明了转移必须编码的内容,线性递归中学习到的权重可以直接被解读。我们通过恢复真实陀螺仪的标定、不完美量子比特门的旋转以及蛋白质主链的几何结构来展示这一点。

来源:arXiv · arxiv.org