跳到正文
Nature Communications· Bao Pham; Gabriel Raya; Matteo Negri; Mohammed J. Zaki; Luca Ambrogioni; Dmitry Krotov·· 来源仅提供日期AI 评分35

扩散模型如何经记忆与泛化从联想记忆涌现

Emergence of diffusion models from associative memory through memorization and generalization

AI 导读

研究用 DenseAM 框架将扩散模型(DMs)的生成视为联想记忆检索,分析其从记忆到泛化的转变。小数据下 DMs 为每个训练样本形成不同吸引子,训练集增大后转向泛化。研究识别出 DenseAM 理论预测的临界中间阶段:此时出现的 spurious states 不再被视为负面伪影,而是生成能力的最初迹象,并在多种架构和数据集上展示。

已发表论文 · journal · 10.1038/s41467-026-78727-y

本站摘要基于收录版本 v1(2026-10-26),原始摘要与 AI 导读固定保留。

IF(5) 18.9 · 2025 · 期刊参考指标

摘要 · AI 翻译

稠密联想记忆(DenseAMs)是 Hopfield 网络的推广,它将训练数据存储在能量景观的局部极小值处。当训练数据量超过临界记忆存储容量时,会出现新的局部极小值(不同于训练数据)。这些涌现的局部极小值被称为伪状态(spurious states),会妨碍记忆检索。我们从 DenseAM 的视角审视扩散模型(DMs),将其生成过程视为一次记忆检索的尝试。在小数据机制下,DMs 为每个训练样本创建独立的吸引子,类似于低于临界容量时的 DenseAMs。随着训练集规模增大,DMs 转向泛化。我们识别出一个由 DenseAM 理论所预测的关键中间阶段,其特征是伪状态的涌现。在生成建模中,这些此前被忽视的状态不再是负面的伪影,而是生成能力的最初迹象。它们的存在已在广泛的架构和数据集上得到验证。

来源:Nature Communications · doi.org