arXiv· Felix Koulischer; Gianni Van De Velde; François Remy; Chris Develder; Thomas Demeester·· 14 天前AI 评分49
离散扩散模型的在线类别后验:实现可解释与可控生成
Online Class Posteriors for Interpretable and Controllable Discrete Diffusion
AI 导读
研究提出在线追踪离散扩散模型类别条件后验的理论框架,通过组合条件与无条件预测实现可解释、可控生成。在掩码语言建模中,与类别一致的 token 会提升后验、矛盾 token 会抑制后验;后验还能执行 AND、OR、NOT 逻辑引导以避开特定类别。研究还指出离散与连续模型在无分类器引导上的公式差异,并在合成数据、MNIST、文本和抗体序列上验证。
预印本 · arxiv · 2611.03454
本站摘要基于收录版本 v1(2026-11-03),原始摘要与 AI 导读固定保留。
来源最近更新: · 来源 v1
摘要 · AI 翻译
离散扩散模型的理解程度仍远不及其连续对应模型,尽管近期已在多个模态上取得突破,其中最显著的是文本领域。借助连续扩散的工具,我们构建了一个理论框架,通过结合条件模型与无条件模型的预测,以在线方式追踪类别条件后验。在掩码语言建模中,该后验呈现出高度可解释的动态:与某一类别一致的 token 会增强后验,而与之矛盾的 token 则会抑制后验。我们还证明,该后验可用于离散扩散中的逻辑引导运算(AND、OR、NOT)。这些运算能够实现对生成过程的精确控制,例如避免生成特定类别。此外,我们讨论了无引导分类器(classifier-free guidance)在离散与连续设定下公式化方式的不一致:离散模型混合的是数据分布,而连续模型混合的是边缘分布。我们在所有量均可解析求解的合成数据上验证了我们的方法,并讨论了其潜在应用,同时也在 MNIST、文本和抗体序列上进行了验证。
来源:arXiv · arxiv.org