生成式潜先验 GLP 用于解释和引导 ESM-2 蛋白质语言模型
Generative Latent Priors for Interpreting and Steering Protein Language Models
研究将 Generative Latent Priors(GLP)移植到 ESM-2 激活,并在 8M 与 650M 两个宿主规模上评估其解释与编辑效果。
预印本 · arxiv · 2611.09818
本站摘要基于收录版本 v1(2026-11-09),原始摘要与 AI 导读固定保留。
来源最近更新: · 来源 v1
用于解释大模型的主流方法会施加强烈的结构假设。生成式隐先验(Generative Latent Priors,GLP)是一种互补方法:它是一个扩散模型,直接学习冻结模型激活值的分布,不施加任何假设。我们将 GLP 移植到 ESM-2 激活值(UniRef50)上,并在两种宿主规模(ESM-2-8M 和 -650M)上进行评估,既将其作为蛋白质表示的观察透镜,也作为编辑这些表示的先验。生成质量随深度和算力平滑提升。作为观察透镜,单个 GLP "元神经元"在两种宿主上都是离散 Swiss-Prot 概念的最强探针,胜过 InterPLM 发布的 SAE 特征,并在 8M 规模上(但在 650M 上并非如此)领先于连续属性;证伪测试表明这主要是集中度的体现,而非新信息。作为编辑先验,流形上的校正使 DiffMean 对三种生化属性的引导变得有效,并恢复了流形性,但仅在孤立情况下如此:在多轮解码后对实际生成的序列重新嵌入,其结构合理性会受损。这一点主要在额外的基于 SAE 的钳制结构引导实验中得到复现,其中只有 Helix motif 成功。自然度的失败被追溯到重写覆盖率和解码器,而非先验本身,这凸显了该方法在服务于"通过编辑发现"和"通过探索发现"之前必须跨越的门槛。训练好的 GLP 已发布在 huggingface.co/collections/HPAI-BSC/glprot。
来源:arXiv · arxiv.org