跳到正文
arXiv· Saurav Jha; Qianli Liao; Robert Vernon; Sarath Chandar; Quentin Fournier·· 28 天前AI 评分64

recAMPLIFY:递归蛋白质语言模型的大规模预训练

recAMPLIFY: Large-Scale Pretraining of Recursive Protein Language Models

AI 导读

论文提出 recAMPLIFY,一种采用递归预训练的蛋白质语言模型,使用与 AMPLIFY-350M 相同的 2T token 训练,155M 唯一参数比后者少 56%。

预印本 · arxiv · 2610.26747

本站摘要基于收录版本 v1(2026-10-26),原始摘要与 AI 导读固定保留。

来源最近更新: · 来源 v1

摘要 · AI 翻译

蛋白质语言模型(pLMs)是蛋白质注释和突变效应预测的强大工具,但其进展主要依赖于扩大模型规模和数据量,这使得它们成本高昂且容易产生记忆化问题。测试时扩展提供了一条互补的路径,但为自回归 LLM 开发的方法无法直接迁移:掩码编码器缺少生成循环,且氨基酸无法在推理语言中进行表述。为此,我们将递归预训练适配到掩码 pLM 中,其中权重绑定的 Transformer 核心在可调节的循环次数内对残基对齐的隐藏状态进行精炼。我们将这一方案实例化为 recAMPLIFY,这是一个拥有 155M 独特参数的 pLM,使用与 AMPLIFY-350M 相同的 2T token 进行训练。尽管参数量减少了 56%,它仍提升了 CASP 接触恢复性能以及四项有监督任务中的三项,其中折叠准确率显著提高了 22.5%。由于 recAMPLIFY 的最优深度因任务和实验而异,我们随后引入了门控混合递归(Gated Mixture Recurrence,GMR),该框架通过递归过程中访问的隐藏状态的概率加权混合来解码每个蛋白质。GMR 采用在标量、低秩或逐维度分辨率上的可学习残差门控,以控制每个循环提出的更新有多少被接受进入状态。这将停止与门控统一为单一的自适应计算目标,同时在无门控的情况下恢复了 PonderNet 式的停止作为特例。在 recAMPLIFY 之上叠加 GMR 后,可将期望的层深度进一步减少最多 37%,尽管准确率的权衡因任务而异。机制分析表明,残差门控控制着超出训练深度的递归稳定性,且停止深度与生物学特性相关。

来源:arXiv · arxiv.org