超越序列与结构:Biophysical Transformer 在连续生物物理场上预训练蛋白质语言模型
Beyond Sequence and Structure: Pretraining PLMs on Continuous Biophysical Fields
Biophysical Transformer 把连续生物物理场作为序列与结构之外的第三种预训练信号,模型仅凭序列预测每个三残基 token 周围的静电势。在 FLIP Meltome 热稳定性基准的两组人类划分上,该场目标在双方所有已训练头上提升 Spearman 相关性,去除与预训练语料重叠的测试蛋白后仍成立。模型规模为 1.1M 参数;混合物种划分无此增益,且结果仅基于每臂一次预训练运行。
预印本 · biorxiv · 10.64898/2026.11.09.765464
本站摘要基于收录版本 v1(2026-11-11),原始摘要与 AI 导读固定保留。
来源最近更新: · 来源 v2
我们提出 Biophysical Transformer,这是一个蛋白质语言模型,它在序列和结构之外,将连续的生物物理场作为第三种预训练信号。一个 Poisson-Boltzmann 求解器计算每个三残基 token 周围的静电势,模型学习仅从序列预测该电势。一个旋转不变的球谐描述符作为损失目标,从而无需在训练期间进行坐标系对齐,也无需在推理时使用坐标。在 FLIP Meltome 热稳定性基准上,与一个匹配的单标志位对照相比,场目标在两个子集的所有已训练头部上都提升了 Spearman 相关系数。在两种架构不同的读出方式下,对二肽组成进行残差化处理后,人类子集上的增益依然存在;移除与预训练语料重叠的测试蛋白后,增益也依然存在。在混合物种子集上,没有任何效果得以保留。在 1.1M 参数规模下,Biophysical Transformer 及其仅序列对照在每个子集上都超过了 FLIP 的 one-hot CNN 和未训练的 ESM 基线。所有结果均基于每个分支的单次预训练运行,且当前设计无法区分场内容与通用正则化的作用。
来源:bioRxiv · biorxiv.org