ESMfluc:追踪蛋白质语言模型主链变异性预测背后的证据来源
Who contributes to whom: following the evidence behind protein language-model predictions of backbone variability
作者提出 ESMfluc,用 ESM2 或 ESM3 表示预测蛋白质局部主链变异性,并拆解注意力分类器最终阶段中各序列位置提供的证据方向。
预印本 · biorxiv · 10.64898/2026.10.27.762338
本站摘要基于收录版本 v1(2026-10-29),原始摘要与 AI 导读固定保留。
来源最近更新: · 来源 v1
背景:蛋白质可以在保持整体折叠的同时,使其主链探索不同的局部构象。基于序列的模型能够预测这种变异性,但准确的预测并不能告诉我们模型是如何得出该结果的。仅凭注意力权重无法显示序列某一位置的信息是支持还是反对某个预测。结果:我们开发了 ESMfluc,用于预测局部主链变异性并检验其决策背后的依据。该模型在 ATLAS 分子动力学模拟数据上训练,利用 ESM2 或 ESM3 蛋白质语言模型表征,区分只采样一种 Protein Block(PB)状态的残基与采样多种状态的残基。在七种模型配置中表现最佳的微调 ESM3 模型,在 208 个留出的 ATLAS 蛋白上达到了 0.889 的受试者工作特征曲线下面积(AUROC)。在按与 ATLAS 的序列相似性筛选后的 985 个 mdCATH 结构域中(排除每条链两端的两个残基),其结构域内与 PB 状态变异性的平均 Spearman 相关系数为 0.616,而最强的外部预测器 PEGASUS 为 0.589(若包含所有位置,则分别为 0.634 和 0.527)。若干外部预测器与均方根涨落的一致程度高于 ESMfluc。对最终注意力分类阶段的精确分解揭示了哪些序列位置为每个类别提供了证据,从而将一个位置被关注的程度与其证据所支持的方向区分开来。由此得到的影响谱显示出正影响与负影响交替的条带,这些条带在不同训练随机种子间复现的频率高于将其位置循环移位后的预期。与匹配的非条带残基相比,支持多 PB 预测的峰值在相邻残基之间的预测主链二面角差异更大,且在实验结构中的接触更少。支持单 PB 预测的峰值则表现出更小的角度差异。将学习到的注意力替换为均匀注意力后,每个蛋白质中候选的多 PB 支持条带从五到六个减少到不足一个。结论:ESMfluc 将基于序列的预测与对其所用证据的直接观察联系起来。这些图谱将模型证据与局部几何及结构环境关联起来,但并未确立物理通信通路或突变效应。ESMfluc 是对位置涨落预测器的补充,而非替代。
来源:bioRxiv · biorxiv.org