Protify 基准平台发布,揭示蛋白质语言模型评估的任务依赖与同源泄漏
Protify: A Benchmarking Platform Revealing Task Dependence and Homology Leakage in Protein Language Model Evaluation
研究团队发布开源基准平台 Protify,支持 35 个预训练模型和 61 个精选数据集,覆盖零样本、监督与迁移学习。在 ProteinGym 上评测 23 个模型后,DPLM3B 为当前最佳自监督编码器;跨 32 项监督任务没有单一模型全面领先,14 个模型至少在一项数据集上得分最高,前两名差距落在运行间波动内。
预印本 · biorxiv · 10.64898/2026.11.04.764373
本站摘要基于收录版本 v1(2026-11-06),原始摘要与 AI 导读固定保留。
来源最近更新: · 来源 v1
蛋白质语言模型(pLM)已成为计算蛋白质分析的重要工具,而架构、训练目标和预训练语料库的迅速激增造就了一个多样且不断扩大的模型格局。然而,评估实践仍然零散:研究使用不同的数据集、预处理流程和报告惯例,因此结果很少能在不同出版物之间迁移。在此我们介绍 Protify,这是一个开源平台,通过统一的低代码界面对零样本、有监督和迁移学习设置下的 pLM 基准测试进行标准化。Protify 目前支持 35 个预训练模型和 61 个精选数据集,并且可以轻松添加各自的自定义版本。利用 Protify 的高吞吐量流程,我们在 ProteinGym 上对 23 个模型进行了基准测试,发现 DPLM3B 目前是表现最好的自监督编码器。另一项涵盖 32 个多样任务的大规模有监督评估(涉及酶分类、基因本体注释、蛋白质-蛋白质相互作用、亚细胞定位及其他功能特性)发现,没有单一 pLM 占据主导地位:有 14 个不同模型在至少一个数据集上取得最高分,且最佳模型与次佳模型之间的差距处于运行间变异范围内。在酶最适 pH 预测上,通用探针流程在经过 50 次超参数试验后,达到或超过了从 11,550 次训练运行中选出的专用模型 EpHod(R2 = 0.482 对比 0.425)。在对相同数据进行同源性控制的划分下,所有池化嵌入探针都崩溃到接近零的 R2,只有基于完整残基嵌入的 transformer 探针恢复了可观的信号(R2 = 0.248)。因此,模型排名既取决于模型本身,也同样取决于评估设计。Protify 使这些设计选择变得明确、可控且可复现,并可在 https://github.com/Gleghorn-Lab/Protify 免费获取。
来源:bioRxiv · biorxiv.org