跳到正文
arXiv· Haowei Lin; Cai Zhou; Xiangxin Zhou·· 7 天前AI 评分63

HyPLM 技术报告:Hyra 2.0 训练的 650M 参数蛋白质语言模型

HyPLM Technical Report

AI 导读

研究团队提出 650M 参数的蛋白质掩码语言模型 HyPLM-Flash,由自研研究智能体 Hyra 2.0 训练,使用 7260 亿 token,约为 ESM-2 650M 数据的 0.73 倍,模型权重与推理引擎已在 GitHub 发布。

预印本 · arxiv · 2611.12000

本站摘要基于收录版本 v1(2026-11-10),原始摘要与 AI 导读固定保留。

来源最近更新: · 来源 v1

摘要 · AI 翻译

蛋白质语言模型(PLM)是变异效应预测、蛋白质注释与设计的标准工具,但训练和部署它们所需的算力持续增长。我们推出 HyPLM-Flash,一个高效且开源的 PLM,由我们团队开发的研究智能体 Hyra 2.0 训练而成。HyPLM-Flash 是一个 6.5 亿参数的掩码语言模型,在 7260 亿个 token 上训练,数据量为 ESM-2 650M 的 0.73 倍,约为 E1-600M 和 ESM C 600M 的五分之一到八分之一。它运行在采用融合算子和 INT8 矩阵乘法的推理引擎上,在单块 NVIDIA H20 GPU 上每秒可嵌入约 130,000 个残基,比其他 6 亿参数级别的编码器快 1.9 至 2.7 倍。在针对 28 个公开检查点、涵盖 32 项任务的对齐评测中,HyPLM-Flash 在 ProteinGym 上的零样本 Spearman 相关系数达到 0.409,与 ESM-2 650M、ESM C 600M 和 E1-600M 在统计上持平,并在自监督单序列模型中取得最高的生物体适应度得分。在所有受评测模型(包括 ESM-2 15B 和 ESM C 6B)中,它给出了最佳的长程接触精度,并且在留出序列和近期发布的 PDB 链上,其掩码残基损失均低于 ESM-2 650M、ESM C 600M 和 E1-600M。HyPLM-Flash 以极低的训练和推理成本达到了最先进的精度,为蛋白质语言模型树立了新的帕累托前沿。我们已在 https://github.com/Tencent-Hunyuan/hyra-results/tree/main 发布模型权重和推理引擎。

来源:arXiv · arxiv.org