分子相互作用基础模型 Bonbon 展现三类零样本涌现能力
Emergent Biological Capabilities in a Foundation Model for Molecular Interactions
分子相互作用基础模型 Bonbon 基于约 3.2 万亿 token 的配对蛋白质-配体序列训练,在功能、残基和键三个层级展现零样本涌现能力。这些能力可泛化到分布外复合物,训练未使用任务特定监督或结构坐标;42M 到 1.6B 六个规模的受控实验显示,最大规模处能力明显跃升,而预训练损失平滑下降。
Bonbon 在 42M 到 1.6B 六个规模上的受控实验显示,预训练损失平滑下降时零样本能力仍可能突然出现。
预印本 · arxiv · 2611.14504
本站摘要基于收录版本 v1(2026-11-11),原始摘要与 AI 导读固定保留。
来源最近更新: · 来源 v1
在大规模无标注语料上训练的基础模型会发展出涌现能力,即超越训练目标的任务能力。我们将这一范式扩展到多模态生物学领域,推出了 Bonbon——一个用于分子相互作用的基础模型,基于约 3.2 万亿个配对的蛋白质-配体序列 token 训练而成。在单一的表示空间中,Bonbon 在不同层级的分辨率上展现出三种零样本涌现能力:功能层面(作用机制)、残基层面(结合位点定位,包括正构/变构的区分),以及化学键层面(共价与非共价结合)。这三种能力都能泛化到分布外的复合物。Bonbon 仅在蛋白质-配体序列上训练,没有任何针对特定任务的监督,也不使用结构坐标。我们开展了受控的缩放实验,涵盖从 42M 到 1.6B 参数的六种模型规模;在连续指标上,所有被评估的能力都在最大规模处出现急剧跃升,而预训练损失则平滑下降。这表明,仅凭基于损失的缩放定律不足以预测零样本涌现能力何时出现。此处报告的能力是在 1:2,000 的参数-数据 token 比例下训练后涌现的,以适应配对生物相互作用数据的稀疏性。相同的冻结表示在结合与亲和力预测上达到了最先进水平,速度比共折叠方法快五个数量级。在覆盖七个蛋白家族、九个疾病靶点的前瞻性湿实验验证中,Bonbon 对全新化合物的剂量-反应命中率达到 61.5%,产出了结构新颖的分子,此前从未有报道表明这些分子能抑制这些蛋白质,其中也包括分布外的靶点。
来源:arXiv · arxiv.org