Evo 2 用上下文学习仅凭数十个示例设计全新调控序列
Evo 2 uses in-context learning to design de novo regulatory sequences with only tens of examples
Arc Institute 与斯坦福团队在 bioRxiv 发布的两篇预印本显示,Evo 2 通过上下文学习,仅用 4-64 个示例就能设计出五类调控序列,无需额外训练。
Evo 2 仅凭少量示例就能设计出在小鼠脑中生效的增强子,为数据稀缺的序列设计提供了可迁移的思路。
想象一下,从零开始设计一个细胞类型特异性增强子,并直接将它从计算机带入小鼠大脑——没有中间步骤,没有大规模筛选,只有你和几个有希望的设计,用简单的递送方案在体内进行测试。今天,在bioRxiv 上发布的一篇预印本中,我们揭示了 Evo 2 能够从零开始设计增强子(即顺式调控元件),使其在活体小鼠大脑中成功靶向特定的神经元群体。随后,在bioRxiv 上的另一篇配套预印本中,我们将这些发现扩展到了新蛋白质、蛋白质-RNA 系统(如 CRISPR-Cas9 位点)、表位特异性抗体以及全噬菌体基因组的计算机模拟设计。
设计基因表达的时空模式在基础生物学和治疗工程领域都是备受期待的。它可以用于创建靶向癌症疗法、驱动执行器(如视紫红质通道)的细胞类型特异性表达,或生成神经元亚型级别的电压传感器,以获取高度特异性神经回路的全脑记录。在自然界中,增强子是实现细胞类型特异性基因表达的一种内源性机制。但要设计出能在动物体内按预期工作的细胞类型特异性增强子,是极其困难的。
当我们启动这个项目时,我们知道 Evo 2 已经能够在数千碱基对的尺度上设计染色质可及性模式。然而,这一结果来自推理时引导,速度相对较慢,且依赖于模型从自然界生成元件的能力。我们正在寻找一种更高效率的替代方案,但当时并不清楚如何有效地与 Evo 2 交互来实现这一目标,直到我们从自然语言模型中获得了灵感。
提示自然语言模型的一种强大方式是在提示本身中给出示例,这样它就能从少数几个示例中学习模式,并将其应用于类似的任务,而无需进一步训练。换句话说,语言模型可以进行上下文学习。与这些模型一样,Evo 2 是一个自回归模型,但它不是在书面文字上训练的,而是在大量基因组 DNA 上训练的。因此,自然而然的下一步就是询问 Evo 2 是否也能从其提示上下文中的少数几个示例中学习序列设计。有迹象表明它可以做到(例如,我们知道Evo 2 能够对合成字符串操作任务进行上下文学习),但没有人证明这种能力能从纯粹的合成上下文扩展到生成具有特定生物学功能的序列。因此,我们着手首先对此进行测试。
上下文学习是 Evo 2 的一种涌现特性
迄今为止,要让 Evo 2 生成某一类特定的序列,意味着需要在大量带标签的数据集上对其进行微调。例如,要让 Evo 2 以噬菌体为条件进行生成,就需要用来自自然界的 15,000 个示例来训练它。但对于许多具有生物学用途的序列——无论是天然的还是合成的——只有几十个案例。在过去,这使得它们几乎无法用于训练。如果 Evo 2 能够从提示中的几个示例生成可用的序列,那将是解决这一设计问题的一个在时间和成本上都极为高效的方案。
为了测试 Evo 2 的能力,我们聚焦于非编码 DNA 这一强大的基因组调控因子,首先在模型的提示中简单地将同一类别(5' UTR、IRES、启动子和增强子)的序列拼接在一起。引人注目的是,随着我们向 Evo 2 提供越来越多的上下文示例,这些新颖序列在每个类别中的预测性能也越来越高。由于天然基因组序列中并没有一系列明确划分的调控元件,模型捕捉到的是一种在其训练数据中未曾出现的模式——这进一步证实了 Evo 2 具备在具有生物学意义的序列生成任务上进行上下文学习的能力。在不到 100 个上下文示例的情况下,Evo 2 已能生成跨越五种调控模态的功能性序列,产出率为 30-50%,序列相似度低于 60%。
没有人将这一能力刻意构建到 Evo 2 中。这是一种涌现属性,似乎源于模型的规模及其所训练的天然基因组数据。而且 Evo 2 实现这一能力的方式似乎与语言模型如出一辙。我们进行了两项独立测试来探究其机制。
首先,我们寻找了归纳头(induction heads),这是语言模型中已知的用于上下文学习的电路,其中注意力模块利用重复模式来预测下一个 token。通过研究 Evo 2 的注意力头,我们成功分离出几个候选对象,消融其中一个确实影响了 Evo 2 的序列设计性能。相比之下,消融同一层中的另一个随机注意力头则基本没有引起任何变化,这在小规模自然语言模型中也有观察到。
我们的第二项测试追踪了上下文中的单个示例如何在核苷酸分辨率上影响生成的序列(称为类别雅可比,categorical Jacobian)。在提示中只有几个示例时,高影响力核苷酸仅出现在单个示例序列中。但是,随着更多示例进入上下文,高影响力核苷酸也变得更加分散地分布在提示中。换句话说,Evo 2 持续整合我们提供的示例,从多个提示中综合信息,而不是依赖其中任何一个。
以虚拟奖励激励 Evo 2 的上下文学习
为了看看能否同时提升使用上下文学习所生成序列的效率和质量,我们转向了用奖励作为模型激励的想法。我们将若干序列到功能模型重新用作 Evo 2 的奖励模型,并将其与其他基于规则的奖励相结合,构建了一个强化学习循环,激励模型生成更好的生物序列(试试用 这个设计工具 进行 Evo 2 上下文设计)。
对于 Evo 2 已经表现得相当不错的任务,强化学习可能只需不到 20 分钟。对于更困难的任务,仍可能需要数小时。但无论如何,它不需要高强度训练(例如训练一个新的 Evo 2 或大规模微调),而且在某些情况下,这种奖励确实可以迁移。当我们用人类启动子数据集对 Evo 2 进行后训练时,它还提升了增强子设计的性能,尽管我们在强化学习过程中没有向它提供任何关于增强子的信息。而当我们同时在两种细胞类型上进行后训练、留出第三种时,三种细胞类型的预测特异性都提高了。强化学习甚至在模型从未训练过的细胞类型中也提高了特异性。
从计算机直接到小鼠大脑
大脑是身体中细胞类型多样性最高的器官,神经元极其异质,这意味着在皮层中标记单一神经元亚型是一项相当了不起的成就。我们想看看 Evo 2 是否能胜任这项任务:它能否设计出可以轻松递送到小鼠大脑的神经元特异性增强子?
由于此前不存在用于评估 DNA 序列是否能在小鼠中起作用的大规模预测模型,我们独立微调了 AlphaGenome 来为 Evo 2 提供奖励,并使用微调后的 Enformer 和 Borzoi 模型来评估这些设计。它们共同预测了人脑中 107 种神经元类型的染色质可及性模式。随后,我们将九个设计包装进 AAV,通过简单的眶后注射递送到小鼠大脑中。在测试的九个设计中,有七个驱动了可检测的表达,六个产生了空间上局部化的标记。仅凭数十个设计,就有两个能够以 73% 和 95% 的特异性特异性标记第 5 层端脑外投射神经元,达到或高于目前市场上最特异的合成增强子的水平。
鉴于我们是针对人脑中的一种细胞类型设计的,看到它在小鼠大脑中同样有效令人惊讶,这表明大脑的调控密码在进化上存在一定的保守性。虽然我们在本文中针对的是第 5 层,但我们计划扩展这项工作,为大脑中更多细胞类型生成特异且强效的增强子。
更广泛地说,上下文学习可以将预训练的基因组语言模型转变为生物序列的通用生成器,包括 DNA、RNA 和蛋白质。事实上,在一篇配套预印本中,我们展示了这种上下文学习同样适用于调控 DNA 之外的领域:仅用少至四个示例提示 Evo 2,就能生成全新的蛋白质、蛋白质-RNA 系统(如 CRISPR-Cas9 位点)、表位特异性抗体以及完整的噬菌体基因组。由于这些示例序列的长度从数百到数万个碱基不等,我们还开发了 Evo2-flash,一个高效的 Evo 2 推理引擎,减轻了使用长上下文提示的负担。它的生成速度比以前快达 35 倍,并且可以在 Google Colab 提供的 GPU 上运行。
在现阶段,增强子之外的设计还停留在计算层面,尚未经过实验验证。尽管如此,我们的工作共同表明,上下文学习是 Evo 2 的一种通用特性,可以应用于整个中心法则。其意义还延伸到了生成之外:利用上下文学习进行数据稀缺环境下的预测任务或许是可能的,这将为 Evo 2 开辟一系列全新的应用。
Hao, Y. A., Liu, M., Nori, D., Brixi, G., Lau, T., Ramakrishnan, C., Chang, D., Lee, R., Allen, W. E., & Hie, B. L. (2026). Few-shot regulatory sequence design with a genomic language model. bioRxiv. https://doi.org/10.64898/2026.10.28.762639
Brixi, G., Hao, Y. A., Nori, D., Merchant, A., Widatalla, T., King, S. H., Shalvarjian, K. E., Park, D. M., & Hie, B. L. (2026). Efficient biological design via genomic in-context learning. bioRxiv. https://doi.org/10.64898/2026.10.28.762643
Evo 2 上下文设计工具:https://proto.evodesign.org/tools/evo2-icl
Evo2-flash 的 Github 仓库:https://github.com/evo-design/evo2_flash
Alex Hao 是 Stanford University 和 Arc Institute 化学工程系 Hie Lab 的博士后研究员。
Brian Hie(X:@BrianHie)是 Stanford University 化学工程系助理教授、Dieter Schwarz Foundation Stanford Data Science Faculty Fellow,以及 Arc Institute Innovation Investigator in Residence。
来源:Arc Institute · arcinstitute.org