跳到正文
Genesis Molecular AI·· 19 天前精选AI 评分64

Genesis Molecular AI 与 Caltech 提出分子优化在线适应框架,86 次评估追平 Beam Search 约 5000 次效果

Steering Discrete Diffusion: Design Choices for Feedback-Efficient Molecular Optimization

AI 导读

Genesis Molecular AI 与 Caltech 合作的 NeurIPS 2026 论文提出分子优化的在线适应框架,用 86 次 oracle 评估匹配最强推理时搜索基线 Beam Search 约 5,000 次评估的效果。

推荐理由

文中把分子优化中的测试时在线适应拆成四个设计选择,并给出同预算下与五种搜索基线的效率对比。

正文 · AI 翻译

本文是 我们 NeurIPS 2026 论文 的配套内容,由 Caltech 与 Genesis Molecular AI 合作完成。

预训练的分子生成模型已经从数亿条类药 SMILES 字符串中学到了药物化学的广泛语法,但随机抽取一个看似合理的结构,很少能得到能与特定蛋白质靶点结合的分子。弥合这类差距需要测试时算力:即训练之后投入的算力预算,用于将通用先验与特定下游目标对齐。在本工作中,我们研究如何明智地花费这一预算,以找到有效、高回报的分子和蛋白质候选物。我们的方法仅用 86 次评估,就达到了最强推理时搜索基线(Beam Search)约 5,000 次评估的性能。

The target is the prior reweighted by reward

图 1. 将预训练的化学先验写作 ppre(x),将靶点特异的结合奖励写作 r(x)。用奖励对先验重新加权,定义出倾斜的目标分布 p*(x)∝ppre(x)exp(r(x)/β),随着 β 缩小,该分布会集中到唯一最优的有效分子上。

将先验分布与目标分布对齐,意味着在奖励高的地方集中概率质量,同时不偏离先验所学到的有效化学流形。由于先验和奖励的拉力方向不同,它们的乘积落在空间中一个极小的角落,朴素采样几乎永远无法到达。每一种测试时方法都在近似这个奖励倾斜的目标,试图把样本集中到得分最高的有效分子上。

测试时方法把预算花在两条战线上:调用 oracle 来评估候选,以及运行模型本身进行采样和更新。哪种算法胜出,取决于这两条战线的相对成本。在代码或数学中,验证廉价且快速,使得暴力的 best-of-N 采样难以被超越。在分子设计中,oracle 主导了预算。每次结构预测或湿实验测定都很昂贵,而一次项目只能有几百到几千次查询。在我们的设定中,生成器是一个领域专用的预训练离散扩散模型,oracle 是结合亲和力或蛋白质适应度预测器,这落在后一种情形,即设计空间在很大程度上仍未被充分探索。

Which strategy wins depends on what a call costs

图 2. 廉价的 oracle 有利于密集采样(左);昂贵的分子 oracle 需要有信息量的查询(右)。

在紧张的查询预算下,我们面临一个选择:是推理时搜索——保持生成器冻结,在采样时过滤抽样结果;还是在线自适应——更新生成器权重,使每一轮都从更好的分布中采样。我们把预算花在更新生成器上。

Three ways to spend a test-time budget

图 3. 测试时预算既可以过滤一个冻结的先验(上、中),也可以更新生成器(下)。

维持这种生成器更新需要决定如何查询 oracle、如何把原始奖励转化为训练信号,以及如何在不离开有效先验的前提下把生成器推向新的领域。下面,我们将这些活动部件统一到一个在线自适应框架中,并系统地刻画其设计空间中的各种交互。

方法:四个设计选择

这四种选择都基于同一个底层微调目标,该目标消耗每个样本的对数奖励,并将生成器更新到向奖励倾斜的目标上。我们使用 DDPP-LB,即离散去噪后验预测(Rector-Brooks et al., 2024)的一个变体,并通过将其替换为 VIDD(Su et al., 2025)确认结论依然成立。

1. 哪些候选获得 一次预言机调用

仅在几千个带评分的分子上训练,我们的代理模型只在它已见过的候选附近预测得准。选择预测分数最高的候选,会把预言机调用浪费在代理模型已经确信的区域,无法教给它任何新东西。

为了把调用花在代理模型不确定的地方,我们使用汤普森采样(TS;Thompson, 1933)。十个小型多层感知机(MLP)组成的集成对每个候选预测出均值 μi 和分歧度 σi。我们不按 μi 排序,而是抽取一个样本 r̂i=μi+εiσi 其中 εi∼𝒩(0,1) 然后把前 K 个发送给预言机。高分歧度让一个不确定的候选获得较宽的抽样范围,从而可能击败一个自信但平庸的候选,而一致的意见则把 σi 压缩回贪婪选择。

在这里,探索程度直接随不确定性伸缩,胜过随机选择以及加入固定不确定性奖励的置信上界(UCB)规则。

Thompson sampling

图 4. 汤普森采样及其所做的探索-利用权衡。阴影区域表示不确定候选 cB 的排名超过 cA 的均值 μA 的概率

2. 哪些奖励驱动 更新

我们只关心最好的分子,但最大化期望奖励会抬高平均值。我们可以简单地筛选出 前 k 个分子,但丢弃批次中的其余部分也不理想。

因此,我们使用条件风险价值(CVaR;Rockafellar & Uryasev, 2000)作为目标来调整扩散先验(De Santi et al., 2025a)。CVaR 优化的是分位数阈值 τα 之上 (1−α) 尾部的均值。在循环中,这对应一行代码:将每个奖励 r 替换为 max(0,r−τα)/(1−α) 其中 α=0.8 这样只有前 20% 的分子驱动更新。

CVaR reward shaping

图 5. CVaR 丢弃低于 τα 的样本(未着色)以优化尾部均值(红线)。

3. 离开先验 要走多远

对先验的 KL 惩罚是奖励微调中的标准做法。就我们的目的而言,KL 的方向是错的,它把生成器拉向我们明确想要离开的先验。与此同时,上尾整形会导致模式坍缩:把梯度集中在顶部样本上,会推动生成器重复早期的成功而停止探索。

我们想要一个目标,能够区分生成器持续采样的高奖励区域和它几乎未曾访问过的区域。密度熵正则化(DER;De Santi et al., 2025b)通过降低奖励中先验对数似然的强度来实现这一点,得到 logr(x)−γlogpθ(x)。拥挤的模式变得不如同样有前景但很少被访问的区域有价值,而且由于该项使用模型自身的密度,它可以平滑地作为扩散目标。

Density entropy regularization

图 6. 标准微调(DDPP-LB,蓝色)收窄到先验峰值;加入 DER(红色)重新分配了质量。

4. 是什么让生成器 保持稳定

把模型推离先验这么远,会导致优化以两种方式退化:

首先,模型开始进行奖励欺骗:它生成损坏的 SMILES 字符串,欺骗代理模型预测出高分,尽管这些字符串并不代表有效分子。由于化学有效性只有在整个字符串完成后才能明确,我们在解码后,只要 RDKit 无法解析该结构,就分配一个固定的负奖励。

其次,模型会遗忘早期的发现:如果只在最新批次上训练,多样性很容易崩溃。因此,我们维护一个经验回放缓冲区(Mnih et al., 2015),存放迄今为止发现的得分最高的分子,并从中采样训练批次。

The assembled loop

图 7. 组合了 TS、CVaR、DER、回放和有效性组件的完整循环。

结果

我们运行了九项任务。其中六项是小分子结合靶点,取自 ODesign 基准(Zhang et al., 2025),并以其来源的 PDB 条目命名:2VT4、5SDV、6CM4、7BKC、7C7M 和 7YLL,每个都由一个学习得到的亲和力模型评分。另外三项是蛋白质适应度任务,每个家族一项:GB1、CreiLOV 和 TrpB,各自拥有自己的生成器和适应度预测器。每个单元格运行五个随机种子。

下面的汇总数字是对六个分子靶点的平均值,而轨迹图展示的是其中之一 7C7M,以便单条曲线保持可读。在三个蛋白质任务上,相同的消融实验几乎不改变性能,从而得出一个结果,说明在线适应何时才是真正必要的。

各组件协同交互

在下面的所有比较中,我们将 oracle 查询预算固定,以衡量每种方法从相同数量的评估中提取了多少奖励。

首先,每个组件都是必需的:从完整循环中移除任何一个模块都会损害性能。在 5,000 次 oracle 调用下的 DDPP-LB 中,移除 DER 导致的下降最大,将归一化奖励从 0.97 拉低到 0.58。

其次,这些组件是强耦合的,而非简单叠加。对 DER、CVaR 和汤普森采样进行的完整消融实验表明,除非 DER 处于激活状态,否则 CVaR 和汤普森采样几乎没有帮助。我们的分析显示,DER 将生成器推入新的先验外区域,而 CVaR 和汤普森采样则将查询和更新集中在在那里找到的最佳候选上。

Where each component moves the sampling distribution

图 8. 每个组件如何移动采样分布。每个面板在两个小分子靶点上,将完整循环(蓝色)与移除一个组件的相同循环叠加显示。x 轴是生成样本在冻结的预训练模型下的似然,因此越靠右表示离先验越远。

追踪完整的优化轨迹可以显示这种协同何时启动。所有变体在最初的约 100 次 oracle 调用中表现相似,此时采样靠近先验。只有在足够的更新将生成器推离先验之后,性能差距才会拉开。

Removing components in combination

图 9. 在 7C7M 上,单个、成对和完整组件消融的归一化奖励轨迹,对 5 个种子取平均。如果这些组件是可加的,移除一对组件的代价应该大约等于分别移除这两个组件的代价之和。

蛋白质任务揭示在线适应何时见效

在 GB1、CreiLOV 和 TrpB 上,移除组件几乎不改变性能。蛋白质生成器是按家族训练的,因此高适应度变体本来就是先验容易采样到的东西。与宽泛的小分子先验不同,这些先验没有给 DER 留下可解锁的先验外区域,使得 CVaR 和汤普森采样几乎没有空间超越简单采样。

这为何时使用在线自适应提供了一条实用的经验法则:检查你的目标函数与预训练先验之间的距离。目标偏离先验越远,我们框架带来的收益就越大。

自适应胜过搜索

我们与五种引导冻结生成器的推理时搜索基线进行了比较:best-of-N、束搜索、MCTS、离散 Feynman-Kac 校正器和 SMC。在六个小分子目标上取平均后,我们的循环以少 58 倍的 oracle 调用达到了最佳基线的最终分数。当每次 oracle 调用都是一次成本高得多的结构预测运行或湿实验室测定时,这一效率差距将变得至关重要。

Online adaptation versus inference-time search

图 10. 7C7M 上的最佳奖励与累计 oracle 调用,5 个种子取平均:在线自适应 vs. 推理时搜索。

结论

我们的工作表明,在线自适应作为一个由底层分布动力学塑造的耦合系统而取得成功。随着高保真基础模型和自动化测定成为发现流程中的标准,模型每次 oracle 调用能带来多少改进,决定了我们能在现实的实验预算内解决哪些目标。在计算基准上验证了这一框架之后,我们的下一步重点是完善每个模块,并将循环扩展到湿实验室验证,从而闭合生成建模与实验药物设计之间的循环。

完整的实验结果、消融实验和分析,请参阅 我们的 arXiv 预印本。欢迎在亚特兰大的 NeurIPS 2026 来找我们。

致谢

本工作由 Trevor Chen 和 Ariel Dai 与加州理工学院的 Jason Yang、Daniel Khalil、Wenda Chu 和 Yisong Yue,以及苏黎世联邦理工学院的 Riccardo De Santi 共同主导,并得到 Genesis 团队的实验协助与指导。加州理工学院团队部分由 NSF #2505096 以及 Genesis Molecular AI、Point72 和 OpenAI 的捐赠资助。Jason Yang 部分由 Google Fellowship 资助。Riccardo De Santi 由 ETH AI Center 博士奖学金和瑞士国家科学基金会通过 NCCR Catalysis 和 NCCR Automation 资助。

来源:Genesis Molecular AI · genesis.ml