HVFT:面向多目标生成的期望超体积微调方法
Multi-Objective Generative Optimization via Expected Hypervolume Fine-Tuning
论文提出 HVFT(Hypervolume Fine-Tuning),通过微调单个预训练生成器来最大化其样本的期望超体积,同时控制与预训练分布的偏离。作者指出期望超体积无法写成固定单候选奖励的期望,因而利用其一阶变分对应候选的期望边际超体积贡献,基于模型样本构造无偏估计的自适应奖励,并把目标分解为一系列 KL 近端标量奖励子问题,给出了凹性、相对平滑性与收敛性保证。
预印本 · arxiv · 2611.05207
本站摘要基于收录版本 v1(2026-11-04),原始摘要与 AI 导读固定保留。
来源最近更新: · 来源 v1
科学发现需要在相互竞争的属性之间取得有用权衡的合理设计:例如,结合亲和力强的分子可能难以合成。预训练生成模型(如流模型和扩散生成器)为提出此类设计提供了基础,但将其引导至高质量、互补的权衡仍然充满挑战。推理时搜索的每个样本成本高昂,而微调通常依赖固定的单候选奖励,无法捕捉设计之间的互补性。我们提出超体积微调(Hypervolume Fine-Tuning, HVFT),它使单个预训练生成器在控制偏离预训练分布的同时,最大化其样本的期望超体积。期望超体积同时奖励候选质量和整体权衡覆盖度。尽管如此,我们证明它无法表示为固定单候选奖励的期望,因此无法用标准技术直接优化。本工作的一个关键观察是,其一阶变分对应于候选的期望边际超体积贡献,由此可通过基于模型样本的无偏估计器得到一个可处理的自适应奖励。HVFT 利用该奖励将目标分解为一系列 KL 近似的标量奖励子问题。我们为由此得到的分布式过程建立了凹性、相对光滑性和收敛性保证。在涵盖离散扩散和连续流匹配模型的治疗性肽与分子设计任务上,HVFT 取得了最先进的期望超体积和权衡覆盖度。
来源:arXiv · arxiv.org