跳到正文
arXiv· Hongeun Kim; Jeongsol Kim; Jong Chul Ye·· 12 天前AI 评分47

LeNO:面向少步生成模型奖励对齐的学习噪声优化

Learning Noise Optimization for Reward Alignment in Few-Step Generative Models

AI 导读

LeNO 将奖励引导的初始噪声优化摊销为学习的残差传输,并用 Local GRPO 与标量奖励学习噪声修正分布,同时冻结预训练生成器。该方法消除推理时的迭代搜索,并为高斯初始噪声的保范投影推导出修正噪声分布相对原始先验的 KL 可处理上界。在少步文本到图像和蛋白质结构生成中,LeNO 单次噪声校正即提升目标奖励,并基本保持生成质量与多样性。

预印本 · arxiv · 2611.06255

本站摘要基于收录版本 v1(2026-11-05),原始摘要与 AI 导读固定保留。

来源最近更新: · 来源 v1

摘要 · AI 翻译

基于扩散和流的生成模型的奖励对齐通常在随机轨迹上构建,因此不太适用于少步确定性生成器。初始噪声优化提供了一种无需轨迹的替代方案,但现有的无梯度方法在推理时需要代价高昂的逐样本搜索。我们提出 LeNO(Learning Noise Optimization,学习噪声优化),它将奖励引导的初始噪声优化摊销到一个学习到的残差传输中,同时保持预训练生成器冻结。LeNO 使用 Local GRPO 和标量奖励学习一个以锚点为条件的噪声修正分布,从而消除迭代式的测试时优化。对于具有保范投影的高斯初始噪声,我们推导出修正噪声分布与原始先验之间 KL 散度的一个可处理的上界,从而提供了一个有原则的正则化目标。我们在少步文本到图像和蛋白质结构生成上评估了 LeNO,其中包括代价高昂的黑盒可设计性奖励。在这两个领域中,LeNO 在推理时仅通过一次噪声修正就提升了目标奖励,同时在很大程度上保留了生成质量和多样性。

来源:arXiv · arxiv.org