多肽示例提示使单序列蛋白质语言模型具备上下文学习能力
Multi-Peptide Prompting Enables In-Context Learning in Protein Language
研究提出多肽示例提示(MPEP),将示例肽用甘氨酸间隔拼接成上下文,使单序列蛋白质语言模型无需梯度更新或任务专用重训即可为查询肽打分。在合成模式补全、二级结构分类和 MHC-II 结合肽预测中,基于 ESM-2 与 ProGen2 的结果随示例数量和模型规模提升。
预印本 · biorxiv · 10.64898/2026.08.26.747074
本站摘要基于收录版本 v2(2026-10-26),原始摘要与 AI 导读固定保留。
来源最近更新: · 来源 v2
蛋白质语言模型(PLM)主要在单条蛋白质序列上训练,而许多肽发现问题仅需从少量带标注的样本中进行推理。在此,我们证明单序列 PLM 无需梯度更新、任务特定的再训练或架构修改,即可执行上下文内肽学习。我们提出多肽示例提示(MPEPs),将演示肽以甘氨酸间隔物串联拼接,并作为上下文,通过提示概率对查询肽进行打分。我们在合成模式补全任务、二级结构分类和 MHC-II 结合物预测上评估了该方法,同时使用了仅编码器的 ESM-2 模型和仅解码器的 ProGen2 模型。在各项任务中,性能随肽示例数量和模型规模的增加而提升,表明 PLM 能够从提示示例中提取共享的序列层面属性。我们进一步提出一种差值分数,对比正例与负例 MPEP,从而降低原始 PLM 概率中的组合偏差,并显著提升分类效果。在 MHC-II 结合物预测中,基于 MPEP 的分类配合更大的 ESM-2 模型,其表现达到或超过在冻结 ESM-2 嵌入上训练的低数据分类器,且无需任何训练。这些结果揭示了单序列 PLM 中一种出人意料的上下文内推理能力,并确立了 MPEP 条件化作为一种轻量级低数据肽分类策略的地位。
来源:bioRxiv · biorxiv.org