跳到正文
bioRxiv· Shah, P.; Panchali, R.; Mody, P.; Sanghvi, M.; Narvekar, M.; Karani, R.·· 来源仅提供日期AI 评分53

研究审计蛋白质语言模型的重复引导与激活读数,指出置信度预测不能说明可折叠性

The Confessions of a Protein Language Model: Steering, Activations, and What Predicted Confidence Cannot Certify

AI 导读

一项 bioRxiv 预印本研究审计了已发表的重复引导、ESMFold 置信度与激活读数,结论是能预测置信度门槛并不能说明设计可折叠。引导在操作点保持了置信度,但拟合出的悬崖出现在 alpha_50 = 1.240x,扫描自身对照为 64.0%;未引导的生成器激活可预测置信度门槛,ROC-AUC 为 0.786 ± 0.004。

预印本 · biorxiv · 10.64898/2026.11.10.765136

本站摘要基于收录版本 v1(2026-11-12),原始摘要与 AI 导读固定保留。

来源最近更新: · 来源 v1

摘要 · AI 翻译

蛋白质生成-筛选流程使用干预和读出指标来挑选候选,但很少检验这些指标是否真的追踪其预期靶点。我们对已发表的重复引导(repetition steering)、ESMFold 置信度以及一种激活读出进行了审计。引导在其工作点上保持了置信度,但在 alpha_50 = 1.240x 处会出现拟合出的断崖(该扫描自身的对照:64.0%)。在中等强度的匹配范数推动下方向很重要,但在饱和时则不然。未引导的生成器激活可以预测该置信度门控(ROC-AUC 0.786 +/- 0.004),支持按成本感知、针对具体模型的分诊。我们还复现了已确立的长度敏感性,通过它缩短序列可以制造出假阴性。然而,在组成和长度匹配的设计-打乱配对上,没有任何平衡准确率区间能排除随机水平来证明实验稳定性。预测门控并不等于确立了可折叠性。在使用某个读出指标进行筛选之前,我们应当先检验它究竟测量了什么。代码与数据:https://github.com/paninishah/plm-steering-audit

来源:bioRxiv · biorxiv.org