跳到正文
bioRxiv· Ektefaie, Y.; Jain, S.; Sabeti, P.·· 来源仅提供日期AI 评分57

AutoSPECTRA 提出科学基础模型自主通用性审计协议

Autonomous generalizability auditing of scientific foundation models

AI 导读

研究团队提出 AutoSPECTRA,一种基于编码智能体的科学基础模型通用性审计协议,并在四个生物基础模型上完成审计。团队先回顾五个生物领域的 38 项研究,发现编码智能体能生成假设与分析但证据标准不一致,随后将协议围绕可衡量泛化维度、预设分析、受控比较和独立确认构建。

预印本 · biorxiv · 10.64898/2026.11.03.763979

本站摘要基于收录版本 v1(2026-11-06),原始摘要与 AI 导读固定保留。

来源最近更新: · 来源 v1

摘要 · AI 翻译

确定科学基础模型在何处能超越其开发数据进行泛化,对于可靠使用至关重要,但聚合基准掩盖了性能极限,且严格的审计难以常规开展。在此,我们提出 AutoSPECTRA,一个用于系统性泛化审计的编码智能体协议。为指导其设计,我们回顾了五个生物学领域的 38 项研究,并评估了编码智能体——它们能够生成假设并进行实证分析,但在评判证据时采用了不一致的标准。随后,我们围绕可测量的泛化维度、预先设定的分析、受控比较和独立确认来构建 AutoSPECTRA。在四个生物学基础模型上,审计将性能与蛋白质序列组成及与预训练数据的相似性(ESMFold2)、训练中扰动的表示(STATE)、有效空间分辨率(CONCH)以及残基级别的基因组、进化和结构上下文(AlphaMissense)联系起来。智能体还评估了替代解释并否决了缺乏支持的假设。AutoSPECTRA 提供了一种系统性方法,用于发现和检验科学基础模型的极限。

来源:bioRxiv · biorxiv.org