跳到正文
OpenAI·· 11 天前精选AI 评分63

OpenAI 与 Ligo 发布 BioBasicsBench 衡量 AI 智能体日常湿实验分析能力

Measuring how AI agents handle everyday wet-lab science

AI 导读

OpenAI 与生物技术公司 Ligo 发布 BioBasicsBench,用 100 项常规湿实验任务评测 AI 智能体对原始实验数据的解读、纠错和证据判断能力。

推荐理由

原文用100项湿实验任务对比七个模型,GPT-6 Astra 66.7% 对 GPT-5.6 Sol 43.8%,可看出多模态实验数据解读的差距。

正文 · AI 翻译

衡量 AI 智能体如何处理日常湿实验室科学工作

推出 BioBasicsBench,一项衡量 AI 智能体在 100 项常规湿实验室任务中解读原始实验数据能力的基准测试。

加载中…

音频 1

走进 BioBasicsBench

我们的使命是确保通用人工智能造福全人类。作为这一使命的一部分,我们希望帮助科学家加速生物研究——从理解疾病到开发新疗法。要让 AI 智能体发挥作用,它们需要可靠地解读科学家每天在湿实验室中处理的实验证据——湿实验室是他们用生物样本开展实验的地方。日常湿实验室工作包含失败的实验、模糊的图像和相互矛盾的观察结果。现有基准测试围绕为科学论文挑选的图表和图像构建,可能会忽略这种模糊性以及所需的故障排查。因此,我们推出 BioBasicsBench——一个与专注于酶设计的生物技术公司 Ligo 共同开发的新基准测试,用于衡量智能体处理常规湿实验室分析的能力。

该基准测试的 100 项任务检验智能体能否解读原始实验数据、识别错误,并判断证据何时不足以支撑结论。正确完成这些任务至关重要,因为误读图像或忽视用于核查实验结果的对照中的问题,可能导致科学家得出错误结论,并把时间浪费在无助于回答其问题的实验上。

在允许每个任务进行更多推理的 'xhigh' 设置下,GPT‑6 Astra 平均获得可用分数的 66.7%,而 GPT‑5.6 Sol 为 43.8%。结果表明常规实验室分析取得了进展,同时在解读图像、检查对照和应用实验背景方面仍有改进空间。

走进 BioBasicsBench

BioBasicsBench 使用原始实验证据,从凝胶图像和菌落平板到显微镜图像和仪器读数。

BioBasicsBench 包含 100 项任务,涵盖常规湿实验室工作的五个领域:蛋白质方法、成像与细胞术、定量与检测、核酸方法和分子克隆。任务范围从简单请求(如读取凝胶中 DNA 样本的分子量)到详细的检测分析,但都涉及湿实验室科学家应当能够可靠完成的常规工作。

科学家们使用自己实验中的数据创建了这些任务,并将每个问题与专家撰写的评分标准配对。每项任务都经过了三轮审核:由未撰写该任务的 Ligo 科学家进行内部审核、由在湿实验室工作的博士级科学家进行外部审核,以及最后的内部审核。

Agent 会返回结构化答案,包含所要求的结论、测量结果或建议,并在需要时附上支撑推理。答案会按各项评分标准分别计分,使该基准能够区分出正确结论与部分正确的分析。大多数任务会同时考察多项技能,包括生物学知识、图像与其他数据的解读、错误检测以及对实验方案的理解。

“唯一任务”对每个任务只计一次。技能列统计带有相应技能标签的任务。这些类别存在重叠:一个任务可能出现在多个列中,因此技能计数不应相加来得出任务总数。颜色用于标识领域;底色越深,表示该领域中考察某项技能的任务占比越大。

输入保留了科学家实际使用的证据形式:凝胶与印迹图像、培养板照片、显微镜堆栈、测序读段、酶标仪导出数据以及实验台操作视频。一个任务可以包含多种数据。参考表(如 ladder 图和质粒图谱)用于辅助解读实验性证据。

Agent 获得的输入

数据类型 任务 包含内容
凝胶与印迹 31 琼脂糖 DNA 凝胶、SDS-PAGE 凝胶、Western 印迹
实验方案、笔记与规格说明 27 实验方案与 SOP、实验记录本与运行记录、拍摄的手写笔记、产品目录、仪器规格、已发表方法
表格与仪器导出数据 20 CSV 与 Excel 导出、泳道布局与清单、原始流式细胞术(FCS)文件
实验台、装置与试剂照片 18 实验台、凝胶电泳装置、试剂与培养管、PCR 板、试管架、pH 试纸、浓缩仪、冷冻柜、液体处理工作站台面
显微镜 14 原始明场与荧光图像、多通道图像组、z 轴堆栈、延时摄影视频
仪器屏幕与图表 13 流式细胞仪、显微镜、NanoDrop、酶标仪和天平屏幕的照片;导出的标准曲线、色谱图与图表
测序文件 12 原始长读长 FASTQ、FASTA 序列、GenBank 图谱
实验方案视频 7 划线、接种、系列稀释、SDS-PAGE 电泳槽与培养箱的设置、天平称量
琼脂平板与菌落 7 转化平板、蓝白斑筛选、抗生素纸片平板
参考表 21 Ladder 图、质粒图谱、pH 对照表(辅助材料)

包含各类数据的任务数量。类别存在重叠;参考表为辅助材料。

科学家使用自己实验中的数据编写任务,将实验证据与问题以及专家撰写的评分标准配对。每个任务都经过三轮评审:由未参与撰写的 Ligo 科学家进行内部评审、由在湿实验室工作的博士级科学家进行外部评审,以及最终的内部评审。评审者会检查提示词、实验证据、评分标准、作者备注以及一次已评分的模型作答。

答案会依据任务的评分标准进行评分,该标准为各个评分项分别赋分。根据任务不同,这些评分项会评估结论、数值结果、支撑推理,或对证据是否充分的判断。

结果

我们在 BioBasicsBench 上评估了七个模型:GPT‑5.2、GPT‑5.4、GPT‑5.5、GPT‑5.6 Sol、GPT‑6.1 Sol、GPT‑6 Luna 和 GPT‑6 Astra。评估涵盖 37 个模型与推理力度设置,每个设置下对 100 个任务各进行五次尝试,总计 18,500 条结果。

我们报告 平均奖励:即任务得分的平均值,以可用学分的百分比表示。误差棒显示的是通过对整个任务进行重采样计算出的 95% 置信区间,每次重采样时将同一任务的五次尝试保持在一起。

平均奖励与每任务平均输出 token 数的关系,采用对数刻度显示。每个点代表一个测试过的推理力度设置;连线按顺序连接这些设置。x 轴每个刻度翻倍。橙色虚线表示 GPT‑5 模型,蓝色实线表示 GPT‑6 模型。浅色须线显示 95% 整任务自助法置信区间。每个设置包含全部 100 个任务,每个任务五次尝试。不同模型的力度设置不同。

GPT‑6 Astra 相比 GPT‑5.6 Sol 有显著提升,即使在低推理力度下也是如此。这些提升表明,更强的原生多模态能力可能是提升日常湿实验分析表现的关键。

xhigh 推理力度下的表现

模型 平均奖励 95% CI 输出 token / 任务
GPT‑6 Astra 66.7% 60.3–73.1% 4,704
GPT‑6.1 Sol 62.0% 55.6–68.4% 5,238
GPT‑5.6 Sol 43.8% 37.6–50.0% 9,099
GPT‑6 Luna 38.3% 32.3–44.5% 13,120
GPT‑5.5 35.4% 29.7–41.0% 11,135
GPT‑5.4 33.2% 28.3–38.4% 13,717
GPT‑5.2 31.2% 26.2–36.3% 27,620

Xhigh 是全部七个模型所报告的最高推理力度设置。每行包含全部 100 个任务,每个任务五次尝试。最大力度的结果(如有)已包含在上图中。

GPT‑6 Astra 相比 GPT‑5.6 Sol 的提升

认识数据能显示什么、不能显示什么

科学中的一个常见陷阱是过度解读数据,尤其是在检验假设时会产生特定性质的偏差。Astra 展现出了更好的能力,能够辨别数据所能显示的界限,而不做出没有依据的结论。

在这个例子中,GPT‑5.6 Sol 根据一种用于检测死细胞的染料所发出的信号,将细胞判定为死亡。但该检测器也可能接收到第二种染料的光,因此仅凭亮度无法证明这一结论。Astra 识别出了这种歧义,并要求设置更好的对照以区分这些信号。

同一批细胞,三个检测通道

Image 1: Brightfield: cell regions 1 and 2.

明场 · 透射光

Image 2: Channel 2: cell regions 1 and 2.

通道 2 · SYTOX 标记 · 470–540 nm

Image 3: Channel 3: cell regions 1 and 2.

通道 3 · FUN-1 绿色 · 525–580 nm

三个通道中的相同细胞区域;检测窗口在 525–540 nm 处重叠。共享窗口会造成干扰;其干扰程度尚未测量。每个通道采用独立的线性强度刻度,并在两个区域间保持固定;不同通道之间的亮度无法进行定量比较。

更好的多模态处理能力

科学研究高度多模态,需要持续的视觉解读和决策。Astra 在处理以照片和视频形式给出的多模态数据,以及测序、酶标仪检测、显微镜和流式细胞术的原始输出方面,展现出显著的提升。

在最基本的层面上,这种改进体现在 GPT‑6 Astra 从实验拍摄的图像中捕捉到更细微细节的能力上,从而得出更准确的结论,如下例所示。这项任务要求智能体从一次 DNA 克隆实验中得出结论,而对照至关重要。GPT‑5.6 Sol 在阴性对照平板上没有看到菌落,并基于这一观察得出结论。GPT‑6 Astra 注意到该平板标注的抗生素有误,并正确地将其排除在可靠对照之外。

Image 4: A gloved hand holds the plate. The handwritten rim label is circled.

原始照片

Image 5: Enlarged rim label reading LB Kan50.

边缘上的标签

原始基准测试照片,边缘标签已圈出并放大。“LB Kan50”指的是卡那霉素,与实验中使用的氨苄青霉素是不同的抗生素。

牢记实验背景

科学家必须在分析数据时牢记隐性的生物学知识和实验背景,才能正确解读数据所展示的内容。Astra 展示了在保持这一背景并在整个分析过程中加以应用方面的改进能力。

一项任务展示了一系列显微镜图像中细胞进出焦点的过程。GPT‑5.6 Sol 试图为细胞看似消失寻找生物学解释,而 GPT‑6 Astra 正确地识别出这是一个 z-stack:在不同深度拍摄的一系列图像。

深度扫描过程中可见度的变化

Image 6: Frame at 0 seconds with the same cell location boxed.

0 秒

Image 7: Frame at 3 seconds with the same cell location boxed.

3 秒

Image 8: Frame at 6 seconds with the same cell location boxed.

6 秒

Image 9: Frame at 9 seconds with the same cell location boxed.

9 秒

Image 10: Frame at 12 seconds with the same cell location boxed.

12 秒

Image 11: Frame at 15 seconds with the same cell location boxed.

15 秒

原始录像中的六帧。虚线框标记了显微镜在深度扫描过程中的同一位置。时间指的是所提供视频中的播放位置。

模型仍然不足之处

更高的基准测试分数并不意味着模型能够在实验室中做出可靠的判断。这些 Astra 的例子展示了假设、预期答案和提供的标签如何会压倒证据,以及一个正确的中间观察如何可能无法引导最终决策。

让假设压倒对照

Astra 让一个熟悉的假设压倒了实验对照所支持的解读。它能够区分两组菌落条带,但假设更大的 PCR 产物会代表成功的克隆。基于这一条件,它提出了泳道 4、6、7 和 8;而参考解读中的对照比较则选择了泳道 5、9 和 10。

Image 12: Annotated colony PCR gel. Pink lane numbers 4, 6, 7 and 8 match the old-plasmid band. Teal lane numbers 5, 9 and 10 match the new-product band.

参考解读选择了菌落 5、9 和 10 ;Astra 提出的是 4、6、7 和 8 。

1:marker · 2:克隆混合物 · 3:原始质粒 · 4–10:菌落样本

解读对照
  1. 泳道 3 只含有原始质粒的 PCR。它的条带提供了旧质粒的参考位置。

  2. 在参考解读中,泳道 2 同时包含两种模式:不完全的组装会留下旧模板/骨架以及新产物。

  3. 由此产生的菌落可能携带旧质粒或新质粒。将它们的条带与这些参考模式进行比较。

**参考选择:**5、9 和 10

**Astra 的选择:**4、6、7 和 8。Astra 提名这一组,认为更大的 PCR 产物代表了预期的构建体。

视觉分组是正确的,但附加在这些分组上的实验身份相对于参考解读是相反的。因此,Astra 从菌落 PCR 结果中选择了错误的菌落,这将导致下游纯化出错误的质粒。

对与其首选解释相矛盾的数据打折处理

Astra 会对其首选解释相矛盾的观测结果打折处理。它得出结论:液泡——细胞内部的隔室——通常比周围细胞更暗,尽管在同一图像中有些液泡看起来更亮。两种外观都很重要:改变显微镜的焦距可以反转对比度,因此较暗的例子并不能确立一条普遍规律。

Image 13: Microscope image of cells showing the darker appearance in the contrast comparison.

较暗的外观

Image 14: Microscope image of cells showing the lighter appearance in the contrast comparison.

较亮的外观

Astra 关于液泡更暗的概括忽略了同一视野中可见的较亮液泡。

该回答遗漏了什么

有些细胞的对比度相反。两种外观都会出现,因为不同的焦深可以反转对比度。

Astra 检查了多个区域,甚至评论说对比度随焦点变化。随后它对那些它认为对焦更好的细胞赋予更大权重,并且只在最终答案中保留了它们液泡更暗的描述。那些相矛盾的较亮区域虽然已被检查,但未被纳入结论。

在常规实验室测量中错误计数菌落

Astra 的计数标记并不可靠地对应单个菌落:它无法分辨紧邻的邻居、漏掉可见的菌落,并把空白琼脂标记为菌落。在这块平板上,相对于基准参考,净结果是高估约 12%。

A. 间距紧密的菌落

Image 15: Closely spaced colonies in the original crop.

原始图像

Image 16: Closely spaced colonies with one mark between neighbours.

Astra 的计数标记

B. 可见的菌落未被标记

Image 17: Two visible colonies in the original crop.

原始图像

Image 18: Two visible colonies without a counting mark.

Astra 的计数标记

C. 空白琼脂被计为菌落

Image 19: Empty agar in the original crop.

原始图像

Image 20: Empty agar with an incorrect counting mark.

Astra 的计数标记

A:相邻菌落之间有一个计数标记。B:两个可见菌落未被标记。C:空白琼脂被计为菌落。红圈表示 Astra 的计数位置。黑色箭头是编辑指引。

不准确的菌落计数会直接影响对 DNA 导入细胞效率的估计。在接种体积和稀释倍数固定的情况下,高估会按相同比例夸大该估计值。

迈向可靠的实验室助手

加速生物学研究需要把日常工作做对。BioBasicsBench 将这项工作作为改进目标:解读原始实验数据、检查对照,以及识别结论何时得不到支持。在这些任务上的进展可以帮助科学家减少故障排查的时间,把更多时间用于决定接下来开展哪些实验。追踪这些能力也将帮助我们理解它们对生物安全和生物安保的影响。

作者

OpenAI

来源:OpenAI · openai.com