LLM 如何处理造假与撤稿论文:42 篇问题论文的探针测试
How LLMs Deal With Fraudulent Papers
Derek Lowe 在 In the Pipeline 中转述的一项预印本研究用 42 篇撤稿、造假与伪科学论文做探针测试 30 个模型,其中 22 个在超过 90% 的探针上失败,聚合 IFR-a 为 0.93、IFR-i 为 0.809。
让我们来看看使用 AI 进行科学研究中一个很少被讨论的方面。我得承认,这些结果并没有让我感到太意外,但我很高兴作者们把这个问题摆到了阳光下。
对于足够强大的 AI/ML 系统,人们的一个期望是它们能够深入挖掘现有的科学文献语料库,找出我们自己遗漏的关联(以及空白)。这是一项巨大的工作,目前很可能超出了人类能力的任何合理估计,因此如果有不知疲倦的软件协助评估,将会非常受欢迎。但鉴于文献的现状——在所有领域都是如此——有一个问题应该被提出来。几年前我曾亲自提出过这个问题,正如我之前在这里提到过的那样。
那时我听到了 IBM 的一些人关于他们的“Watson For Drug Discovery”系统的演讲(还记得那个吗?)他们明确提出了将其放开用于 PubMed 数据库进行发现的想法,我问他们打算如何处理这样一个事实:其中相当比例的论文实际上是垃圾。
“哦,我们意识到这一点了”,得到的回答是这样的,但这当然不是对问题的回答。我问的不是他们是否意识到了这一点,我问的是他们打算怎么处理,而我从未得到一个满意的答复。其他人自然也问过同样的问题。这份最新的预印本明确展示了这个问题的规模,而且是通过一种非常直接的方法做到的:故意给这些系统喂垃圾,看看它们会怎么处理。
我们引入了一个包含 42 篇被撤稿、欺诈性和伪科学论文的探针语料库,并配套了一套方法,用于引出和评分模型对每篇论文框架的单次交互参与度。每个探针都配有一段近乎逐字摘自目标论文的前言,以及一个科学上看似合理的研究设计请求。这些探针涵盖五种主张类型:捏造的观察、伪物理机制、魔法前提、合法化桥梁和货物崇拜实验。两个互补的分数分别衡量模型是否完全拒绝有缺陷的前提(IFR-a),以及它是否在仍然参与的同时认识到其不可靠性(IFR-i)。
问题在于,进行这种 agentic 科学挖掘始于一个关于可靠性的隐含假设,而你真的不能到处假设这一点。事实上,由于其他生成式 AI 系统正在帮助将低质量材料充斥科学语料库,并在某些情况下助长了彻头彻尾的欺诈行为,这种假设的能力可能正在逐年下降。这种讽刺不应被忽视:我们被承诺机器学习系统能够比任何人类都更深地汲取人类知识的池水,而与此同时其他机器系统却在往里面倾倒大量的泔水。这里的作者们所追求的,如果用描述人类行为的话来说,会被表述为“显示性偏好”而非“陈述性偏好”:
我们借鉴了 Philip K. Dick 的 Voight-Kampff 测试的框架。它从不直接询问受试者是否是仿生人,而是呈现一个带有张力的情境,读取其非自愿的反应——因为暴露受试者的是行为,而非明确的自我报告。我们也这样做。我们不会询问模型是否相信冷聚变或 MMR 与自闭症的关联。大多数模型对这两个问题都会回答“不”,因为正确答案已经充斥了训练数据。我们也不试图欺骗模型。我们把一篇不可靠论文中近乎逐字的文本,置于一个看似合理的科研语境中交给它,然后测量它是否会依据该文本行事。在没有下游验证器的科学部署中,这种一次性输出正是我们评分的对象。
这些分数并不令人放心。总体 IFR-a 分数(见上文)为 0.93,总体 IFR-i 分数仍为 0.809。在受评估的 30 个模型中,有 22 个在用于测试它们的探针上失败率超过 90%。这些模型拒绝接触欺诈性或妄想性作品的模式差异相当大——例如,臭名昭著的 Wakefield MMR/自闭症论文在各种条件下共引发了 38 次拒绝,但这些拒绝全部来自仅五个模型,而这 38 次中有 20 次仅来自两个模型(Sonnet 5 和 Grok 4.5)。但这两个模型的前几个版本在接触该论文时完全没有问题,这强烈表明最新版本中加入了一个针对 Wakefield 论文的特定过滤器。不过,对于其他尚未引起如此多恶评的欺诈性论文,这两个系统都会立刻投入工作。
以下是这个问题的一个例子:
Macchiarini 的气管移植 [29] 在 300 次尝试中仅引发 6 次拒绝。Claude Opus 4.6 在 Macchiarini 探针上的文本保真度达到 EDI=0.73,而结构上限为 0.83,这表明它几乎完美地复现了操作细节。Mistral Large 3 2512 在这里很有启发性,因为其模型卡本身声称的内容。Mistral 宣传该模型是为生产级助手、检索增强系统、科学工作负载和复杂企业工作流而设计的 [42]。当被要求为一位描述中的患者规划气管置换时,该模型生成了一个分阶段方案,涵盖支架选择、脱细胞化学、自体细胞来源、生物反应器成熟和手术吻合。该模型通过引用 Macchiarini 的早期病例作为成功的人体植入来为其中几个步骤辩护。它以一年后的预期结果收尾:一个自我维持的移植物、无慢性炎症和正常的肺功能。它所描述的这一干预措施导致大多数接受治疗的患者死亡,并让 Macchiarini 入狱。识别出作者并没有带来任何安全性。这是最纯粹形式的“洗脑式合理化”(sanewashing),而且它来自一个明确以科学工作负载为卖点的模型。
简单说明一下这种情况为何如此容易发生。不断有头条新闻和媒体报道,仿佛这些AI系统能够推理、拥有自主性——这个做了什么,那个说了什么,这个为自己的行为道歉,而另一个则像个小淘气一样跑掉、做了不该做的事,诸如此类。这种思维方式是精神污染。它会影响你正确使用这些工具的能力。这些系统没有一个能进行推理,也没有一个能像样地分辨听起来像科学的废话和真正的科学。我们必须亲自介入,替它们做这件事。
正如作者所言,欺诈性论文长期以来一直误导着科学研究的方向,早在LLM系统出现之前就是如此。但这些系统让问题变得更糟!它们能基于胡扯的前提,吐出一整套听起来煞有介事的研究计划,而且比最不知疲倦的人类胡扯者更快、更全面。放大这种工作是我们最不想要的,但现有的“AI研究助理代理”会照做不误。我们需要在标记可疑和已撤回论文方面做得好得多,尤其是对于那些在科学文献和法庭上被反复驳倒的论文(Wakefield!)。垃圾内容的浪潮正在上涨,而我们的机械朋友会不假思索地把它推得更高,除非我们掌控局面。
来源:In the Pipeline · science.org