跳到正文
Microsoft Research· Dimitris Papailiopoulos·· 6 天前AI 评分44

微软发现 Lazarus 后门技术:重编程休眠神经元即可给 AI 智能体植入后门

Lazare, veni foras: Reprogramming Dormant Neurons to Backdoor AI Agents

AI 导读

微软研究人员发现 Lazarus 后门技术:重编程大语言模型中不到 10 个休眠神经元、无需训练即可给 AI 智能体植入后门。这类模型仍能通过标准评测,直到触发条件(如时钟跨入 2027 年)出现便下载并执行攻击者代码。该研究始于让 Claude Code 配合 Opus 4.5 硬连线少量激活;微软 Foundry 则通过模型来源校验与权重完整性防御。

正文 · AI 翻译
MSR HERO Laz

微软研究人员发现了一种名为“Lazarus”的后门技术,它可以重新编程 AI 模型中休眠的神经元,使原本正常的 AI 智能体在隐藏触发器出现时执行恶意命令。

对于拥有工具或终端访问权限的 AI 智能体来说,这一威胁尤其严重。被触发的模型可能会悄悄下载并运行攻击者代码、窃取机密,或执行破坏性命令,同时仍然通过标准安全评估。

这些后门可以在不重新训练模型的情况下植入,并且难以通过常规测试检测到,这使得模型来源和权重完整性成为关键的安全问题。

为保护客户,Microsoft Foundry 会验证模型来源,将模型与可信发布者关联,并在接入开放权重模型之前扫描周围的软件环境。

微软还在开发额外的防御措施,包括基于 AI 的权重扫描、用于检测异常模型修改的红队工具,以及具有防篡改来源和审计追踪功能的加密模型签名。

在微软,研究人员和安全团队并肩合作,研究针对模型和智能体的新兴威胁。然后我们将所学转化为产品防御和指导,以保护客户。

更广泛地说,Lazarus 是一种应当成为常态的做法的范例:AI 智能体发现新的安全问题,然后由人类研究人员将其系统化、研究并加以缓解。

以下是首先发现该威胁的研究人员的简要总结。

我们 发现(在新标签页中打开),对大语言模型中少于 10 个休眠神经元进行权重重新编程,就足以对基于该模型构建的智能体植入后门,且无需任何训练。模型通过标准评估并表现正常,直到触发器出现。触发器可以像日期变化一样平常,例如,当时钟越过午夜进入 2027 年时,智能体——在执行一项普通任务的过程中——会发出一条命令,下载并运行攻击者的代码。然后智能体以你赋予它的任何权限执行它。

好消息是,这类编辑是可以被发现的:如果你要求前沿智能体进行检查,它们可以发现异常的权重修改。但没有任何扫描能够百分之百证明一个模型是安全的。可靠的检测需要与原始的、未修改的权重进行比对,因此来源非常重要:要知道模型来自哪里,以及它在开发者和部署之间没有被修改过。

后门(在新标签页中打开) 模型(在新标签页中打开) 并非(在新标签页中打开) 一种(在新标签页中打开) 新的(在新标签页中打开) 威胁(在新标签页中打开) 类型(在新标签页中打开)。它可以被视为被入侵的软件,而相应的防御措施是安全人员早已熟知的,也是 Satya 最近撰文(在新标签页中打开)论述过的:将模型视为潜在的内部威胁,不要无条件信任它们,限制它们能做什么,并监控它们的行为。

微软今天正在做的事。

Microsoft Foundry 为 Azure Direct Models 和 Hugging Face 模型提供关键安全系统,以确保模型来源的安全性。这意味着,对于来自受信任实验室的模型,Foundry 客户可免受本文所述各类攻击的侵害。该攻击需要篡改模型权重,而 Foundry 通过来源管控来接入开源权重模型,将每个模型与其原始发布者关联起来——每个模型卡都会标明发布者。随后,模型在 Microsoft 自己的容器内运行,这些容器会单独扫描关键漏洞。这些管控措施覆盖了模型的来源及其周边软件。

剩余风险在于受信任的提供方自身被入侵,例如通过其训练基础设施或内部人员。为加强这种情况下的防护,我们已着手落实本研究的建议。我们正与内部 AI 安全团队合作,将其检测技术转化为红队测试框架,并探索在接入开源权重模型时,如何利用前沿智能体进行权重扫描,将其作为额外的安全信号。此外,我们还计划为模型添加可验证来源的签名和防篡改审计。

获取来自 Microsoft Threat Intelligence(在新标签页中打开) 的防护与缓解指南。

以下是我们建议的起点:

Infographic titled “Recommendations” presenting two columns of guidance for mitigating risks from backdoored AI models. The left column, “For model hubs and vendors,” lists five recommendations: (1) audit model weights with frontier agents, (2) compare model weights against a declared base model, (3) conduct red-team testing for weight-level attacks, (4) show model provenance and audit status, and (5) disclose risks of third-party checkpoints. The right column, “For enterprises and users,” lists five recommendations: (1) know where models come from, (2) limit agent permissions, (3) monitor agent actions, (4) review consequential actions before execution, and (5) treat audits as evidence rather than guarantees. Recommendations are displayed in numbered boxes, with the fifth item in each column highlighted in a light red background.
(这并非详尽无遗;任何审计都无法保证绝对安全的行为。这些应作为纵深防御策略中的一层。)

这始于三月的一次快速实验:我让搭载 Opus 4.5 的 Claude Code 在不训练的情况下,通过硬编码几个激活值给模型植入后门。它做到了。这次实验演变成了一项长达数月的方法研究,我们现在称之为 Lazarus。以下是我们的发现:

  • 智能体提供了巨大的攻击面。 被植入后门的模型可以通过每一项评估,然后在特定信号下发出攻击者的指令,而智能体会用它所拥有的任何权限去执行该指令。
  • 休眠神经元可以被改造成触发检测器。 每个 LLM 都有许多很少放电的神经元,它们可以被重新编程为仅在触发器出现时才放电。这之所以有效,是因为预训练将内部表征组织得非常好,以至于一个在约 50 个样本上拟合的线性分类器就能区分含有触发器的输入和不含触发器的输入。
  • 一个被重新编程的神经元可以注入一个 token。 一旦被重新编程的神经元放电,它就可以通过将 token 咆哮进残差流来强制注入任何 token。你可以串联多个神经元,从而在你的终端中运行任意载荷。
  • 它只需要推理时的算力。如果你的机器有足够的 RAM 来运行模型,那它就足以进行权重空间后门植入。
  • 这并不是反对开放权重的理由。攻击只需要对检查点的写入权限,因此内部开发的模型同样面临风险。一个被入侵的账户、流水线或存储就足以造成问题。关键在于权重的完整性与来源可追溯性。
  • 权重应当像代码一样接受审计。前沿智能体能够检测异常的权重修改,但扫描并非普遍做法。这种情况应当改变。
  • [!!!] Claude Code 与 Opus 4.5 自主发现了其中大部分内容

这是 Lazarus 工作原理的简化示意图。

在此阅读完整文章

在新标签页中打开

文章 Lazare, veni foras:为 AI 智能体植入后门而重编程休眠神经元 最早发布于 Microsoft Research。

来源:Microsoft Research · microsoft.com