跳到正文
arXiv· Siavash Golkar; Jake Kovalic; Shirley Ho·· 26 天前AI 评分63

AI Mindmeld 提出 LIP 潜在互连协议,将专家表征映射进 LLM 内部状态

AI Mindmeld: A Latent Interconnect Protocol

AI 导读

论文提出 Latent Interconnect Protocol(LIP),只训练连接器把蛋白质和小分子专家的表征映射进 LLM 内部状态。研究将 3 个蛋白质和 3 个小分子专家连接到 Gemma 3(4B、12B)与 Kimi K2.6(1T 总参数、32B 激活),冻结全部预训练模型,独立训练的连接器在未见对象的新问题和跨域任务上支持零样本迁移。

预印本 · arxiv · 2610.30215

本站摘要基于收录版本 v1(2026-10-26),原始摘要与 AI 导读固定保留。

来源最近更新: · 来源 v1

摘要 · AI 翻译

大语言模型可以充当科学智能体,利用工具咨询专家并开展实验。然而,专家信息必须进入它们的上下文,通常以文本、图像、音频或视频的形式——这是在拥有丰富、高维表征的模型之间的一道瓶颈。我们主张直接进行表征交换:一种心灵融合(mindmeld),它能传递许多属性,包括大语言模型不会想到要请求的信息。它应当能够扩展到新的专家,灵活应对各种问题与任务,并且能够在无需联合训练的情况下,对独立连接的专家进行组合。 潜在互连协议(Latent Interconnect Protocol,LIP)学习将专家表征映射到大语言模型内部状态的连接器。只训练连接器,使得这一方法在大语言模型不断增长和演进时依然切实可行。我们将三个蛋白质专家和三个小分子专家连接到 Gemma 3(40 亿和 120 亿参数)以及 Kimi K2.6(总计 1 万亿,激活 320 亿),并冻结所有预训练模型。独立训练的连接器无需改变大语言模型或现有连接器即可提供有用信息,从而支持关于未见对象的熟悉与新型问题类型。我们展示了无需联合训练即可零样本迁移到跨领域任务。任务性能和组合性通常随大语言模型能力提升而改善,在零样本任务迁移方面提升尤为显著。局限依然存在:当前的大语言模型并非以专家表征作为原生输入进行训练;能够访问并不意味着能可靠地解释、整合或在推理中使用这些输入。我们呼吁专家开发者提供一致的表征接口,并特别呼吁大语言模型开发者训练模型以接收、组合并基于这些输入进行推理。这些努力可以在保留传统工具灵活性的同时,扩展科学智能体的信息获取能力。 数据、预训练连接器以及用于训练、评估和交互式推理的代码:https://github.com/PolymathicAI/AI-Mindmeld

来源:arXiv · arxiv.org