ModBERT:融合DNA甲基化与遗传变异的DNA大语言模型
ModBERT: a DNA modification and genetic variant-aware DNA large language model
研究者提出 ModBERT,一个基于 A、C、G、T、5mC 五字母概率基因组表示的 DNA 大语言模型,预训练分布取自 1000 Genomes Long-Read Sequencing Consortium 中 242 个个体的等位基因频率与 CpG 甲基化水平,并用软目标掩码语言建模目标学习。
预印本 · biorxiv · 10.64898/2026.11.12.766258
本站摘要基于收录版本 v1(2026-11-13),原始摘要与 AI 导读固定保留。
来源最近更新: · 来源 v1
近年来,学习DNA通用语法的基础模型(DNA语言模型)的发展日益加速。绝大多数DNA大语言模型(LLM),如DNABERT-2和Nucleotide Transformer,几乎完全在参考基因组上进行预训练。因此,它们无法表示与人与人之间调控差异最直接相关的两种变异来源:遗传变异和DNA甲基化。长读长测序(Nanopore和PacBio)如今可以从同一批天然DNA分子中同时测量这两者,但目前尚无模型被设计来利用这种联合读出。基于这一考虑,我们开发了ModBERT,一个基于五字母概率基因组表示的DNA语言模型,其中每个位置都是对A、C、G、T、5mC(以M表示)的分布。在预训练中,这些分布编码了来自1000基因组长读长测序联盟(1000 Genomes Long-Read Sequencing Consortium)中242个个体的群体等位基因频率和CpG甲基化水平,并通过软目标掩码语言建模目标进行学习。我们进一步提出了概率微调(probabilistic fine-tuning),其中相同的表示编码单个个体的基因型和甲基化。经过微调的模型随后可以从单次检测中做出个体特异的预测。在这一新颖的微调框架下,我们展示了ModBERT能有效利用甲基化信息对功能基因组检测的峰进行分类,包括组蛋白标记(n=11种不同标记)和转录因子结合(n=69个TF)的ChIP-seq数据,其表现优于从头训练的模型以及在不含甲基化的序列上预训练的ModBERT。计算机模拟的甲基化扰动所产生的TF敏感性与独立的甲基化感知基序模型相关。通过一种将对新位点的泛化与对新个体的泛化分离开来的评估设计,ModBERT在留出个体的留出位点上预测染色质可及性(AUROC 0.88)。其预测的变异效应与可能的因果caQTL一致(Spearman相关系数 = 0.52),但与仅通过连锁关联的变异不一致,而后者是一项传统上具有挑战性的任务。总体而言,ModBERT建立了一个个人基因组语言建模的框架,其中模型读取每个个体的遗传和表观遗传序列,而非共享的参考序列。随着大规模群体长读长队列(如1KGP和人类泛基因组参考联盟Human Pangenome Reference Consortium)的不断增长,这使得通过计算机模拟剖析变异和甲基化对基因调控的影响,并对实验验证候选对象进行合理的优先级排序成为可能。
来源:bioRxiv · biorxiv.org