MirrorDNA:用链等变分词构建双链一致的DNA语言模型
Learning Strand-Equivariant Tokenizations of DNA with MirrorDNA
研究团队提出DNA语言模型MirrorDNA,用可学习分词器保证反向互补序列的镜像对称分词边界。作者指出BPE和k-mer分词器对92–100%的转录因子基序在两条链上切分不同,NT-v2、DNABERT-2和HyenaDNA在测试序列反向互补后有25–31%的预测变化。
预印本 · biorxiv · 10.64898/2026.11.04.764207
本站摘要基于收录版本 v1(2026-11-06),原始摘要与 AI 导读固定保留。
来源最近更新: · 来源 v1
DNA 有两条链,而对于大多数调控标签预测任务,一条序列及其反向互补序列应当得到相同的答案。然而 DNA 语言模型在分词、训练和测试时一次只处理一条链。我们证明这会导致它们产生不一致的结果。BPE 和 $k$-mer 分词器在两条链上对 92--100\% 的转录因子基序的切分方式不同,而 NT-v2、DNABERT-2 和 HyenaDNA 在测试序列被反向互补后会改变 25-31\% 的预测结果。我们提出 {\model},一个紧凑的 DNA 语言模型,它采用一个可学习的分词器,能保证在反向互补序列之间具有镜像对称的分词边界,且与其所学参数无关。我们证明这种对称性在整个模型中都成立。因此,当标签不依赖于链时,同一个模型可以在两条链上给出相同的答案,而当标签依赖于链时,它仍然能够区分两条链,这是任何链盲模型都无法学到的。仅统计在两条链上都正确的预测,\model 的 MCC 超过 NT-v2、DNABERT-2 和 HyenaDNA 的两倍。凭借 230 万参数,它比在相同数据上训练的 Caduceus 模型更准确,并且在 Genomic Benchmarks 上与 NT-v2(9800 万参数)、在 Nucleotide Transformer 任务上与 DNABERT-2(1.17 亿参数)相比没有显著差异。它在比训练时长十六倍的输入上也能保持准确。而改用反向互补数据增强训练的同一个模型,除非对两条链的输出取平均,否则其预测结果会随链的不同而改变约十分之一。在没有任何标注的情况下,分词器学会了将剪接供体信号 \texttt{AGGT} 保持在单个 token 中。代码:https://github.com/NIRJHOR-DATTA/MirrorDNA。
来源:bioRxiv · biorxiv.org