arXiv· Jeffrey Gu; Robert C. Heeter; Ellen D. Zhong·· 24 天前AI 评分47
NUViT:面向傅里叶空间数据的视觉 Transformer
NUViT: Vision Transformers for Fourier Space Data
AI 导读
NUViT(Non-Uniform ViT)是一种通用视觉 Transformer,通过重构图像 tokenization、数据表示和位置编码适配傅里叶空间数据。在傅里叶域图像分类、2D 晶格识别、MRI 标注和 cryo-EM 蛋白质异质性分析中,NUViT 对傅里叶数据结构的捕捉均优于标准架构。
预印本 · arxiv · 2610.32041
本站摘要基于收录版本 v1(2026-10-26),原始摘要与 AI 导读固定保留。
来源最近更新: · 来源 v1
摘要 · AI 翻译
Vision Transformers (ViTs) 在许多计算机视觉任务中表现出色,但并不能自然地扩展到自然图像领域之外。一个重要的例子是傅里叶空间数据,它被用于表示丰富多样的模态,包括医学影像和显微成像。标准 ViT 的分词方式将图像在笛卡尔网格上划分为方形块状区域,这与傅里叶空间数据的频率和相位结构并不匹配。我们提出了 Non-Uniform ViT(非均匀视觉 Transformer),这是一种简单、通用的视觉 Transformer,重新设计了图像分词、数据表示和位置编码,以尊重这种结构。在傅里叶域图像分类、二维晶体点阵识别、MRI 标注以及冷冻电镜蛋白质异质性分析上的实验表明,NUViT 在捕捉傅里叶数据结构方面始终优于标准架构。
来源:arXiv · arxiv.org