文章详情

短信预约-IT技能 免费直播动态提醒

请输入下面的图形验证码

提交验证

短信预约提醒成功

基于分层自监督学习将视觉Transformer扩展到千兆像素图像

2024-11-29 20:20

关注

研究者引入了一种新的ViT架构,称为分层图像金字塔变换器 (HIPT),它利用WSI中固有的自然分层结构,使用两个级别的自监督学习来学习高分辨率图像表示。HIPT使用10,678千兆像素WSI、408,218 4096×4096图像和104M 256×256图像对33种癌症类型进行了预训练。在9个幻灯片级任务上对HIPT表示进行基准测试,并证明:

1) 具有分层预训练的HIPT优于当前最先进的癌症分型和生存预测方法;

2) 自监督ViT能够对重要的归纳建模关于肿瘤微环境中表型的层次结构的偏见。

主要框架

整张幻灯片图像(WSI)的层次结构。左边:与自然图像不同,由于WSI具有固定的比例,因此存在不同图像分辨率的视觉标记的层次结构。右边:除了将单个256×256图像表示为256 [16×16]标记的序列外,还可以将这些256×256图像视为4096中更大的、不相交的[256×256]标记序列的一部分4096×4096区域。

HIPT 架构

受在自然语言处理中使用分层表示的启发,其中嵌入可以在字符、单词、句子和段落级别聚合以形成文档表示,在x16单元格、x256补丁、x4096区域级以形成幻灯片表示。为了在每个阶段对视觉概念之间的重要依赖关系进行建模,将Transformer自注意力调整为置换等变聚合层。请注意,由于使用x256标记修补x4096区域的复杂性与使用x16标记修补x256图像的复杂性相同,可以使用类似的自监督ViT技术为低分辨率图像预训练高分辨率图像的聚合层。

Multi-Head Self-Attention Visualization of SelfSupervised ViTs

对于浸润性导管癌(IDC),展示了ViT256-16和ViT4096-256的自监督可视化,分别在x256和x4096区域上进行了预训练。对于x256补丁,ViT256-16能够描绘x16 tokens中的基质、细胞和“空白”存在。对于x4096区域,ViT4096-256描绘了粗粒度的形态特征,例如肿瘤巢及其周围的促纤维增生(松散)基质。

实验

HIPT中的Hierarchical Attention Maps

ViT256-16 DINO Pretraining

Hierarchical Attention Maps for Colorectal Cancer (CRC)

来源:计算机视觉研究院内容投诉

免责声明:

① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的,并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据,供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。

② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341

软考中级精品资料免费领

  • 历年真题答案解析
  • 备考技巧名师总结
  • 高频考点精准押题
  • 2024年上半年信息系统项目管理师第二批次真题及答案解析(完整版)

    难度     813人已做
    查看
  • 【考后总结】2024年5月26日信息系统项目管理师第2批次考情分析

    难度     354人已做
    查看
  • 【考后总结】2024年5月25日信息系统项目管理师第1批次考情分析

    难度     318人已做
    查看
  • 2024年上半年软考高项第一、二批次真题考点汇总(完整版)

    难度     435人已做
    查看
  • 2024年上半年系统架构设计师考试综合知识真题

    难度     224人已做
    查看

相关文章

发现更多好内容

猜你喜欢

AI推送时光机
位置:首页-资讯-后端开发
咦!没有更多了?去看看其它编程学习网 内容吧
首页课程
资料下载
问答资讯